是否可以使用gcs作为临时文件的存放载体？

社区交流
,
#1

Ray：1.12.1
Sys：Centos 7
Py：3.8.10

场景：由于业务拒绝使用复杂的任务机制，需采用session作为ID，即时计算后根据sessId获取其结果集，由于多通道计算的时间相对较长（并发处理每通道约1.5min，rayServe），需分离计算与回显（计算节点与httpServe节点不同），且由于容器化部署，nfs/s3不便于mount、缓存不好清理、组件多不好管理，目前采用的redis暂存该sessId对应的中间结果集。

需求：利用gcs手动push暂存该结果集，方便不同节点之间的数据共享，且有expire机制。逻辑同working_dir创建的gcs://xxx.zip

#2

问一下，您这里的共享数据，是一定会落盘形成文件的数据，还是可以不落盘内存中的数据？

我们目前也有类似的需求，不同计算节点做中间文件的传输与共享，想到的方式是对Ray object store进行扩展，支持磁盘文件类型的中间计算结果传输与reference counting。但目前这个方案还在讨论中，有个issue [Core][Object Store] Object Store to manage files in the cluster · Issue #32694 · ray-project/ray · GitHub