目前ray集群总共3个节点,1个head,2个worker
head内存1t worker内存各500g
我的任务是使用开源算法对200万张图片进行评分
200万张图片大概120g,代码如下。每个图片分了个任务,应该有200万个任务。
@ray.remote(runtime_env={"conda":"nsfw"})
def is_sensitive_image(image):
import opennsfw2 as n2
try:
probability = n2.predict_image(image)
except:
probability=-1
return probability
我看dashboard上,好像只有head在运行,worker内存一直未使用状态。