寶慕林4294392
2022-09-27 16:21:41
我正在使用 ray 實(shí)現(xiàn) SEED,因此,我定義了一個(gè)類,如下所示W(wǎng)orkerimport numpy as npimport gymclass Worker: def __init__(self, worker_id, env_name, n): import os os.environ['OPENBLAS_NUM_THREADS'] = '1' self._id = worker_id self._n_envs = n self._envs = [gym.make(env_name) for _ in range(self._n_envs)] def reset_env(self, env_id): return self._envs[env_id].reset() def env_step(self, env_id, action): return self._envs[env_id].step(action)除此之外,還有一個(gè)循環(huán),在必要時(shí)調(diào)用方法以與環(huán)境交互。LeanerWorker如本文檔所示,我想確保每個(gè)工作線程只使用一個(gè) CPU 資源。以下是我的一些嘗試:創(chuàng)建時(shí),我設(shè)置:workernum_cpus=1worker=ray.remote(num_cpus=1)(Worker).remote(...)我檢查了我的numpy配置,它給了我以下信息np.__config__.show()blas_mkl_info:不可用blis_info: 不可用openblas_info:庫(kù) = [“開(kāi)放刀片”、“開(kāi)放刀片”] library_dirs = [/usr/本地/庫(kù)“ ] 語(yǔ)言 = c define_macros = [(”HAVE_CBLAS“,無(wú))]blas_opt_info:庫(kù) = [“開(kāi)放”,“開(kāi)放刀片”] library_dirs = [/usr/本地/lib“] 語(yǔ)言 = c define_macros = [(”HAVE_CBLAS“,無(wú))]lapack_mkl_info:不可用openblas_lapack_info:庫(kù) = [“開(kāi)放刀片”、“開(kāi)放刀片”] library_dirs = [/usr/本地/庫(kù)] 語(yǔ)言 = c define_macros = [(“HAVE_CBLAS”,無(wú))]lapack_opt_info:庫(kù) = [“開(kāi)放”,“開(kāi)放刀片”] library_dirs = [“/usr/本地/庫(kù)”] 語(yǔ)言 = c define_macros = [(“HAVE_CBLAS”,無(wú))]我注意到麻痹正在使用OpenBLAS,所以我在類中設(shè)置了上面的代碼按照這個(gè)指令。os.environ['OPENBLAS_NUM_THREADS'] = '1'Worker兩者都完成后,我打開(kāi)了頂部,但仍然注意到每個(gè)Worker都使用CPU,與以前完全相同。我也嘗試過(guò)在主python腳本的開(kāi)頭設(shè)置或使用,但沒(méi)有任何幫助。我現(xiàn)在該怎么辦?130%-180%os.environ['OPENBLAS_NUM_THREADS'] = '1'export OPENBLAS_NUM_THREADS=1
1 回答

慕容森
TA貢獻(xiàn)1853條經(jīng)驗(yàn) 獲得超18個(gè)贊
您可以將核心固定在每個(gè)工作線程上。例如,您可以使用類似 psutil 的東西。進(jìn)程().cpu_affinity([i])在每個(gè)工作線程上固定一個(gè)索引 i 內(nèi)核。
此外,在固定 CPU 之前,請(qǐng)確保知道此 API 已將哪些 CPU 分配給了工作線程。https://github.com/ray-project/ray/blob/203c077895ac422b80e31f062d33eadb89e66768/python/ray/worker.py#L457
例:
ray.init(num_cpus=4)
@ray.remote(num_cpus=1)
def f():
import numpy
resources = ray.ray.get_resource_ids()
cpus = [v[0] for v in resources['CPU']]
psutil.Process().cpu_affinity(cpus)
添加回答
舉報(bào)
0/150
提交
取消