我對(duì)python的多處理非常陌生。目前，我正在嘗試使用多處理進(jìn)行數(shù)據(jù)生成（10次），然后做一些后續(xù)工作。我當(dāng)前的代碼是這樣的：def data_generation(param1, param2, param3): main function np.save(....)for i in np.arrange(10): if __name__ == '__main__': ratio = np.arange(0.3, 1.4, 0.1) pool = Pool(os.cpu_count()) param1 = 1 param2 = 2 func = partial(data_generation, param1, param2) _ = pool.map(func, param3=ratio) pool.close() pool.join() ### then I would like to read the generated data and do analysis result = np.load(..)我的想法是，我想做一件作品10次。每次，我都會(huì)生成數(shù)據(jù)，進(jìn)行分析，存儲(chǔ)結(jié)果，然后再次執(zhí)行。對(duì)于數(shù)據(jù)生成部分，需要將一個(gè)參數(shù)從 0.3 更改為 1.4。這就是我想要使用多處理的地方。問(wèn)題是每次當(dāng)我運(yùn)行代碼時(shí)，看起來(lái)python跳過(guò)了數(shù)據(jù)生成部分，直接轉(zhuǎn)到了分析部分。那么，這項(xiàng)任務(wù)的正確邏輯是什么呢？我希望數(shù)據(jù)分析部分在數(shù)據(jù)生成部分之后被夸大。
1 回答
月關(guān)寶盒
TA貢獻(xiàn)1772條經(jīng)驗(yàn) 獲得超5個(gè)贊
您可以使用期望元組的元組，這些元組是函數(shù)的參數(shù)。在這里，為了顯示步驟，我提前生成了元組并將其存儲(chǔ)在func_arg_tuple中。pool.starmap
此外，無(wú)需在data_generation函數(shù)中保存結(jié)果的中間步驟。只需返回要處理的值，當(dāng)池的工作完成時(shí)，它將在值中。results
import multiprocessing
def data_generation(param1, param2, param3):
# sample processing function - add your own
return np.random.normal(param3, param1, param2)
param1 = 1
param2 = 2
with multiprocessing.Pool(processes=multiprocessing.cpu_count()) as pool:
func_arg_tuple = tuple((param1, param2, ratio) for ratio in np.arange(0.3, 1.4, 0.1))
results = pool.starmap(data_generation, func_arg_tuple)
>>>results
[array([-0.89459092, 2.03727378]),
array([-0.79459092, 2.13727378]),
array([-0.69459092, 2.23727378]),
array([0.57145244, 0.75501116]),
array([ 2.40776746, -0.17882601]),
array([0.77145244, 0.95501116]),
array([-0.88291467, 1.3072801 ]),
array([0.97145244, 1.15501116]),
array([0.0123457 , 2.25667152]),
array([2.90776746, 0.32117399]),
array([3.00776746, 0.42117399])]
添加回答
舉報(bào)
0/150
提交
取消