第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問(wèn)題,去搜搜看,總會(huì)有你想問(wèn)的

使用多處理時(shí)避免重新編譯 numba 代碼

使用多處理時(shí)避免重新編譯 numba 代碼

慕工程0101907 2023-08-03 17:19:25
我一直在使用 numba 進(jìn)行多處理。唯一的問(wèn)題 - numba 分別為每個(gè)進(jìn)程重新編譯代碼。(當(dāng)進(jìn)程數(shù)量等于物理 CPU 數(shù)量時(shí),這并不是什么大問(wèn)題,但如果不是這種情況,那就是一個(gè)巨大的問(wèn)題了?。┯袥](méi)有辦法讓 numba 編譯一次代碼,然后跨進(jìn)程邊界共享編譯后的工件?例子 -from multiprocessing import Processfrom time import time, sleepfrom numba import njit@njitdef child():    passif __name__ == "__main__":    ps = [Process(target=child) for _ in range(100)]    for p in ps:        p.start()    s = time()    for p in ps:        p.join()    print("compile time:", time() - s)compile time: 19.10037922859192所有核心的 CPU 使用率均固定為 100%。我已經(jīng)嘗試過(guò)numba的cache=True,但不幸的是我的代碼無(wú)法緩存。/Users/dev/PycharmProjects/trading/tradingdo/strategy.py:91: NumbaWarning: Cannot cache compiled function "_strategy1" as it uses dynamic globals (such as ctypes pointers and large global arrays)  @njit
查看完整描述

1 回答

?
素胚勾勒不出你

TA貢獻(xiàn)1827條經(jīng)驗(yàn) 獲得超9個(gè)贊

在支持的系統(tǒng)fork()(Linux)上,這很容易 -


只需在啟動(dòng)進(jìn)程之前編譯該函數(shù)一次 - 這將使 numba 緩存編譯器輸出,就像通常一樣。


但由于 fork 的寫(xiě)時(shí)復(fù)制魔法,該緩存會(huì)自動(dòng)與子進(jìn)程共享!


目前尚不清楚的是如何在沒(méi)有適當(dāng)fork()支持的系統(tǒng)上執(zhí)行此操作。numba 的緩存可以 pickled 嗎?


from multiprocessing import Process

from time import time, sleep

from numba import njit



@njit

def child():

    pass



if __name__ == "__main__":

    child() # this will do it


    ps = [Process(target=child) for _ in range(100)]

    for p in ps:

        p.start()

    s = time()

    for p in ps:

        p.join()

    print("compile time:", time() - s)


compile time: 0.011722326278686523

numba 的nogil也值得一看。這可以消除對(duì)進(jìn)程的需要,并且線程共享 numba 編譯緩存就好了


查看完整回答
反對(duì) 回復(fù) 2023-08-03
  • 1 回答
  • 0 關(guān)注
  • 165 瀏覽
慕課專(zhuān)欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢(xún)優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)