1 回答

TA貢獻(xiàn)1821條經(jīng)驗(yàn) 獲得超5個(gè)贊
一般來(lái)說(shuō),沒(méi)有必要(也沒(méi)有用)一起使用 aPool
和 a Queue
。
a 最有用的方式Pool
是在多個(gè)內(nèi)核上并行運(yùn)行具有不同數(shù)據(jù)的相同代碼,以提高吞吐量。也就是說(shuō),使用該map
方法及其變體。這對(duì)于每個(gè)數(shù)據(jù)項(xiàng)的計(jì)算獨(dú)立于所有其他數(shù)據(jù)項(xiàng)的情況非常有用。
Queue
諸如和 之類的機(jī)制Pipe
用于在不同進(jìn)程之間進(jìn)行通信。如果池工作線程中需要aQueue
或 a Pipe
,則該池工作線程完成的計(jì)算根據(jù)定義不是獨(dú)立的。充其量,這會(huì)降低性能,Pool
因?yàn)槌毓ぷ魅藛T可能必須等待數(shù)據(jù)可用。Pool
在最壞的情況下,如果所有工作人員都忙于等待數(shù)據(jù)出現(xiàn),它可能會(huì)完全停止Queue
。
如何使用Pool
如果您預(yù)計(jì)所有計(jì)算將花費(fèi)大約相同的時(shí)間,則只需使用該map
方法即可。當(dāng)所有計(jì)算完成后,這將返回。并且保證返回值與提交數(shù)據(jù)的順序相同。_async
(提示:當(dāng)您要做的下一件事是調(diào)用get
結(jié)果對(duì)象上的方法時(shí),使用這些方法沒(méi)有什么意義。)
如果某些計(jì)算比其他計(jì)算花費(fèi)的時(shí)間(長(zhǎng)得多),我建議使用imap_unordered
. 這將返回一個(gè)迭代器,一旦準(zhǔn)備好,該迭代器將開(kāi)始生成結(jié)果。結(jié)果將按照完成的順序排列,而不是按照提交的順序排列,因此您應(yīng)該向結(jié)果添加一些標(biāo)識(shí)符,以便您能夠知道結(jié)果屬于哪個(gè)輸入數(shù)據(jù)。
添加回答
舉報(bào)