第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

是使用twisted還是gevent?求思路哈!

是使用twisted還是gevent?求思路哈!

我有一個數(shù)據(jù)庫,里面有1千萬的數(shù)據(jù),每條數(shù)據(jù)存放一個url,我要測試這個url是否是可以鏈接的,使用python實現(xiàn),什么思路?如果使用gevent,如何動態(tài)添加url,比如我gevent的pool設(shè)置為100,在數(shù)據(jù)庫中取出數(shù)據(jù)的時候如何遍歷最高效?
查看完整描述

1 回答

?
江戶川亂折騰

TA貢獻1851條經(jīng)驗 獲得超5個贊

都行,建議你用隊列來序列化整個工作,redis這種kv數(shù)據(jù)庫級的或者是gevent.queue這種協(xié)程級的或者是multiprocessing.queue這種跨進程的隊列都行……

目測這個工作主要瓶頸在檢查url是否正常(http code 2xx?),次瓶頸在從數(shù)據(jù)庫讀這10M條記錄。
對于檢查url的工作,可以通過gevent/twisted/多線程/多進程來并發(fā),就像你說的pool設(shè)置到100。
對于從數(shù)據(jù)庫讀出記錄,并行不見得比串行訪問更快……

所以,開一個到兩個reader從數(shù)據(jù)庫讀,開100個以上的checker去檢查url就可以了。中間放一個queue用來通信。
是這樣的結(jié)構(gòu):  reader ---(寫入)--> 隊列 ---(讀出)--> checker

至于隊列用什么實現(xiàn),不是很重要……因為瓶頸不在這兒……
從數(shù)據(jù)庫讀就很容易了,如果只有一個reader,就select * from table得到一個完整的數(shù)據(jù)集,遍歷寫入隊列即可


查看完整回答
反對 回復(fù) 2023-04-29
  • 1 回答
  • 0 關(guān)注
  • 189 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學習伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號