首頁(yè) 猿問(wèn) 是使用twisted還是geven...

是使用twisted還是gevent？求思路哈！

Python 數(shù)據(jù)庫(kù)

HUH函數(shù) 2023-04-27 19:15:57

我有一個(gè)數(shù)據(jù)庫(kù)，里面有1千萬(wàn)的數(shù)據(jù)，每條數(shù)據(jù)存放一個(gè)url，我要測(cè)試這個(gè)url是否是可以鏈接的，使用python實(shí)現(xiàn)，什么思路？如果使用gevent，如何動(dòng)態(tài)添加url，比如我gevent的pool設(shè)置為100,在數(shù)據(jù)庫(kù)中取出數(shù)據(jù)的時(shí)候如何遍歷最高效？

查看完整描述

1 回答

江戶川亂折騰

TA貢獻(xiàn)1851條經(jīng)驗(yàn) 獲得超5個(gè)贊

都行，建議你用隊(duì)列來(lái)序列化整個(gè)工作，redis這種kv數(shù)據(jù)庫(kù)級(jí)的或者是gevent.queue這種協(xié)程級(jí)的或者是multiprocessing.queue這種跨進(jìn)程的隊(duì)列都行……

目測(cè)這個(gè)工作主要瓶頸在檢查url是否正常（http code 2xx？），次瓶頸在從數(shù)據(jù)庫(kù)讀這10M條記錄。
對(duì)于檢查url的工作，可以通過(guò)gevent/twisted/多線程/多進(jìn)程來(lái)并發(fā)，就像你說(shuō)的pool設(shè)置到100。
對(duì)于從數(shù)據(jù)庫(kù)讀出記錄，并行不見(jiàn)得比串行訪問(wèn)更快……

所以，開(kāi)一個(gè)到兩個(gè)reader從數(shù)據(jù)庫(kù)讀，開(kāi)100個(gè)以上的checker去檢查url就可以了。中間放一個(gè)queue用來(lái)通信。
是這樣的結(jié)構(gòu)： reader ---(寫(xiě)入)--> 隊(duì)列 ---(讀出)--> checker

至于隊(duì)列用什么實(shí)現(xiàn)，不是很重要……因?yàn)槠款i不在這兒……
從數(shù)據(jù)庫(kù)讀就很容易了，如果只有一個(gè)reader，就select * from table得到一個(gè)完整的數(shù)據(jù)集，遍歷寫(xiě)入隊(duì)列即可

反對(duì) 回復(fù) 2023-04-29