我有一個要求，我需要每分鐘訪問多達(dá)2000個URL并將響應(yīng)保存到數(shù)據(jù)庫。必須在每分鐘開始后的5秒內(nèi)點擊URL（但響應(yīng)可以等待）。然后，在下一分鐘，將發(fā)生同樣的情況，依此類推。因此，這是關(guān)鍵時間。我嘗試使用Python多處理和線程解決問題。但是，某些URL可能最多需要30分鐘才能響應(yīng)，這將阻止所有其他URL被處理。我也愿意使用較低級別的內(nèi)容（例如C），但不知道從哪里開始。
2 回答
偶然的你
TA貢獻(xiàn)1841條經(jīng)驗 獲得超3個贊
我不確定我是否正確理解了問題，但是如果您使用的是“ n”個流程，并且所有“ n”個流程都卡在響應(yīng)中，那么更改語言將無法解決您的問題。由于瓶頸是您請求的服務(wù)器，而不是您的本地驅(qū)動程序代碼。您可以通過切換到異步機制來消除這種依賴性。不要等待回應(yīng)！讓回調(diào)為您處理！
添加回答
舉報
0/150
提交
取消