想問一下，寫一個(gè)爬蟲，如何判斷該爬蟲什么時(shí)候應(yīng)該停止呢？初始狀態(tài)為一個(gè)url；然后有一個(gè)while(isNotEmpty(urlList)){    // do something}我的思路是這樣，但是會(huì)有放入隊(duì)列url 的速度跟不上消費(fèi)的速度，以至于出現(xiàn)了urlList為空的情況，這時(shí)候爬蟲就停掉了。我想問下，有哪位大牛自己寫過爬蟲的框架，是根據(jù)什么條件決定爬蟲停止運(yùn)行的。