scrapy 爬蟲怎么在程序里把爬蟲停止
3 回答
森林海
TA貢獻(xiàn)2011條經(jīng)驗(yàn) 獲得超2個(gè)贊
def __init__(self, crawler): self.crawler = crawler @classmethod def from_crawler(cls, crawler): return cls(crawler) # 結(jié)束爬蟲 self.crawler.engine.close_spider(spider, 'closespider') |
上面是實(shí)現(xiàn)原理，實(shí)際上 scrapy.Spider 已經(jīng)擁有了 crawler 屬性，不必再像上面這樣寫。
在spider中可直接寫：
| 1 | self.crawler.engine.close_spider(self, 'closespider') |
在 pipeline 和 中間件Middlewares 中：
| 1 | spider.crawler.engine.close_spider(spider, 'closespider') |
添加回答
舉報(bào)
0/150
提交
取消