我在用 scrapy 開發(fā)第一個蜘蛛時遇到了一個問題。我能夠在 scrapy shell 中獲取正確的信息,但當(dāng)我在代碼中實(shí)現(xiàn)它時它不起作用。我在這里讀過類似的帖子,但我仍然無法弄清楚我做錯了什么。import scrapyfrom scrapy.loader import ItemLoaderfrom ..items import ScrapingamazonItemclass AmazonSpiderSpider(scrapy.Spider): name = 'amazon_spider' start_urls = ['https://www.amazon.com/s?k=Office+Chair&lo=grid&crid=1N60K12GUA798&qid=1601040579&sprefix=chair&ref=sr_pg_1'] def parse(self, response): items = response.css('.s-asin .sg-col-inner') for item in items: loader = ItemLoader(item=ScrapingamazonItem(), selector=item) loader.add_css('ProductName', '.a-color-base.a-text-normal::text') yield loader.load_item()我正在使用 scrapycrawl amazon_spider -o file.csv 運(yùn)行它。文件返回空。
Scrapy可以在shell中運(yùn)行,但不能在代碼中運(yùn)行
繁華開滿天機(jī)
2023-09-12 19:03:54