第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問(wèn)題,去搜搜看,總會(huì)有你想問(wèn)的

從 URL 列表下載圖像(Scrapy 向每個(gè) URL 發(fā)送 2 個(gè)請(qǐng)求)

從 URL 列表下載圖像(Scrapy 向每個(gè) URL 發(fā)送 2 個(gè)請(qǐng)求)

千萬(wàn)里不及你 2023-02-07 09:33:43
所以我上周運(yùn)行了一個(gè)爬蟲(chóng)并生成了一個(gè) CSV 文件,其中列出了我的項(xiàng)目所需的所有圖像 URL。將 CSV 文件讀取到 python 列表后,我不確定如何使用 Scrapy 通過(guò)管道簡(jiǎn)單地下載它們。我嘗試了很多東西,最近我讓它開(kāi)始工作,但它很丑而且不太正確。對(duì)于我的 10 個(gè)圖像 URL 列表,Scrapy 完成了 20 個(gè)請(qǐng)求的抓取,即使 10 個(gè)圖像被正確存儲(chǔ)。我可能在做一些愚蠢的事情,因?yàn)槲覍?duì) Scrapy 還很陌生,但我已經(jīng)通讀了 Scrapy 的大部分文檔,并通過(guò)谷歌搜索結(jié)果進(jìn)行了多次試驗(yàn)和錯(cuò)誤。我只是想讓 Scrapy 為每個(gè) URL 發(fā)送一個(gè)請(qǐng)求并下載相應(yīng)的圖像。任何幫助,將不勝感激。我已經(jīng)反對(duì)這個(gè) 3 天了。我的代碼:蜘蛛.pyimport scrapyimport csvimport itertoolsfrom ..items import ImgItemurls=[]with open('E:/Chris/imgUrls.csv') as csvDataFile:    csvReader = csv.reader(csvDataFile)    for elem in itertools.islice(csvReader, 0, 10):        urls.append(elem[0])                #Just doing first 10 for testing                                            #My Csv file is not the problem                                            # ...1 url per rowclass DwImgSpider(scrapy.Spider):    name = 'dw-img'    start_urls = urls    def parse(self, response):        item = ImgItem()        img_urls = urls        item['image_urls'] = img_urls        return item如果您想查看其他文件,我可以編輯它以添加它們。我只是認(rèn)為這就是問(wèn)題所在,因?yàn)樗诩夹g(shù)上確實(shí)有效。再次感謝,感謝任何幫助或重定向。
查看完整描述

2 回答

?
大話西游666

TA貢獻(xiàn)1817條經(jīng)驗(yàn) 獲得超14個(gè)贊

另一種方法。


import csv,os

import itertools

from simplified_scrapy import Spider, SimplifiedMain, utils

class ImageSpider(Spider):

  name = 'images'

  start_urls = []

  def __init__(self):

      with open('E:/Chris/imgUrls.csv') as csvDataFile:

          csvReader = csv.reader(csvDataFile)

          for elem in itertools.islice(csvReader, 0, 10):

              self.start_urls.append(elem[0])

      Spider.__init__(self,self.name) # Necessary

      if(not os.path.exists('images/')):

          os.mkdir('images/')

          

  def afterResponse(self, response, url, error=None, extra=None):

    try:

        utils.saveResponseAsFile(response,'images/','image')

    except Exception as err:

        print (err)

    return None 


SimplifiedMain.startThread(ImageSpider()) # Start download


查看完整回答
反對(duì) 回復(fù) 2023-02-07
?
小唯快跑啊

TA貢獻(xiàn)1863條經(jīng)驗(yàn) 獲得超2個(gè)贊

感謝furas,我發(fā)現(xiàn)改變

start_urls = urls

start_urls = ['<just one url, the main website>']

修復(fù)了我的請(qǐng)求數(shù)量問(wèn)題!謝謝你furas。


查看完整回答
反對(duì) 回復(fù) 2023-02-07
  • 2 回答
  • 0 關(guān)注
  • 129 瀏覽
慕課專(zhuān)欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢(xún)優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)