第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

如果管道中的條件為 True ,如何在蜘蛛中增加計數器?[SCRAPY-Python]

如果管道中的條件為 True ,如何在蜘蛛中增加計數器?[SCRAPY-Python]

慕碼人2483693 2022-10-18 15:57:35
我正在抓取物品并在網址中使用郵政編碼(cp)def parse(self, response):    liste = ['09', '81']    for counter in range(len(liste)):        cp = liste[counter]        for i in range(0, 2):            user_agent = random.choices(user_agent_list)            headers = {                'User-Agent': str(user_agent),                "Connection": "close",            }         next_pagination_link ='https://www.seloger.com/list.htm?projects=2&types=1,2&places=[{cp:' +                                str(cp) + '}]&sort=d_dt_crea&enterprise=0&qsVersion=1.0&LISTING-                                LISTpg=' + str(i) + ''在 pipilines.py 中,我在 process_item 方法中使用此腳本來刪除 sql 數據庫中的現有項目:    if record is None:        print('storing item')        self.store_db(item)        return True    elif record is not None:        raise DropItem("Item already exists: %s" % item['lien_du_bien'])我想要做的是:如果一個項目被丟棄,我想將蜘蛛中的變量計數器增加 1,以便移動到另一個郵政編碼。有沒有辦法做到這一點 ?
查看完整描述

1 回答

?
守著一只汪

TA貢獻1872條經驗 獲得超4個贊

在def process_item(self, item, spider)您的管道內部,您可以spider.YOUR_SPIDER_VARIABLE訪問 Spider 的任何變量


def process_item(self, item, spider):

    if record is None:

        print('storing item')

        self.store_db(item)

        return True

    elif record is not None:

        spider.VARIABLE_TO_INCREMENT

        raise DropItem("Item already exists: %s" % item['lien_du_bien'])


查看完整回答
反對 回復 2022-10-18
  • 1 回答
  • 0 關注
  • 84 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號