第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

在鏈接頁面中抓取多余的字段

在鏈接頁面中抓取多余的字段

縹緲止盈 2021-03-31 19:15:15
我試圖在主頁上刮一些帖子,那里幾乎我需要的一切都在那里。但是在鏈接頁面上,我還需要一個日期字段。我嘗試了以下回調(diào):from scrapy.spider import BaseSpiderfrom macnn_com.items import MacnnComItemfrom scrapy.selector import HtmlXPathSelectorfrom scrapy.contrib.loader import XPathItemLoaderfrom scrapy.contrib.loader.processor import MapCompose, Joinfrom scrapy.http.request import Requestclass MacnnSpider(BaseSpider):    name = 'macnn_com'    allowed_domains = ['macnn.com']    start_urls = ['http://www.macnn.com']    posts_list_xpath = '//div[@class="post"]'    item_fields = { 'title': './/h1/a/text()',                    'link': './/h1/a/@href',                    'summary': './/p/text()',                    'image': './/div[@class="post_img"]/div[@class="post_img_border"]/a/img/@original' }    def parse(self, response):        hxs = HtmlXPathSelector(response)        # iterate over posts        for qxs in hxs.select(self.posts_list_xpath):            loader = XPathItemLoader(MacnnComItem(), selector=qxs)            # define processors            loader.default_input_processor = MapCompose(unicode.strip)            loader.default_output_processor = Join()            # skip posts with empty titles            if loader.get_xpath('.//h1/a/text()') == []:                continue            # iterate over fields and add xpaths to the loader            for field, xpath in self.item_fields.iteritems():                loader.add_xpath(field, xpath)            request = Request(loader.get_xpath('.//h1/a/@href')[0], callback=self.parse_link,meta={'loader':loader})            yield request            #loader.add_value('datums',request)            yield loader.load_item()但是我收到類似的錯誤錯誤:Spider必須返回Request,BaseItem或None,在其中獲得了'XPathItemLoader' <GET http://www.macnn.com/articles/13/06/14/sidebar.makes.it.easier.to.jump.between.columns/>我在這里做錯了什么?
查看完整描述

1 回答

  • 1 回答
  • 0 關(guān)注
  • 149 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學(xué)習(xí)伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號