首頁猿問 scrapy_redis中的red...

scrapy_redis中的redis_key的問題

Python

慕桂英3389331 2018-12-11 21:49:59

redis_key = 'jingzhun:starturls' 這個(gè)從lpush 里面來的，但是我現(xiàn)在要給這個(gè)push的地址加上cookie 和header 才能獲取數(shù)據(jù)，請問這個(gè)如何處理呢？

查看完整描述

1 回答

一只甜甜圈

TA貢獻(xiàn)1836條經(jīng)驗(yàn) 獲得超5個(gè)贊

重寫scrapy_redis的這個(gè)方法

def make_request_from_data(self, data):
        """Returns a Request instance from data coming from Redis.
        By default, ``data`` is an encoded URL. You can override this method to
        provide your own message decoding.
        Parameters
        ----------
        data : bytes
            Message from redis.
        """
        url = bytes_to_str(data, self.redis_encoding)        return self.make_requests_from_url(url)

或者return中調(diào)用的那個(gè)方法，自定義請求。

反對回復(fù) 2018-12-11