首頁猿問 scrapy_redis中的red...

scrapy_redis中的redis_key的問題

Python

幕布斯6054654 2018-12-16 16:41:57

redis_key = 'jingzhun:starturls' 這個從lpush 里面來的，但是我現(xiàn)在要給這個push的地址加上cookie 和header 才能獲取數(shù)據(jù)，請問這個如何處理呢？

查看完整描述

1 回答

翻過高山走不出你

TA貢獻1875條經驗獲得超3個贊

重寫scrapy_redis的這個方法

def make_request_from_data(self, data):
        """Returns a Request instance from data coming from Redis.
        By default, ``data`` is an encoded URL. You can override this method to
        provide your own message decoding.
        Parameters
        ----------
        data : bytes
            Message from redis.
        """
        url = bytes_to_str(data, self.redis_encoding)        return self.make_requests_from_url(url)

或者return中調用的那個方法，自定義請求。

反對回復 2018-12-16