首頁(yè) 猿問(wèn) scrapy_redis中的red...

scrapy_redis中的redis_key的問(wèn)題

Python

幕布斯6054654 2018-12-16 16:41:57

redis_key = 'jingzhun:starturls' 這個(gè)從lpush 里面來(lái)的，但是我現(xiàn)在要給這個(gè)push的地址加上cookie 和header 才能獲取數(shù)據(jù)，請(qǐng)問(wèn)這個(gè)如何處理呢？

查看完整描述

1 回答

翻過(guò)高山走不出你

TA貢獻(xiàn)1875條經(jīng)驗(yàn) 獲得超3個(gè)贊

重寫scrapy_redis的這個(gè)方法

def make_request_from_data(self, data):
        """Returns a Request instance from data coming from Redis.
        By default, ``data`` is an encoded URL. You can override this method to
        provide your own message decoding.
        Parameters
        ----------
        data : bytes
            Message from redis.
        """
        url = bytes_to_str(data, self.redis_encoding)        return self.make_requests_from_url(url)

或者return中調(diào)用的那個(gè)方法，自定義請(qǐng)求。

反對(duì) 回復(fù) 2018-12-16