我正在嘗試從“操作/用戶交易”網(wǎng)站上抓取數(shù)據(jù)，它是意大利語，所以我會盡力盡可能清楚。我對 Python 和 Scrapy 也很陌生，這是我的第一個項目。該網(wǎng)站沒有一個簡單的方法來跟蹤鏈接，所以我不得不想出一些東西。首先，我進入總列表，其中列出了所有頁面，這非常簡單，因為第一頁是“https://www.subito.it/annunci-italia/vendita/usato/?o=1”，然后進入在“/?o=218776”上，我選擇頁面的第一個鏈接并用硒打開它，一旦在這里我得到了我需要的數(shù)據(jù)并單擊“下一頁”按鈕，但這是棘手的部分。如果我使用相同的 URL 進入同一頁面，則沒有“下一頁”按鈕，只有當您位于列表頁面的第一個頁面，然后單擊頁面鏈接時，它才起作用，從這里您現(xiàn)在可以點擊其他鏈接。我以為它會完成，但我錯了。一般列表分為頁面（.../?o=1、.../?o=2 等），每個頁面有 X 個鏈接（我沒有數(shù)過），當您打開時拍賣頁面之一（來自列表頁面，因此您可以使用“下一頁”按鈕），然后單擊“下一頁”，然后按照總列表中的鏈接順序進行操作。更清楚地說，如果總列表有 200k 頁，每頁有 50 個鏈接，當您單擊該頁的第一個鏈接時，您可以單擊“下一頁”49 次，之后“下一頁”按鈕將處于非活動狀態(tài)并且您無法轉(zhuǎn)到較舊的鏈接，您必須返回列表并轉(zhuǎn)到下一頁，然后重復該過程。但是我錯了。一般列表分為頁面（.../?o=1、.../?o=2 等），每個頁面有 X 個鏈接（我沒有數(shù)過），當您打開時拍賣頁面之一（來自列表頁面，因此您可以使用“下一頁”按鈕），然后單擊“下一頁”，然后按照總列表中的鏈接順序進行操作。更清楚地說，如果總列表有 200k 頁，每頁有 50 個鏈接，當您單擊該頁的第一個鏈接時，您可以單擊“下一頁”49 次，之后“下一頁”按鈕將處于非活動狀態(tài)并且您無法轉(zhuǎn)到較舊的鏈接，您必須返回列表并轉(zhuǎn)到下一頁，然后重復該過程。但是我錯了。一般列表分為頁面（.../?o=1、.../?o=2 等），每個頁面有 X 個鏈接（我沒有數(shù)過），當您打開時拍賣頁面之一（來自列表頁面，因此您可以使用“下一頁”按鈕），然后單擊“下一頁”，然后按照總列表中的鏈接順序進行操作。更清楚地說，如果總列表有 200k 頁，每頁有 50 個鏈接，當您單擊該頁的第一個鏈接時，您可以單擊“下一頁”49 次，之后“下一頁”按鈕將處于非活動狀態(tài)并且您無法轉(zhuǎn)到較舊的鏈接，您必須返回列表并轉(zhuǎn)到下一頁，然后重復該過程。當您進入拍賣頁面之一（來自列表頁面，因此您可以使用“下一頁”按鈕）并單擊“下一頁”時，您將按照總列表中的鏈接順序進行操作。更清楚地說，如果總列表有 200k 頁，每頁有 50 個鏈接，當您單擊該頁的第一個鏈接時，您可以單擊“下一頁”49 次，之后“下一頁”按鈕將處于非活動狀態(tài)并且您無法轉(zhuǎn)到較舊的鏈接，您必須返回列表并轉(zhuǎn)到下一頁，然后重復該過程。當您進入拍賣頁面之一（來自列表頁面，因此您可以使用“下一頁”按鈕）并單擊“下一頁”時，您將按照總列表中的鏈接順序進行操作。更清楚地說，如果總列表有 200k 頁，每頁有 50 個鏈接，當您單擊該頁的第一個鏈接時，您可以單擊“下一頁”49 次，之后“下一頁”按鈕將處于非活動狀態(tài)并且您無法轉(zhuǎn)到較舊的鏈接，您必須返回列表并轉(zhuǎn)到下一頁，然后重復該過程。
1 回答
楊魅力
TA貢獻1811條經(jīng)驗 獲得超6個贊
可以通過覆蓋start_requests方法在頁面上進行迭代。為了達到這個目的，你需要編寫一個循環(huán)來請求所有（在本例中為219xxx）頁面并提取第二層頁面href。
def start_requests(self):
pages_count = 1 # in this method you need to hard code your pages quantity
for i in range(pages_count)
url = 'https://www.subito.it/annunci-italia/vendita/usato/?o=%s' % str(i + 1)
scrapy.Request(url, callback=self.parse)
或者以更好的方式 slso 找出第一層中有多少頁，該層始終位于最后一個class="unselected-page"元素中，以便您可以使用 找到它response.xpath('//*[@class="unselected-page"]//text()').getall()[-1] 。在這種情況下，您需要在第一種parse方法中發(fā)出對第一層頁面的請求。
def start_requests(self):
base_url = 'https://www.subito.it/annunci-italia/vendita/usato'
scrapy.Request(base_url, callback=self.parse_first_layer)
def parse_first_layer(self, response):
pages_count = int(response.xpath('//*[@class="unselected-page"]//text()').getall()[-1])
for i in range(pages_count)
url = 'https://www.subito.it/annunci-italia/vendita/usato/?o=%s' % str(i + 1)
scrapy.Request(url, callback=self.parse_second_layer)
到達第一層鏈接后，您可以像以前一樣在每個頁面中迭代 50 多個鏈接。
添加回答
舉報
0/150
提交
取消