用scrapy爬取某網(wǎng)站,數(shù)據(jù)由js生成,用xpath提取script,獲取到如下:define("page_data",
{ "uiConfig": { "type": "root", "items":[
{ "comid": "itemBasic", "items":[
{ "id":123, "data":我所需的數(shù)據(jù)
}
]
}
]
}
}
);有什么辦法能獲取到嗎?由于請(qǐng)求數(shù)比較多,所以暫時(shí)不考慮selenium.有辦法能像js一樣操作這段數(shù)據(jù)嗎,例如a'uiConfig''items'這樣.或者正則的話如何匹配呢?
2 回答
慕慕森
TA貢獻(xiàn)1856條經(jīng)驗(yàn) 獲得超17個(gè)贊
如果你獲得的文本這么有規(guī)律的話，那就十分簡單了，正則都不需要，去掉第一行，去掉最后一行。然后 data = json.loads(content) ,在通過 data['uiConfig']['items'][0]['items'][0]['data'] 就能拿到了。
添加回答
舉報(bào)
0/150
提交
取消