webmagic??爬取多個(gè)網(wǎng)頁(yè)，內(nèi)容重復(fù) ，用什么代碼可以防止。if(page.getResultItems().get(page.getUrl().get())==null){
????page.putField(page.getUrl().get(),page.getUrl());
}
2 回答
- 2 回答
- 0 關(guān)注
- 2179 瀏覽
添加回答
舉報(bào)
0/150
提交
取消