用爬蟲從網(wǎng)站爬下的數(shù)據(jù)怎么存儲?
1 回答

慕神8447489
TA貢獻(xiàn)1780條經(jīng)驗 獲得超1個贊
顯然不能直接儲存,你還得解析出自己需要的內(nèi)容。
比如我爬取某新聞網(wǎng)今日的國內(nèi)新聞,那么我創(chuàng)建一個實體類,里面有屬性:新聞標(biāo)題,新聞時間,正文等等。解析出你需要的內(nèi)容,封到實體里面,然后在dao層直接save到數(shù)據(jù)庫即可
如果你爬下的是整個網(wǎng)頁,這個好辦,把它當(dāng)做文件一樣,用流操作保存到電腦上即可。當(dāng)然保存網(wǎng)頁會遇到編碼問題,這個很棘手。
- 1 回答
- 0 關(guān)注
- 1224 瀏覽
添加回答
舉報
0/150
提交
取消