我正在 golang 中構(gòu)建一個網(wǎng)絡(luò)爬蟲應(yīng)用程序。下載頁面的 HTML 后，我將 URL 分離出來。我看到的 URL 中含有“#s”，例如“en.wikipedia.org/wiki/Race_condition#Computing”。我想刪除“#”后面的所有字符，因為這些字符無論如何都會指向同一頁面。對于如何做到這一點(diǎn)有什么建議嗎？
2 回答
茅侃侃
TA貢獻(xiàn)1842條經(jīng)驗 獲得超22個贊
使用該url包：
u, _ := url.Parse("SOME_URL_HERE")
u.Fragment = ""
return u.String()
冉冉說
TA貢獻(xiàn)1877條經(jīng)驗 獲得超1個贊
Luke Joshua Park 的答案的改進(jìn)是解析相對于源頁面 URL 的 URL。這會根據(jù)頁面上可能的相對 URL（未指定方案、未指定主機(jī)、相對路徑）創(chuàng)建絕對 URL。另一個改進(jìn)是檢查和處理錯誤。
func clean(pageURL, linkURL string) (string, error) {
p, err := url.Parse(pageURL)
if err != nil {
return "", err
}
l, err := p.Parse(linkURL)
if err != nil {
return "", err
}
l.Fragment = "" // chop off the fragment
return l.String()
}
如果您對獲取絕對 URL 不感興趣，請砍掉 # 后面的所有內(nèi)容。這是有效的，因為 URL 中 # 的唯一有效使用是片段分隔符。
func clean(linkURL string) string {
i := strings.LastIndexByte(linkURL, '#')
if i < 0 {
return linkURL
}
return linkURL[:i]
}
- 2 回答
- 0 關(guān)注
- 162 瀏覽
添加回答
舉報
0/150
提交
取消