我正在編寫一個小型網(wǎng)絡爬蟲，我正在爬網(wǎng)的網(wǎng)站上的很多鏈接都是相對的（例如/robots.txt，它們是 ）。如何將這些相對 URL 轉換為絕對 URL（所以/robots.txt=> http://google.com/robots.txt）？Go 是否有內置的方法來做到這一點？
3 回答
LEATH
TA貢獻1936條經(jīng)驗 獲得超7個贊
是的，標準庫可以用net/url包來做到這一點。示例（來自標準庫）：
package main
import (
"fmt"
"log"
"net/url"
)
func main() {
u, err := url.Parse("../../..//search?q=dotnet")
if err != nil {
log.Fatal(err)
}
base, err := url.Parse("http://example.com/directory/")
if err != nil {
log.Fatal(err)
}
fmt.Println(base.ResolveReference(u))
}
請注意，您只需要解析一次絕對 URL，然后就可以反復重用它。
慕沐林林
TA貢獻2016條經(jīng)驗 獲得超9個贊
您還可以使用baseURL 的Parse方法來提供相對或絕對 URL。
package main
import (
? ? "fmt"
? ? "log"
? ? "net/url"
)
func main() {
? ? // parse only base url
? ? base, err := url.Parse("http://example.com/directory/")
? ? if err != nil {
? ? ? ? log.Fatal(err)
? ? }
? ? // and then use it to parse relative URLs
? ? u, err := base.Parse("../../..//search?q=dotnet")
? ? if err != nil {
? ? ? ? log.Fatal(err)
? ? }
? ? fmt.Println(u.String())
}
在Go Playground上試試吧。
萬千封印
TA貢獻1891條經(jīng)驗 獲得超3個贊
我認為您正在尋找ResolveReference?方法。
import (
? ? "fmt"
? ? "log"
? ? "net/url"
)
func main() {
? ? u, err := url.Parse("../../..//search?q=dotnet")
? ? if err != nil {
? ? ? ? log.Fatal(err)
? ? }
? ? base, err := url.Parse("http://example.com/directory/")
? ? if err != nil {
? ? ? ? log.Fatal(err)
? ? }
? ? fmt.Println(base.ResolveReference(u))
}
// gives: http://example.com/search?q=dotnet
我也將它用于我的爬蟲，并且非常有效！
- 3 回答
- 0 關注
- 215 瀏覽
添加回答
舉報
0/150
提交
取消