第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會(huì)有你想問的

在這個(gè)例子中,爬蟲多線程是如何工作的?

在這個(gè)例子中,爬蟲多線程是如何工作的?

Go
長(zhǎng)風(fēng)秋雁 2023-08-07 10:40:45
我正在嘗試解決有關(guān)使用緩存并行獲取 URL 以避免重復(fù)的任務(wù)。我找到了正確的解決方案并且可以理解它。我看到正確的答案包含通道,并且 gorutine 通過 chan 將 URL 推送到緩存中。但為什么我的簡(jiǎn)單代碼不能正常工作?我不知道哪里出錯(cuò)了。package mainimport (    "fmt"    "sync")type Fetcher interface {    // Fetch returns the body of URL and    // a slice of URLs found on that page.    Fetch(url string) (body string, urls []string, err error)}var cache = struct {    cache map[string]int    mux sync.Mutex}{cache: make(map[string]int)}// Crawl uses fetcher to recursively crawl// pages starting with url, to a maximum of depth.func Crawl(url string, depth int, fetcher Fetcher) {    // TODO: Fetch URLs in parallel.    // TODO: Don't fetch the same URL twice.    // This implementation doesn't do either:    if depth <= 0 {        return    }    cache.mux.Lock()    cache.cache[url] = 1 //put url in cache    cache.mux.Unlock()    body, urls, err := fetcher.Fetch(url)    if err != nil {        fmt.Println(err)        return    }    fmt.Printf("found: %s %q\n", url, body)    for _, u := range urls {        cache.mux.Lock()        if _, ok := cache.cache[u]; !ok { //check if url already in cache            cache.mux.Unlock()            go Crawl(u, depth-1, fetcher)        } else {            cache.mux.Unlock()        }    }    return}func main() {    Crawl("http://golang.org/", 4, fetcher)}// fakeFetcher is Fetcher that returns canned results.type fakeFetcher map[string]*fakeResulttype fakeResult struct {    body string    urls []string}func (f fakeFetcher) Fetch(url string) (string, []string, error) {    if res, ok := f[url]; ok {        return res.body, res.urls, nil    }    return "", nil, fmt.Errorf("not found: %s", url)}// fetcher is a populated fakeFetcher.var fetcher = fakeFetcher{    "http://golang.org/": &fakeResult{        "The Go Programming Language",        []string{            "http://golang.org/pkg/",            "http://golang.org/cmd/",        },    },
查看完整描述

1 回答

?
慕尼黑5688855

TA貢獻(xiàn)1848條經(jīng)驗(yàn) 獲得超2個(gè)贊

在所有調(diào)用完成之前,您main()不會(huì)阻塞,因此退出。go Crawl()您可以使用 async.WaitGroup或通道來(lái)同步程序,以完成所有 goroutine。


u我還發(fā)現(xiàn)goroutine 中使用的變量存在問題;當(dāng) goroutine 執(zhí)行時(shí),u范圍循環(huán)可能會(huì)或可能不會(huì)更改 的值。


結(jié)束Crawl可能會(huì)像這樣解決這兩個(gè)問題;



wg := sync.WaitGroup{}


fmt.Printf("found: %s %q\n", url, body)

for _, u := range urls {

    cache.mux.Lock()

    if _, ok := cache.cache[u]; !ok { //check if url already in cache

        cache.mux.Unlock()

        wg.Add(1)

        go func(url string) {

            Crawl(url, depth-1, fetcher)

            wg.Done()

        }(u)

    } else {

        cache.mux.Unlock()

    }

}


// Block until all goroutines are done

wg.Wait()


return


查看完整回答
反對(duì) 回復(fù) 2023-08-07
  • 1 回答
  • 0 關(guān)注
  • 113 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)