最近,我需要解析 Chrome 網(wǎng)絡(luò)瀏覽器在其開發(fā)工具中記錄事件時(shí)生成的 JSON,并從中獲取一些計(jì)時(shí)數(shù)據(jù)。Chrome 可以在很短的時(shí)間內(nèi)產(chǎn)生相當(dāng)大的數(shù)據(jù)量,所以我最初構(gòu)建的 Ruby 解析器非常慢。由于我正在學(xué)習(xí) Go,因此我決定同時(shí)使用 Go 和 JavaScript/Node 編寫腳本并進(jìn)行比較。JSON 文件的最簡(jiǎn)單形式就是我在這個(gè) Gist 中所擁有的。它包含一個(gè)表示為獲取頁(yè)面而發(fā)送的請(qǐng)求的事件,以及表示響應(yīng)的事件。通常情況下,有一個(gè)巨大的額外數(shù)據(jù)中進(jìn)行篩選的量。這是它自己的問(wèn)題,但不是我在這個(gè)問(wèn)題中擔(dān)心的問(wèn)題。我寫的 JavaScript 腳本在這里,我寫的 Go 程序在這里。這是我用 Go 寫的第一個(gè)有用的東西,所以我敢肯定它很糟糕。然而,有一兩件事我注意到的是它的很多不是JavaScript慢在解析較大的JSON文件。在 Go 中使用 119Mb JSON 文件的時(shí)間:$ time ./parse data.json= 22 Requests Min Time: 0.77 Max Time: 0.77 Average Time: 0.77./gm data.json 4.54s user 0.16s system 99% cpu 4.705 total在 JavaScript/Node 中使用 119Mb JSON 文件的時(shí)間:$ time node parse.js data.json= 22 Requests Min Time: 0.77 Max Time: 0.77 Avg Time: 0.77node jm.js data.json 1.73s user 0.24s system 100% cpu 1.959 total(本例中的最小/最大/平均時(shí)間都相同,因?yàn)槲覐?fù)制了 JSON 對(duì)象以獲得非常大的數(shù)據(jù)集,但這無(wú)關(guān)緊要。)我很好奇是否只是 JavaScript/Node 在解析 JSON 時(shí)速度更快(我猜這不會(huì)特別令人驚訝),或者我在 Go 程序中做錯(cuò)了什么。我也很好奇我在 Go 程序中做錯(cuò)了什么,因?yàn)槲掖_信它有很多錯(cuò)誤。請(qǐng)注意,雖然這兩個(gè)腳本不僅僅是解析,但在 Go 中肯定會(huì) json.Unmarshal()在程序中增加大量時(shí)間。
1 回答

婷婷同學(xué)_
TA貢獻(xiàn)1844條經(jīng)驗(yàn) 獲得超8個(gè)贊
使用 Go,您將 JSON 解析為靜態(tài)類型結(jié)構(gòu)。使用 JS 和 Ruby,您將其解析為哈希表。
為了將 JSON 解析為您定義的結(jié)構(gòu),json 包需要找出其字段的名稱和類型。為此,它使用了反射包,這比直接訪問(wèn)這些字段要慢得多。
根據(jù)您解析數(shù)據(jù)后對(duì)數(shù)據(jù)的處理方式,額外的解析時(shí)間可能會(huì)物有所值。Go 數(shù)據(jù)結(jié)構(gòu)比哈希表使用更少的內(nèi)存,并且訪問(wèn)速度更快。因此,如果您對(duì)數(shù)據(jù)進(jìn)行大量處理,則節(jié)省的處理時(shí)間可能會(huì)超過(guò)額外的解析時(shí)間。
- 1 回答
- 0 關(guān)注
- 211 瀏覽
添加回答
舉報(bào)
0/150
提交
取消