首頁(yè) 猿問如何檢測(cè)文件的編碼？

如何檢測(cè)文件的編碼？

Go

瀟瀟雨雨 2021-04-30 18:17:18

我正在嘗試找出使用Go在Windows上文件的編碼。經(jīng)過一些研究，我發(fā)現(xiàn)了許多關(guān)于Mozilla的字符集檢測(cè)器（chardet）的建議，但是它們很難編譯，而且我沒有運(yùn)氣。我還發(fā)現(xiàn)了libguess，它似乎已在Linux中廣泛使用，但我無(wú)法使其在Windows中工作。最好的方法是什么？在Windows上是否可以使用事實(shí)上的標(biāo)準(zhǔn)庫(kù)？

查看完整描述

2 回答

函數(shù)式編程

TA貢獻(xiàn)1807條經(jīng)驗(yàn) 獲得超9個(gè)贊

您可以使用pythonpackage：chardet。

反對(duì) 回復(fù) 2021-05-10

jeck貓

TA貢獻(xiàn)1909條經(jīng)驗(yàn) 獲得超7個(gè)贊

您可能對(duì)Enca（極端幼稚的字符集分析器）感興趣。我猜您可以嘗試使用所有候選編碼讀取文件，并計(jì)算每種嘗試與該語(yǔ)言的“標(biāo)準(zhǔn)”字符頻率分布之間的距離。Enca需要一些語(yǔ)言信息，但是我不確定它是否使用這種方法。（這只是一個(gè)主意，可能會(huì)被誤導(dǎo)。）

反對(duì) 回復(fù) 2021-05-10