做文本挖掘是否需要了解自然語(yǔ)言處理?
做文本挖掘是否需要了解自然語(yǔ)言處理?
阿晨1998
2018-09-12 10:06:32
TA貢獻(xiàn)2003條經(jīng)驗(yàn) 獲得超2個(gè)贊
關(guān)于鄭鈞的回答,我覺(jué)得涉及的點(diǎn)很好,但是有些知識(shí)不是很準(zhǔn)確;
map/reduce 是一種分布式計(jì)算的框架,TIIDF可以看作是一種特征表示方法;統(tǒng)計(jì)方法比較常用的包括,樸素貝葉斯,最大后驗(yàn)概率,EM算法,CRF(比如用于分詞)等;
SVM不是聚類方法,而是分類回歸方法; VSM應(yīng)該是vector-space-model吧,是向量空間模型,是文本表示的基本模型;常見(jiàn)的聚類方法分為兩類,層次聚類和扁平聚類,扁平聚類的代表算法是經(jīng)典的KMean算法。分類方法也用的很多,比如SVM和決策樹(shù)。
NLP本身有一點(diǎn)比較特別的是語(yǔ)言模型;
舉報(bào)