自然語(yǔ)言處理中的term token是什么概念
自然語(yǔ)言處理中的term token是什么概念?
富國(guó)滬深
2019-01-02 10:06:52
TA貢獻(xiàn)1796條經(jīng)驗(yàn) 獲得超4個(gè)贊
我們講語(yǔ)義就是是什么、意思、意義。但有個(gè)問題,我們講的意義都來(lái)自我們的感覺,但計(jì)算機(jī)只有傳感器,所以讓計(jì)算機(jī)直接理解意義既沒必要也沒辦法。既然計(jì)算機(jī)沒辦法從根本上理解每句話的意思,那語(yǔ)義分析其實(shí)就是從語(yǔ)句中抽取有效的知識(shí)
舉報(bào)