深度學(xué)習(xí)在自然語言處理中的應(yīng)用已經(jīng)非常廣泛，可以說橫掃自然語言處理的各個(gè)應(yīng)用，從底層的分詞、語言模型、句法分析等到高層的語義理解、對(duì)話管理、知識(shí)問答、聊天、機(jī)器翻譯等方面都幾乎全部都有深度學(xué)習(xí)的模型，并且取得了不錯(cuò)的效果?？梢詤⒖碅CL2017年的accepted papers list。Accepted Papers, Demonstrations and TACL Articles for ACL 2017。從這里可以看到大部分論文都使用了深度學(xué)習(xí)的模型。
那為什么深度學(xué)習(xí)在自然語言中取得這么大的進(jìn)步呢？
一、從數(shù)據(jù)上看，經(jīng)過前些年互聯(lián)網(wǎng)的發(fā)展，很多應(yīng)用都積累到了足夠量的數(shù)據(jù)。當(dāng)數(shù)據(jù)量增大，以SVM、CRF等為代表的淺層模型，因?yàn)槟Ｐ洼^淺，無法對(duì)海量數(shù)據(jù)中的非線性關(guān)系進(jìn)行建模，所以不能帶來性能的提升。相反，以CNN、RNN為代表的深度模型，能夠隨著模型復(fù)雜性的增加，對(duì)數(shù)據(jù)進(jìn)行更精準(zhǔn)的建模，從而得到更好的效果。
二、從算法上看，深度學(xué)習(xí)也給自然語言處理的任務(wù)帶來了很多好處。首先，word2vec的出現(xiàn)，使得我們可以將word高效的表示為低維稠密的向量（distributed representation），相比于獨(dú)熱表示表示（one-hot-representation），這一方面一定程度上緩解了獨(dú)熱表示所帶來的語義鴻溝的問題，另一方面降低了輸入特征的維度，從而降低了輸入層的復(fù)雜性。其次，由于深度學(xué)習(xí)模型的靈活性，使得之前比較復(fù)雜的包含多流程的任務(wù)，可以使用end to end方法進(jìn)行解決。比如機(jī)器翻譯任務(wù)，如果用傳統(tǒng)的方法，需要分詞模塊、對(duì)齊模塊、翻譯模塊、語言模型模塊等多個(gè)模塊相互配合，每個(gè)模塊產(chǎn)生的誤差都有可能對(duì)其他模塊產(chǎn)生影響，這使得原來的傳統(tǒng)方法的構(gòu)建復(fù)雜度很大。在機(jī)器翻譯使用encoder-decoder架構(gòu)后，我們可以將源語言直接映射到目標(biāo)語言，從而可以從整體上優(yōu)化，避免了誤差傳遞的問題，而且極大的降低了系統(tǒng)的復(fù)雜性。

深度學(xué)習(xí)雖然是把利器，但是并不能完全解決自然語言中的所有問題，這主要是由于不同于語音和圖像這種自然界的信號(hào)，自然語言是人類知識(shí)的抽象濃縮表示。人在表達(dá)的過程中，由于背景知識(shí)的存在會(huì)省略很多的東西，使得自然語言的表達(dá)更加簡潔，但這也給自然語言的處理帶來很大的挑戰(zhàn)。比如短文本分類問題，由于文本比較簡短，文本所攜帶的信息有限，因此比較困難。像這樣的問題，當(dāng)樣本量不夠時(shí)，如何將深度學(xué)習(xí)方法和知識(shí)信息進(jìn)行融合來提升系統(tǒng)的性能，將是未來一段時(shí)間內(nèi)自然語言處理領(lǐng)域研究的主要問題。