機器學(xué)習(xí)的常用方法，主要分為有監(jiān)督學(xué)習(xí)(supervised learning)和無監(jiān)督學(xué)習(xí)(unsupervised learning)。
監(jiān)督學(xué)習(xí)，就是人們常說的分類，通過已有的訓(xùn)練樣本（即已知數(shù)據(jù)以及其對應(yīng)的輸出）去訓(xùn)練得到一個最優(yōu)模型（這個模型屬于某個函數(shù)的集合，最優(yōu)則表示在某個評價準(zhǔn)則下是最佳的），再利用這個模型將所有的輸入映射為相應(yīng)的輸出，對輸出進行簡單的判斷從而實現(xiàn)分類的目的，也就具有了對未知數(shù)據(jù)進行分類的能力。在人對事物的認識中，我們從孩子開始就被大人們教授這是鳥啊、那是豬啊、那是房子啊，等等。我們所見到的景物就是輸入數(shù)據(jù)，而大人們對這些景物的判斷結(jié)果（是房子還是鳥?。┚褪窍鄳?yīng)的輸出。當(dāng)我們見識多了以后，腦子里就慢慢地得到了一些泛化的模型，這就是訓(xùn)練得到的那個（或者那些）函數(shù)，從而不需要大人在旁邊指點的時候，我們也能分辨的出來哪些是房子，哪些是鳥。監(jiān)督學(xué)習(xí)里典型的例子就是KNN、SVM。
無監(jiān)督學(xué)習(xí)（也有人叫非監(jiān)督學(xué)習(xí)，反正都差不多）則是另一種研究的比較多的學(xué)習(xí)方法，它與監(jiān)督學(xué)習(xí)的不同之處，在于我們事先沒有任何訓(xùn)練樣本，而需要直接對數(shù)據(jù)進行建模。這聽起來似乎有點不可思議，但是在我們自身認識世界的過程中很多處都用到了無監(jiān)督學(xué)習(xí)。比如我們?nèi)⒂^一個畫展，我們完全對藝術(shù)一無所知，但是欣賞完多幅作品之后，我們也能把它們分成不同的派別（比如哪些更朦朧一點，哪些更寫實一些，即使我們不知道什么叫做朦朧派，什么叫做寫實派，但是至少我們能把他們分為兩個類）。無監(jiān)督學(xué)習(xí)里典型的例子就是聚類了