這兩個概念實際上是互相交叉的，例如，卷積神經(jīng)網(wǎng)絡（Convolutional neural networks，簡稱CNNs）就是一種深度的監(jiān)督學習下的機器學習模型，而深度置信網(wǎng)（Deep Belief Nets，簡稱DBNs）就是一種無監(jiān)督學習下的機器學習模型。
深度學習的概念源于人工神經(jīng)網(wǎng)絡的研究。含多隱層的多層感知器就是一種深度學習結(jié)構(gòu)。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。
深度學習的概念由Hinton等人于2006年提出?；谏钚哦染W(wǎng)(DBN)提出非監(jiān)督貪心逐層訓練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望，隨后提出多層自動編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡是第一個真正多層結(jié)構(gòu)學習算法，它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓練性能。