-
輸入單個(gè)節(jié)點(diǎn)的處理也可以有一個(gè)預(yù)測(cè)輸出，通過選定損失函數(shù)對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)估，并進(jìn)行反向?qū)W習(xí)進(jìn)一步修改線性組合的參數(shù)W和b
查看全部 -
邏輯回歸是一種最簡(jiǎn)化的網(wǎng)絡(luò)結(jié)構(gòu)
查看全部 -
神經(jīng)網(wǎng)絡(luò)比普通的函數(shù)具有結(jié)構(gòu)性的順序——網(wǎng)絡(luò)結(jié)構(gòu)
深層網(wǎng)絡(luò)比淺層網(wǎng)絡(luò)的所需結(jié)點(diǎn)數(shù)要少，而且理解力會(huì)更強(qiáng)
線性結(jié)構(gòu)可以解決線性問題，非線性就可以解決非線性問題
神經(jīng)元結(jié)構(gòu)
查看全部 -
課程安排1
查看全部 -
圖像、語音：密集型矩陣，非零值
文本：稀疏型矩陣，零值居多，需要預(yù)處理
查看全部 -
神經(jīng)網(wǎng)絡(luò)
起源：
????20世紀(jì)中葉
查看全部 -
神經(jīng)網(wǎng)絡(luò)的主要組件
查看全部 -
梯度下降同步更新神經(jīng)元線性部分的參數(shù)W和b，J(W,b)為損失函數(shù)
查看全部 -
正向傳播-->網(wǎng)絡(luò)向量化
反向傳播-->網(wǎng)絡(luò)梯度下降
對(duì)a^n求導(dǎo)，輸出dW^n、db^n、dz^n，得到da^n-1
y-->a^n-->a^n-1-->……-->a（x層不需要調(diào)教）
訓(xùn)練過程：正向傳播計(jì)算損失-->反向傳播更新參數(shù)-->反復(fù)以上步驟
注意：傳播按層進(jìn)行，中間沒有交叉，所有層全部算好后再一次性更新參數(shù)
查看全部 -
梯度下降是通過一種漸進(jìn)性的方式來調(diào)整函數(shù)的形態(tài)（W，b），使學(xué)習(xí)結(jié)果與實(shí)際結(jié)果一致。
通過正向運(yùn)算得到y(tǒng)^，此時(shí)W、b是初始值，y^與真實(shí)y值有差異，通過損失函數(shù)反向調(diào)整參數(shù)W、b。用損失函數(shù)分別對(duì)W、b求導(dǎo)，同步更新W、b，使在損失函數(shù)變化方向上漸進(jìn)減小直到Global Minimum（全局最小值），此時(shí)W、b趨向于穩(wěn)定。如果損失函數(shù)趨近于全局最小值，則預(yù)測(cè)y值與真實(shí)y值差異最小。
查看全部 -
損失函數(shù)判斷學(xué)習(xí)產(chǎn)生的函數(shù)值和訓(xùn)練集給出的函數(shù)值之間的差異性。
不使用歐幾里得距離（預(yù)測(cè)值與真實(shí)值做差）而使用log函數(shù)是因?yàn)?，通過激勵(lì)函數(shù)學(xué)習(xí)出的平面并不是凸函數(shù)平面，在后期做梯度下降（與是否是凸函數(shù)有關(guān)）時(shí)有多個(gè)局部極小值時(shí)，學(xué)習(xí)結(jié)果不準(zhǔn)確。
-->使用log變成凸函數(shù)。
查看全部 -
激勵(lì)函數(shù)的作用是提供規(guī)?；姆蔷€性化能力，模擬神經(jīng)元被激發(fā)后非線性狀態(tài)的變化。
Sigmoid：區(qū)間[0,1]
優(yōu)點(diǎn)：整個(gè)區(qū)間段可導(dǎo)。
缺點(diǎn)：不是原點(diǎn)中心對(duì)稱，對(duì)稱點(diǎn)(0,0.5)-->數(shù)據(jù)中心化(0,0)
tanh：區(qū)間[-1,1]
優(yōu)點(diǎn)：sigmoid函數(shù)平移后得到，中心對(duì)稱。
缺點(diǎn)：趨向于較大或較小時(shí)，導(dǎo)數(shù)為0，函數(shù)變化平緩，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效率受影響，學(xué)習(xí)周期變長(zhǎng)。
ReLU（較為普遍）：
缺點(diǎn)：小于0時(shí)，導(dǎo)數(shù)為0，出現(xiàn)問題-->可改為斜率較小的斜線
查看全部 -
圖像、語音：密集型矩陣，非零值
文本：稀疏型矩陣，零值居多，需要預(yù)處理
查看全部 -
權(quán)重 偏置值查看全部
-
：=? ?同步更新
查看全部
舉報(bào)