-
起源
時(shí)間：20世紀(jì)中葉
實(shí)際上是一種仿生學(xué)產(chǎn)品
興起
環(huán)境：2進(jìn)制創(chuàng)新
能力：軟硬件
需求：人的性價(jià)比
查看全部 -
分類：圖像、語(yǔ)音（密集型矩陣）
????????????文本（稀疏性矩陣）
查看全部 -
訓(xùn)練學(xué)習(xí)：
網(wǎng)絡(luò)結(jié)構(gòu)????激勵(lì)函數(shù)????損失函數(shù)????梯度下降
查看全部 -
神經(jīng)網(wǎng)絡(luò)：
圖像-》自動(dòng)駕駛
語(yǔ)音-》語(yǔ)音助手
文本-》新聞推送
查看全部 -
激勵(lì)函數(shù)圖
查看全部 -
訓(xùn)練學(xué)習(xí)
網(wǎng)絡(luò)結(jié)構(gòu) 激勵(lì)函數(shù)
損失函數(shù) 梯度下降
查看全部 -
魚查看全部
-
網(wǎng)絡(luò)結(jié)構(gòu)
激勵(lì)函數(shù)
損失函數(shù)
梯度下降
查看全部 -
：=??
同步更新?W?和b
查看全部 -
Sigmoid函數(shù)：f(x)=1/[1+e^(-x)] ? ?//在進(jìn)行1或0的判斷時(shí)使用，在整個(gè)區(qū)間段都是可導(dǎo)的；
tanh函數(shù)：f(x)=[e^x-e^(-x)]/[e^x+e^(-x)] ?// 在標(biāo)注不好的情況下可嘗試使用；
ReLU函數(shù)：f(x)=max(0,x) ?// 默認(rèn)函數(shù)
查看全部 -
Sigmoid函數(shù)：f(x)=1/[1+e^(-x)] ? ?//在整個(gè)區(qū)間段都是可導(dǎo)的；
tanh函數(shù)：f(x)=[e^x-e^(-x)]/[e^x+e^(-x)]
ReLU函數(shù)：f(x)=max(0,x) ?// 默認(rèn)函數(shù)
查看全部 -
f(x)=1/[1+e^(-x)] ? ?//在整個(gè)區(qū)間段都是可導(dǎo)的
查看全部 -
三種激勵(lì)函數(shù)：
1，Sigmoid函數(shù)，當(dāng)x趨向于負(fù)無窮時(shí)，函數(shù)趨向于0；當(dāng)x趨向于正無窮時(shí)，函數(shù)趨向于1.
優(yōu)點(diǎn)是：在整個(gè)區(qū)間上是可導(dǎo)的。
缺點(diǎn)是：不是以原點(diǎn)對(duì)稱的，對(duì)稱點(diǎn)是（0,0.5）。使用其做完函數(shù)計(jì)算后，
經(jīng)常需要再做一步數(shù)據(jù)中心化。
2，tanh函數(shù)
激勵(lì)函數(shù)是對(duì)大腦中傳遞介質(zhì)的模擬，非線性的變化
Sigmoid tanh ReLU
2.1sigmoid （0-1）優(yōu)勢(shì)：整個(gè)函數(shù)可導(dǎo)，后期反向傳播
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?缺點(diǎn)：對(duì)稱點(diǎn)：0.50（數(shù)據(jù)中心化）-》tanh
? 趨向比較小或比較大時(shí)，變化平緩
?2.2ReLU
激勵(lì)函數(shù)：
作用：提供規(guī)?；姆蔷€性能力
包括：Sigmoid、tanh、ReLU等
Sigmoid函數(shù)適用于結(jié)果為判斷是非的場(chǎng)合，但由于其對(duì)稱中心在(0, 0.5)，還需要進(jìn)行數(shù)據(jù)中心化，由此提出了其改進(jìn)函數(shù)tanh
Sigmiod和tanh的缺點(diǎn)是當(dāng)數(shù)值很大或很小時(shí)，結(jié)果變化比較平緩，由此提出了ReLU函數(shù)，
激勵(lì)函數(shù)的作用是提供規(guī)?；姆蔷€性化能力，模擬神經(jīng)元被激發(fā)后非線性狀態(tài)的變化。
Sigmoid：區(qū)間[0,1]
優(yōu)點(diǎn)：整個(gè)區(qū)間段可導(dǎo)。
缺點(diǎn)：不是原點(diǎn)中心對(duì)稱，對(duì)稱點(diǎn)(0,0.5)-->數(shù)據(jù)中心化(0,0)
tanh：區(qū)間[-1,1]
優(yōu)點(diǎn)：sigmoid函數(shù)平移后得到，中心對(duì)稱。
查看全部 -
激勵(lì)函數(shù)：Sigmoid, tanh, ReLU
查看全部 -
分類識(shí)別（圖片就是一個(gè)像素的矩陣）：圖像是稀疏型矩陣、語(yǔ)音和文本是密集型矩陣，圖像和語(yǔ)音中的點(diǎn)大部分為非零值，而文本可能是零值居多，所以文本還有一些預(yù)處理要做。
每一個(gè)節(jié)點(diǎn)（神經(jīng)元）的處理包括：
（1）將輸入x進(jìn)行線性組合；
（2）將線性組合的結(jié)果通過激活函數(shù)g(z)轉(zhuǎn)化為非線性的結(jié)果，以處理非線性問題
網(wǎng)絡(luò)結(jié)構(gòu)
激勵(lì)函數(shù)
損失函數(shù)
梯度下降
查看全部
舉報(bào)