-
起源
時間：20世紀(jì)中葉
實際上是一種仿生學(xué)產(chǎn)品
興起
環(huán)境：2進(jìn)制創(chuàng)新
能力：軟硬件
需求：人的性價比
查看全部 -
分類：圖像、語音（密集型矩陣）
????????????文本（稀疏性矩陣）
查看全部 -
訓(xùn)練學(xué)習(xí)：
網(wǎng)絡(luò)結(jié)構(gòu)????激勵函數(shù)????損失函數(shù)????梯度下降
查看全部 -
神經(jīng)網(wǎng)絡(luò)：
圖像-》自動駕駛
語音-》語音助手
文本-》新聞推送
查看全部 -
激勵函數(shù)圖
查看全部 -
訓(xùn)練學(xué)習(xí)
網(wǎng)絡(luò)結(jié)構(gòu) 激勵函數(shù)
損失函數(shù) 梯度下降
查看全部 -
魚查看全部
-
網(wǎng)絡(luò)結(jié)構(gòu)
激勵函數(shù)
損失函數(shù)
梯度下降
查看全部 -
：=??
同步更新?W?和b
查看全部 -
Sigmoid函數(shù)：f(x)=1/[1+e^(-x)] ? ?//在進(jìn)行1或0的判斷時使用，在整個區(qū)間段都是可導(dǎo)的；
tanh函數(shù)：f(x)=[e^x-e^(-x)]/[e^x+e^(-x)] ?// 在標(biāo)注不好的情況下可嘗試使用；
ReLU函數(shù)：f(x)=max(0,x) ?// 默認(rèn)函數(shù)
查看全部 -
Sigmoid函數(shù)：f(x)=1/[1+e^(-x)] ? ?//在整個區(qū)間段都是可導(dǎo)的；
tanh函數(shù)：f(x)=[e^x-e^(-x)]/[e^x+e^(-x)]
ReLU函數(shù)：f(x)=max(0,x) ?// 默認(rèn)函數(shù)
查看全部 -
f(x)=1/[1+e^(-x)] ? ?//在整個區(qū)間段都是可導(dǎo)的
查看全部 -
三種激勵函數(shù)：
1，Sigmoid函數(shù)，當(dāng)x趨向于負(fù)無窮時，函數(shù)趨向于0；當(dāng)x趨向于正無窮時，函數(shù)趨向于1.
優(yōu)點是：在整個區(qū)間上是可導(dǎo)的。
缺點是：不是以原點對稱的，對稱點是（0,0.5）。使用其做完函數(shù)計算后，
經(jīng)常需要再做一步數(shù)據(jù)中心化。
2，tanh函數(shù)
激勵函數(shù)是對大腦中傳遞介質(zhì)的模擬，非線性的變化
Sigmoid tanh ReLU
2.1sigmoid （0-1）優(yōu)勢：整個函數(shù)可導(dǎo)，后期反向傳播
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?缺點：對稱點：0.50（數(shù)據(jù)中心化）-》tanh
? 趨向比較小或比較大時，變化平緩
?2.2ReLU
激勵函數(shù)：
作用：提供規(guī)?；姆蔷€性能力
包括：Sigmoid、tanh、ReLU等
Sigmoid函數(shù)適用于結(jié)果為判斷是非的場合，但由于其對稱中心在(0, 0.5)，還需要進(jìn)行數(shù)據(jù)中心化，由此提出了其改進(jìn)函數(shù)tanh
Sigmiod和tanh的缺點是當(dāng)數(shù)值很大或很小時，結(jié)果變化比較平緩，由此提出了ReLU函數(shù)，
激勵函數(shù)的作用是提供規(guī)模化的非線性化能力，模擬神經(jīng)元被激發(fā)后非線性狀態(tài)的變化。
Sigmoid：區(qū)間[0,1]
優(yōu)點：整個區(qū)間段可導(dǎo)。
缺點：不是原點中心對稱，對稱點(0,0.5)-->數(shù)據(jù)中心化(0,0)
tanh：區(qū)間[-1,1]
優(yōu)點：sigmoid函數(shù)平移后得到，中心對稱。
查看全部 -
激勵函數(shù)：Sigmoid, tanh, ReLU
查看全部 -
分類識別（圖片就是一個像素的矩陣）：圖像是稀疏型矩陣、語音和文本是密集型矩陣，圖像和語音中的點大部分為非零值，而文本可能是零值居多，所以文本還有一些預(yù)處理要做。
每一個節(jié)點（神經(jīng)元）的處理包括：
（1）將輸入x進(jìn)行線性組合；
（2）將線性組合的結(jié)果通過激活函數(shù)g(z)轉(zhuǎn)化為非線性的結(jié)果，以處理非線性問題
網(wǎng)絡(luò)結(jié)構(gòu)
激勵函數(shù)
損失函數(shù)
梯度下降
查看全部
舉報