-
網(wǎng)絡(luò)梯度下降
查看全部 -
全部訓(xùn)練損失
查看全部 -
三種激勵(lì)函數(shù)：Sigmoid，tanh，ReLU
查看全部 -
神經(jīng)網(wǎng)絡(luò)包含
查看全部 -
邏輯回歸模型
查看全部 -
神經(jīng)元
線性組合
非線性處理
查看全部 -
網(wǎng)絡(luò)結(jié)構(gòu)
激勵(lì)函數(shù)
損失函數(shù)
梯度下降
查看全部 -
用激勵(lì)函數(shù)正向運(yùn)算輸入值得到損失，若損失過(guò)大，用梯度下降函數(shù)對(duì)W,b進(jìn)行調(diào)整
重復(fù)正向運(yùn)算，知道損失達(dá)到最小
查看全部 -
左邊利用輸入值通過(guò)每一層網(wǎng)絡(luò)的結(jié)構(gòu)計(jì)算出下一層輸出
直到結(jié)束，計(jì)算出損失
右邊通過(guò)損失函數(shù)不斷更新W，b,知道計(jì)算出最小的損失函數(shù)
查看全部 -
觀察神經(jīng)網(wǎng)絡(luò)過(guò)程形成較為直觀的理解
梯度下降逆向更新W,b
一邊正向一邊逆向，重復(fù)這個(gè)流程
訓(xùn)練過(guò)程
左邊成為正向傳播
通過(guò)輸入值按照每一層網(wǎng)絡(luò)的結(jié)構(gòu)計(jì)算出下一層的輸出
直到結(jié)束，結(jié)束的時(shí)候計(jì)算出整個(gè)網(wǎng)絡(luò)的損失
右側(cè)是一個(gè)參數(shù)(W,b)調(diào)校的過(guò)程
通常會(huì)用到左邊的W，b參數(shù)，而這些參數(shù)通常是會(huì)緩存的，這樣會(huì)提高我們的運(yùn)算效率（z^n,W^n,b^n）
實(shí)際上是逐步更新參數(shù)的過(guò)程
然后用新的參數(shù)載重復(fù)上面的過(guò)程
知道我們的損失函數(shù)趨向于一個(gè)最小值
參數(shù)全部算好然后一次性更新
查看全部 -
神經(jīng)網(wǎng)絡(luò)的梯度下降——反向傳播
通過(guò)運(yùn)算結(jié)果，逆向調(diào)節(jié)每一層的W,b,從而使整個(gè)神經(jīng)鏈條達(dá)到一種最佳的狀態(tài)
通過(guò)w,b的線性運(yùn)算和激勵(lì)函數(shù)的操作，在每一層上通過(guò)這兩部得到下一層的輸入值
倒數(shù)第二層不需要調(diào)校
查看全部 -
神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)向量化
神經(jīng)網(wǎng)絡(luò)的向前傳播、運(yùn)算、預(yù)測(cè)——神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)向量化，對(duì)向量化進(jìn)行計(jì)算的過(guò)程
查看全部 -
邏輯回歸中的梯度下降
w和b決定函數(shù)的樣子
w和b同步更新
α是學(xué)習(xí)的速率，避免計(jì)算太快，錯(cuò)過(guò)合適的W,
w=w-a*(損失函數(shù)對(duì)w進(jìn)行求導(dǎo))
查看全部 -
單次訓(xùn)練損失
全部訓(xùn)練損失(就是把單次訓(xùn)練損失加起來(lái))
查看全部 -
激勵(lì)函數(shù)：
作用：提供規(guī)?；姆蔷€性能力
包括：Sigmoid、tanh、ReLU等
Sigmoid函數(shù)適用于結(jié)果為判斷是非的場(chǎng)合，但由于其對(duì)稱(chēng)中心在(0, 0.5)，還需要進(jìn)行數(shù)據(jù)中心化，由此提出了其改進(jìn)函數(shù)tanh
Sigmiod和tanh的缺點(diǎn)是當(dāng)數(shù)值很大或很小時(shí)，結(jié)果變化比較平緩，由此提出了ReLU函數(shù)，
而ReLU函數(shù)作為最普遍使用的激勵(lì)函數(shù)，我們有時(shí)會(huì)使用斜率為負(fù)但是絕對(duì)值比正數(shù)小的線
查看全部
舉報(bào)