-
網(wǎng)絡梯度下降
查看全部 -
全部訓練損失
查看全部 -
三種激勵函數(shù)：Sigmoid，tanh，ReLU
查看全部 -
神經(jīng)網(wǎng)絡包含
查看全部 -
邏輯回歸模型
查看全部 -
神經(jīng)元
線性組合
非線性處理
查看全部 -
網(wǎng)絡結構
激勵函數(shù)
損失函數(shù)
梯度下降
查看全部 -
用激勵函數(shù)正向運算輸入值得到損失，若損失過大，用梯度下降函數(shù)對W,b進行調(diào)整
重復正向運算，知道損失達到最小
查看全部 -
左邊利用輸入值通過每一層網(wǎng)絡的結構計算出下一層輸出
直到結束，計算出損失
右邊通過損失函數(shù)不斷更新W，b,知道計算出最小的損失函數(shù)
查看全部 -
觀察神經(jīng)網(wǎng)絡過程形成較為直觀的理解
梯度下降逆向更新W,b
一邊正向一邊逆向，重復這個流程
訓練過程
左邊成為正向傳播
通過輸入值按照每一層網(wǎng)絡的結構計算出下一層的輸出
直到結束，結束的時候計算出整個網(wǎng)絡的損失
右側是一個參數(shù)(W,b)調(diào)校的過程
通常會用到左邊的W，b參數(shù)，而這些參數(shù)通常是會緩存的，這樣會提高我們的運算效率（z^n,W^n,b^n）
實際上是逐步更新參數(shù)的過程
然后用新的參數(shù)載重復上面的過程
知道我們的損失函數(shù)趨向于一個最小值
參數(shù)全部算好然后一次性更新
查看全部 -
神經(jīng)網(wǎng)絡的梯度下降——反向傳播
通過運算結果，逆向調(diào)節(jié)每一層的W,b,從而使整個神經(jīng)鏈條達到一種最佳的狀態(tài)
通過w,b的線性運算和激勵函數(shù)的操作，在每一層上通過這兩部得到下一層的輸入值
倒數(shù)第二層不需要調(diào)校
查看全部 -
神經(jīng)網(wǎng)絡的網(wǎng)絡向量化
神經(jīng)網(wǎng)絡的向前傳播、運算、預測——神經(jīng)網(wǎng)絡的網(wǎng)絡向量化，對向量化進行計算的過程
查看全部 -
邏輯回歸中的梯度下降
w和b決定函數(shù)的樣子
w和b同步更新
α是學習的速率，避免計算太快，錯過合適的W,
w=w-a*(損失函數(shù)對w進行求導)
查看全部 -
單次訓練損失
全部訓練損失(就是把單次訓練損失加起來)
查看全部 -
激勵函數(shù)：
作用：提供規(guī)?；姆蔷€性能力
包括：Sigmoid、tanh、ReLU等
Sigmoid函數(shù)適用于結果為判斷是非的場合，但由于其對稱中心在(0, 0.5)，還需要進行數(shù)據(jù)中心化，由此提出了其改進函數(shù)tanh
Sigmiod和tanh的缺點是當數(shù)值很大或很小時，結果變化比較平緩，由此提出了ReLU函數(shù)，
而ReLU函數(shù)作為最普遍使用的激勵函數(shù)，我們有時會使用斜率為負但是絕對值比正數(shù)小的線
查看全部
舉報