第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

網(wǎng)絡(luò)梯度下降

又叫反向傳播

a n為第n層（從最后一層開始）的輸出，該層有自己的參數(shù)W n與b n，通過(guò)da n求導(dǎo)得出dz n，并依次得到dW n與db n，在得到上一層的輸出的導(dǎo)數(shù)da n-1，該過(guò)程直到求出第二層的輸出的導(dǎo)數(shù)da 1未知，完成整個(gè)網(wǎng)絡(luò)梯度下降（反向傳播）機(jī)制

對(duì)各層而言處理W和b的自身格式不同，其處理過(guò)程相似都可以歸納為

注：這里的x可以為輸入，也可以為上一層的輸出a n-1

可以將上述過(guò)程總結(jié)為

各層之間都存在的邏輯回歸關(guān)系（線性組合W與b、激活函數(shù)g），各層間的W和b需滿足一定格式來(lái)實(shí)現(xiàn)矩陣維度的變化，如截圖所示

網(wǎng)絡(luò)向量化：

也叫 神經(jīng)網(wǎng)絡(luò)向前傳播/神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)

對(duì)于一個(gè)單隱藏層神經(jīng)網(wǎng)絡(luò)（如圖1），其各層的輸入輸出可以表示為（見截圖），x1、x2、x3表示輸入層的輸入，a11～a41表示隱藏層的4個(gè)輸出，a2表示輸出層的輸出

參數(shù)W與b的更新：

“:=”表示參數(shù)W與b需要同步更新，等號(hào)右邊的W與b是上一次W與b的值，通過(guò)對(duì)損失函數(shù)J(w,b)求導(dǎo)（梯度），α代表學(xué)習(xí)率，學(xué)習(xí)率越高下降速度越快，但也有可能會(huì)越過(guò)最小值

通過(guò)不斷找到損失函數(shù)的下一個(gè)最小值，以找到更優(yōu)預(yù)測(cè)值來(lái)反向更新W與b的值，直到當(dāng)前最小值趨于穩(wěn)定，得出最優(yōu)的W與b的值

梯度下降：

在得到線性組合參數(shù)W和b的初始值后，通過(guò)建立預(yù)測(cè)值y^與真實(shí)值y的損失函數(shù)來(lái)反向調(diào)整參數(shù)W和b，每一個(gè)損失函數(shù)都可表示成一個(gè)曲面，在這個(gè)曲面上有最大值也有最小值，第一個(gè)點(diǎn)（第一次輸出的預(yù)測(cè)值與真實(shí)值的損失函數(shù)的值）順著凸面向下不斷找尋下一個(gè)更優(yōu)更小的點(diǎn)（梯度下降），最終得到這個(gè)面上的最小值（這個(gè)點(diǎn)就是預(yù)測(cè)值y^與真實(shí)值y之間的差異最小值）該過(guò)程不斷進(jìn)行直到參數(shù)W和b穩(wěn)定，這時(shí)就得到了一個(gè)最優(yōu)（最接近實(shí)際問(wèn)題）的邏輯回歸方程，也即得到了這個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練出來(lái)的最優(yōu)模型。

全部訓(xùn)練損失函數(shù)：（見截圖）

對(duì)單次損失函數(shù)的累加

損失函數(shù)：

反映預(yù)測(cè)值與真實(shí)值直接的差異

單次損失函數(shù)：（見截圖）

其中y^代表預(yù)測(cè)值，y代表真實(shí)值

注：這里不直接將預(yù)測(cè)值與真實(shí)值做差（歐幾里得距離）而使用log函數(shù)是因?yàn)槭褂眉せ詈瘮?shù)后，數(shù)據(jù)集學(xué)習(xí)得到的函數(shù)平面不是一個(gè)凸函數(shù)平面，在做梯度下降的時(shí)候（與是否凸函數(shù)有關(guān)系）如果有多個(gè)局部極小值的情況下，學(xué)習(xí)出來(lái)的結(jié)果會(huì)不準(zhǔn)確

激勵(lì)函數(shù)：

作用：提供規(guī)?；姆蔷€性能力

包括：Sigmoid、tanh、ReLU等

Sigmoid函數(shù)適用于結(jié)果為判斷是非的場(chǎng)合，但由于其對(duì)稱中心在(0, 0.5)，還需要進(jìn)行數(shù)據(jù)中心化，由此提出了其改進(jìn)函數(shù)tanh

Sigmiod和tanh的缺點(diǎn)是當(dāng)數(shù)值很大或很小時(shí)，結(jié)果變化比較平緩，由此提出了ReLU函數(shù)，ReLU是最常用默認(rèn)的一種激活函數(shù)

邏輯回歸：

邏輯回歸是一種最簡(jiǎn)化的神經(jīng)結(jié)構(gòu)，輸入單個(gè)節(jié)點(diǎn)的處理也可以有一個(gè)預(yù)測(cè)輸出，通過(guò)選定損失函數(shù)對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)估，并進(jìn)行反向?qū)W習(xí)進(jìn)一步修改線性組合的參數(shù)W和b

每一個(gè)節(jié)點(diǎn)（神經(jīng)元）的處理包括：

（1）將輸入x進(jìn)行線性組合；

（2）將線性組合的結(jié)果通過(guò)激活函數(shù)g(z)轉(zhuǎn)化為非線性的結(jié)果，以處理非線性問(wèn)題

網(wǎng)絡(luò)結(jié)構(gòu)：

節(jié)點(diǎn)與層，包括：輸入層，隱含層、輸出層

就是神經(jīng)網(wǎng)絡(luò)圖形化設(shè)計(jì)轉(zhuǎn)化為向量表示的公式化