假設(shè),我構(gòu)建了只有兩層的神經(jīng)網(wǎng)絡(luò)(隱藏層加輸出層)。在隱藏層中Zh=WhX + Bh,然后運(yùn)用激活函數(shù)sigmoid,即Yh = sigmoid(Zh),所以說Yh的范圍也就是0-1。然后Yh作為輸入值傳到輸出層,再次用Zo = WoYh + Bo,然后用激活函數(shù)sigmiod,即Yo = sigmoid(Zo),Yo是預(yù)測值,也就是說Yo的范圍也是0-1,再算得loss,即loss = (Y0 - 實(shí)際值)^2。所以loss的圖像是個(gè)碗形,我們就是要找碗的最低點(diǎn)。但是我不理解的是,Yo的取值范圍是 0-1,假設(shè)實(shí)際值是很大的數(shù),所以用0.1 - 999的平方,和0.1 - 1000的平方幾乎沒有差別,假設(shè)實(shí)際值都是這么大的數(shù),那豈不是無法計(jì)算?初學(xué)神經(jīng)網(wǎng)絡(luò),還請指教,謝謝。
關(guān)于神經(jīng)網(wǎng)絡(luò)中l(wèi)oss的問題
東邊天上的云
2018-03-10 11:28:45