                        課程
                    
                        /后端開(kāi)發(fā)
                        
                            /Python
                        
                        /機(jī)器學(xué)習(xí)-實(shí)現(xiàn)簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)

那個(gè)權(quán)重更新算法，為什么那樣更新是合理的，那個(gè)更新后的參數(shù)就會(huì)逼近最終答案？

琴代語(yǔ)兮

2017-07-02

源自：機(jī)器學(xué)習(xí)-實(shí)現(xiàn)簡(jiǎn)單神經(jīng)網(wǎng)絡(luò) 2-2

關(guān)注問(wèn)題我要回答

1303

操作

收起

2 回答

慕前端1296039
2020-10-06

首先，我們所求的答案并不一定是最優(yōu)答案（最值），而通常是相對(duì)最優(yōu)答案（極值）。拿周志華機(jī)器學(xué)習(xí)中的例子來(lái)說(shuō)，當(dāng)你站在山坡的某個(gè)位置時(shí)，只看你當(dāng)前位置朝哪個(gè)方向走下山最快（即求導(dǎo)的過(guò)程），然后朝那個(gè)方向邁出一步（即更新權(quán)重的過(guò)程），之后繼續(xù)看朝哪個(gè)方向走下山最快，再繼續(xù)邁出一步（反復(fù)迭代）。也許，你會(huì)走到真正的山底（最值），也許你遇到某個(gè)坑就停下了（極值）。而針對(duì)極值，如果想要跳出，就涉及后面的優(yōu)化算法了。