                        課程
                    
                        /后端開發(fā)
                        
                            /Python
                        
                        /機(jī)器學(xué)習(xí)-實現(xiàn)簡單神經(jīng)網(wǎng)絡(luò)

那個權(quán)重更新算法，為什么那樣更新是合理的，那個更新后的參數(shù)就會逼近最終答案？

琴代語兮

2017-07-02

源自：機(jī)器學(xué)習(xí)-實現(xiàn)簡單神經(jīng)網(wǎng)絡(luò) 2-2

關(guān)注問題我要回答

1319

操作

收起

2 回答

慕前端1296039
2020-10-06

首先，我們所求的答案并不一定是最優(yōu)答案（最值），而通常是相對最優(yōu)答案（極值）。拿周志華機(jī)器學(xué)習(xí)中的例子來說，當(dāng)你站在山坡的某個位置時，只看你當(dāng)前位置朝哪個方向走下山最快（即求導(dǎo)的過程），然后朝那個方向邁出一步（即更新權(quán)重的過程），之后繼續(xù)看朝哪個方向走下山最快，再繼續(xù)邁出一步（反復(fù)迭代）。也許，你會走到真正的山底（最值），也許你遇到某個坑就停下了（極值）。而針對極值，如果想要跳出，就涉及后面的優(yōu)化算法了。