慕田峪9158850
2021-06-04 19:10:20
我是 tensorflow 和機(jī)器學(xué)習(xí)的新手,我正在經(jīng)典 MNIST 數(shù)據(jù)集上訓(xùn)練 tf.estimator.LinearClassifier。訓(xùn)練過(guò)程結(jié)束后,我正在閱讀輸出權(quán)重和偏差,classifier.get_variable_names()我得到:"['global_step', 'linear/linear_model/bias_weights', 'linear/linear_model/bias_weights/part_0/Adagrad', 'linear/linear_model/pixels/weights', 'linear/linear_model/pixels/weights/part_0/Adagrad']"我的問(wèn)題是:linear/linear_model/bias_weights和之間有什么區(qū)別 linear/linear_model/bias_weights/part_0/Adagrad?它們的大小相同。我能想象的唯一解釋是linear/linear_model/bias_weights和linear/linear_model/bias_weights/part_0/Adagrad分別代表訓(xùn)練過(guò)程開(kāi)始和結(jié)束時(shí)的權(quán)重。但是,我不確定這一點(diǎn),我在網(wǎng)上找不到任何東西。
1 回答

MM們
TA貢獻(xiàn)1886條經(jīng)驗(yàn) 獲得超2個(gè)贊
linear/linear_model/bias_weights
是你訓(xùn)練好的模型權(quán)重。
linear/linear_model/bias_weights/part_0/Adagrad
來(lái)自您使用AdaGrad
優(yōu)化器。這個(gè)優(yōu)化器的特殊之處在于它保留了過(guò)去梯度的“記憶”,并使用它在每個(gè)訓(xùn)練步驟重新調(diào)整梯度。如果您想了解更多信息(非常數(shù)學(xué)),請(qǐng)參閱AdaGrad 論文。
重要的部分是linear/linear_model/bias_weights/part_0/Adagrad
存儲(chǔ)這個(gè)“記憶”。它被返回是因?yàn)樗诩夹g(shù)上是tf.Variable
您程序中的一個(gè),但它不是您模型中的實(shí)際變量/權(quán)重。只有linear/linear_model/bias_weights
是。當(dāng)然,這同樣適用于linear/linear_model/pixels/weights
。
添加回答
舉報(bào)
0/150
提交
取消