據(jù)我了解，tf.layers.batch_normalization我定義的軸是標(biāo)準(zhǔn)化的軸。簡(jiǎn)單的說：鑒于這些值a = [[0, 2],
[1, 4]]形狀為 (2, 2)，因此軸為 0 和 1。對(duì)軸 1 進(jìn)行歸一化意味著將軸 0 減少到其平均值和標(biāo)準(zhǔn)偏差，然后將這些值用于歸一化。所以bn = tf.layers.batch_normalization(a, axis=[1])會(huì)有（幾乎）相同的結(jié)果m, v = tf.nn.moments(a, axes=[0])
bn = (a - m) / tf.sqrt(v)但是我將如何tf.layers.batch_normalization處理所有軸？使用之前的平均值和標(biāo)準(zhǔn)差計(jì)算將很容易：m, v = tf.nn.moments(a, axes=[0, 1])
bn = (a - m) / tf.sqrt(v)但是如何通過批量標(biāo)準(zhǔn)化來做到這一點(diǎn)？bn = tf.layers.batch_normalization(a, axis=[???])我嘗試了以下不起作用的方法：axis = None： AttributeError: 'BatchNormalization' object has no attribute 'axis'axis = []： IndexError: list index out of rangeaxis = [0, 1]: 所有結(jié)果為零
2 回答
白板的微信
TA貢獻(xiàn)1883條經(jīng)驗(yàn) 獲得超3個(gè)贊
這可以通過層標(biāo)準(zhǔn)化來實(shí)現(xiàn)：
>>> data = tf.constant(np.arange(10).reshape(5, 2) * 10, dtype=tf.float32)
layer = tf.keras.layers.LayerNormalization(axis=[0, 1])
output = layer(data)
print(output)
tf.Tensor(
[[-1.5666981 -1.2185429 ]
[-0.8703878 -0.5222327 ]
[-0.17407757 0.17407756]
[ 0.52223265 0.8703878 ]
[ 1.2185429 1.5666981 ]], shape=(5, 2), dtype=float32)
與批歸一化的區(qū)別在于，層歸一化將操作分別應(yīng)用于批次中的每個(gè)單元。
如果您想對(duì)批處理執(zhí)行此操作，請(qǐng)選擇批處理規(guī)范。同樣，這通過將軸設(shè)置為列表來工作。
MMMHUHU
TA貢獻(xiàn)1834條經(jīng)驗(yàn) 獲得超8個(gè)贊
不幸的是，我認(rèn)為使用batch_normalizationtensorflow API的層/功能是不可行的。
正如函數(shù)名稱所暗示的，它旨在執(zhí)行“批量”歸一化，因此預(yù)計(jì)在給定當(dāng)前批次（通常為 0 維）的特征軸上進(jìn)行歸一化。
添加回答
舉報(bào)
0/150
提交
取消