首頁猿問卷積在時間步長為 1 的網(wǎng)絡(luò)上有用嗎？

卷積在時間步長為 1 的網(wǎng)絡(luò)上有用嗎？

Python

手掌心 2023-09-05 20:52:21

此代碼來自https://www.kaggle.com/dkaraflos/1-geomean-nn-and-6featlgbm-2-259-private-lb，本次比賽的目標是利用地震信號來預(yù)測實驗室的時間地震。這個環(huán)節(jié)的人在4000多個團隊中獲得了第一名def get_model(): inp = Input(shape=(1,train_sample.shape[1])) x = BatchNormalization()(inp) x = LSTM(128,return_sequences=True)(x) # LSTM as first layer performed better than Dense. x = Convolution1D(128, (2),activation='relu', padding="same")(x) x = Convolution1D(84, (2),activation='relu', padding="same")(x) x = Convolution1D(64, (2),activation='relu', padding="same")(x) x = Flatten()(x) x = Dense(64, activation="relu")(x) x = Dense(32, activation="relu")(x) #outputs ttf = Dense(1, activation='relu',name='regressor')(x) # Time to Failure tsf = Dense(1)(x) # Time Since Failure classifier = Dense(1, activation='sigmoid')(x) # Binary for TTF<0.5 seconds model = models.Model(inputs=inp, outputs=[ttf,tsf,classifier]) opt = optimizers.Nadam(lr=0.008) # We are fitting to 3 targets simultaneously: Time to Failure (TTF), Time Since Failure (TSF), and Binary for TTF<0.5 seconds # We weight the model to optimize heavily for TTF # Optimizing for TSF and Binary TTF<0.5 helps to reduce overfitting, and helps for generalization. model.compile(optimizer=opt, loss=['mae','mae','binary_crossentropy'],loss_weights=[8,1,1],metrics=['mae']) return model不過，根據(jù)我的推導(dǎo)，我認為x = Convolution1D(128, (2),activation='relu', padding="same")(x)和x = Dense(128, activation='relu ')(x)具有相同的效果，因為卷積核以時間步長為1對序列進行卷積。原則上，它與全連接層非常相似。為什么這里使用conv1D而不是直接使用全連接層呢？我的推導(dǎo)有錯誤嗎？

查看完整描述

1 回答

拉莫斯之舞

TA貢獻1820條經(jīng)驗獲得超10個贊

1) 假設(shè)您將一個序列輸入到 LSTM（正常用例）：

它不會相同，因為 LSTM 返回一個序列 (?return_sequences=True)，從而不會降低輸入維度。因此，輸出形狀為(Batch, Sequence, Hid)。這被饋送到在維度（即）Convolution1D上執(zhí)行卷積的層。因此，實際上，一維卷積的目的是在 LSTM 之后提取局部一維子序列/補丁。Sequence(Sequence, Hid)

如果有的話return_sequences=False，LSTM 將返回最終狀態(tài)h_t。為了確保與密集層具有相同的行為，您需要一個完全連接的卷積層，即長度為長度的內(nèi)核Sequence，并且我們需要與Hid輸出形狀中一樣多的濾波器。這將使一維卷積相當(dāng)于密集層。

2）假設(shè)您沒有向 LSTM 輸入序列（您的示例）：

在您的示例中，LSTM 用作密集層的替代品。它具有相同的功能，但它給出的結(jié)果略有不同，因為門會進行額外的轉(zhuǎn)換（即使我們沒有序列）。
(Sequence, Hid)由于隨后在=上執(zhí)行卷積(1, Hid)，因此它確實是按時間步進行操作的。由于我們有 128 個輸入和 128 個過濾器，因此它是完全連接的，并且內(nèi)核大小足以在單個元素上進行操作。這符合上面定義的一維卷積相當(dāng)于密集層的標準，所以你是對的。

附帶說明一下，這種類型的架構(gòu)通常是通過神經(jīng)架構(gòu)搜索獲得的。這里使用的“替代品”并不常見，并且通常不能保證比更成熟的替代品更好。然而，在很多情況下，使用強化學(xué)習(xí)或進化算法可以使用“非傳統(tǒng)”解決方案獲得稍微更高的準確性，因為非常小的性能提升可能只是偶然發(fā)生，并且不一定反映架構(gòu)的有用性。

反對回復(fù) 2023-09-05