我有兩組不同長度的訓(xùn)練數(shù)據(jù)。我將這些數(shù)據(jù)系列稱為 x_train 數(shù)據(jù)。它們的形狀分別是 (70480, 7) 和 (69058, 7)。每列代表一個不同的傳感器讀數(shù)。我正在嘗試在此數(shù)據(jù)上使用 LSTM 網(wǎng)絡(luò)。我應(yīng)該將數(shù)據(jù)合并到一個對象中嗎？我該怎么做？我還有兩組數(shù)據(jù)，它們是 x_train 數(shù)據(jù)的結(jié)果輸出。它們的大小都是 (315,1)。我會用它作為我的 y_train 數(shù)據(jù)嗎？pandas.read_csv()到目前為止，我已經(jīng)使用如下方式讀取了數(shù)據(jù)：c4_x_train = pd.read_csv('path')c4_y_train = pd.read_csv('path')c6_x_train = pd.read_csv('path')c6_y_train = pd.read_csv('path')任何澄清表示贊賞。謝謝！
1 回答
慕雪6442864
TA貢獻1812條經(jīng)驗 獲得超5個贊
只是幾點
為了快速讀取文件，請考慮使用不同的格式，如 parquet 或 feather。注意折舊，因此對于長期存儲，csv 就可以了。
pd.concat是你的朋友。像這樣使用
from pathlib import Path
import pandas as pd
dir_path = r"yourFolderPath"
files_list = [str(p) for p in dir_path.glob("**/*.csv")]
if files_list:
source_dfs = [pd.read_csv(file_) for file_ in files_list]
df = pd.concat(source_dfs, ignore_index=True)
這個 df 然后你可以用來做你的訓(xùn)練。
現(xiàn)在，關(guān)于培訓(xùn)。好吧，這真的取決于一如既往。如果您在這些 csvs 中有日期時間并且它們是連續(xù)的，請繼續(xù)。如果測量之間有中斷，則可能會遇到問題。根據(jù)趨勢、季節(jié)性和噪音，您可以插入缺失數(shù)據(jù)。有多種方法，例如樸素方法、用平均值填充它、根據(jù)之前的值進行預(yù)測等等。沒有對錯之分，這真的取決于你的數(shù)據(jù)是什么樣子的。
編輯：評論不喜歡代碼塊。像這樣工作： 示例：
#df1:
time value
1 1.4
2 2.5
#df2:
time value
3 1.1
4 1.0
#will be glued together to become df = pd.concat([df1, df2], ignore_index=True)
time value
1 1.4
2 2.5
3 1.1
4 1.0
添加回答
舉報
0/150
提交
取消