第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會(huì)有你想問的

迭代許多隨機(jī)訓(xùn)練和測試集分割直到達(dá)到高精度是一種不好的做法嗎?

迭代許多隨機(jī)訓(xùn)練和測試集分割直到達(dá)到高精度是一種不好的做法嗎?

慕碼人8056858 2023-07-11 16:43:58
假設(shè)我迭代以下代碼,直到獲得滿意的準(zhǔn)確性:  from sklearn.model_selection import train_test_split  x, y = # ... read in some data set ...  c = 3000 # iterate over some arbitrary range  for i in range(c):    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=i)    model = # ... initialize some classifier of choice ...    model.fit(x_train, y_train)    p = model.predict(x_test)    p = np.round(p).reshape(-1)    test_accuracy = np.mean(p == y_test) * 100對(duì)于特定的數(shù)據(jù)集和范圍,假設(shè)我構(gòu)建了一個(gè)分類器,訓(xùn)練準(zhǔn)確率為 97%,測試準(zhǔn)確率為 96%。我真的可以聲稱該模型的準(zhǔn)確率達(dá)到 96% 嗎?對(duì)于相同的范圍和數(shù)據(jù)集,我還可以構(gòu)建一個(gè)分類器,使得訓(xùn)練準(zhǔn)確率和測試準(zhǔn)確率分別低至 99% 和 70%。既然我是random_state根據(jù)測試集精度來選擇的,那么這里的測試集真的是驗(yàn)證集嗎?我不知道為什么,但我認(rèn)為聲稱第一個(gè)模型的準(zhǔn)確率是 96% 是不正確的。為了對(duì)模型的準(zhǔn)確性做出正確的聲明,我應(yīng)該做什么?
查看完整描述

2 回答

?
慕容3067478

TA貢獻(xiàn)1773條經(jīng)驗(yàn) 獲得超3個(gè)贊

迭代許多隨機(jī)訓(xùn)練和測試集分割直到達(dá)到高精度是一種不好的做法嗎?

是的,這是不好的做法。您應(yīng)該評(píng)估您的模型從未訓(xùn)練過的數(shù)據(jù),如果您多次訓(xùn)練以找到最佳的訓(xùn)練/測試分割,情況就不會(huì)如此。

您可以在訓(xùn)練模型之前放置測試集。然后,您可以根據(jù)需要?jiǎng)?chuàng)建任意數(shù)量的訓(xùn)練/驗(yàn)證分割,并多次訓(xùn)練模型。您將在測試集上進(jìn)行評(píng)估,而模型從未在該測試集上進(jìn)行過訓(xùn)練。

您還可以研究嵌套交叉驗(yàn)證。


查看完整回答
反對(duì) 回復(fù) 2023-07-11
?
拉丁的傳說

TA貢獻(xiàn)1789條經(jīng)驗(yàn) 獲得超8個(gè)贊

有點(diǎn)。有交叉驗(yàn)證,與您所描述的類似。這是訓(xùn)練/測試分割被隨機(jī)化并且模型每次都被訓(xùn)練的地方。除了引用的最終值是平均測試精度 - 而不僅僅是最好的。這類事情是在棘手的情況下完成的,例如數(shù)據(jù)集非常小的情況。

從更大的角度來看,測試數(shù)據(jù)應(yīng)該代表訓(xùn)練數(shù)據(jù),反之亦然。當(dāng)然你可以這樣干,但是如果你的訓(xùn)練集中隱藏著非典型的“怪異”案例,而測試集充滿了簡單的案例(例如 MNIST 只有數(shù)字 0),那么你就沒有真正取得任何成果。你只是在欺騙自己。


查看完整回答
反對(duì) 回復(fù) 2023-07-11
  • 2 回答
  • 0 關(guān)注
  • 151 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)