2 回答

TA貢獻(xiàn)1773條經(jīng)驗(yàn) 獲得超3個(gè)贊
迭代許多隨機(jī)訓(xùn)練和測試集分割直到達(dá)到高精度是一種不好的做法嗎?
是的,這是不好的做法。您應(yīng)該評(píng)估您的模型從未訓(xùn)練過的數(shù)據(jù),如果您多次訓(xùn)練以找到最佳的訓(xùn)練/測試分割,情況就不會(huì)如此。
您可以在訓(xùn)練模型之前放置測試集。然后,您可以根據(jù)需要?jiǎng)?chuàng)建任意數(shù)量的訓(xùn)練/驗(yàn)證分割,并多次訓(xùn)練模型。您將在測試集上進(jìn)行評(píng)估,而模型從未在該測試集上進(jìn)行過訓(xùn)練。
您還可以研究嵌套交叉驗(yàn)證。

TA貢獻(xiàn)1789條經(jīng)驗(yàn) 獲得超8個(gè)贊
有點(diǎn)。有交叉驗(yàn)證,與您所描述的類似。這是訓(xùn)練/測試分割被隨機(jī)化并且模型每次都被訓(xùn)練的地方。除了引用的最終值是平均測試精度 - 而不僅僅是最好的。這類事情是在棘手的情況下完成的,例如數(shù)據(jù)集非常小的情況。
從更大的角度來看,測試數(shù)據(jù)應(yīng)該代表訓(xùn)練數(shù)據(jù),反之亦然。當(dāng)然你可以這樣干,但是如果你的訓(xùn)練集中隱藏著非典型的“怪異”案例,而測試集充滿了簡單的案例(例如 MNIST 只有數(shù)字 0),那么你就沒有真正取得任何成果。你只是在欺騙自己。
添加回答
舉報(bào)