在探索 Scikit learn 中的一些分類模型時(shí),我注意到執(zhí)行交叉驗(yàn)證時(shí)獲得的對(duì)數(shù)損失和 ROC AUC 分?jǐn)?shù)始終低于在整個(gè)訓(xùn)練集上進(jìn)行擬合和預(yù)測(cè)(用于檢查過度擬合)時(shí)的分?jǐn)?shù),但事實(shí)并非如此對(duì)我來說有意義。具體來說,使用cross_validate我將評(píng)分設(shè)置為['neg_log_loss', 'roc_auc'],在對(duì)訓(xùn)練集執(zhí)行手動(dòng)擬合和預(yù)測(cè)時(shí),我使用了度量函數(shù)log_loss'和roc_auc_score。為了嘗試弄清楚發(fā)生了什么,我編寫了一段代碼來手動(dòng)執(zhí)行交叉驗(yàn)證,以便能夠在各個(gè)折疊上手動(dòng)調(diào)用度量函數(shù)并將結(jié)果與cross_validate . 正如你在下面看到的,即使這樣我也得到了不同的結(jié)果!from sklearn.model_selection import StratifiedKFoldkf = KFold(n_splits=3, random_state=42, shuffle=True)log_reg = LogisticRegression(max_iter=1000)for train_index, test_index in kf.split(dataset, dataset_labels): X_train, X_test = dataset[train_index], dataset[test_index] y_train, y_test = dataset_labels_np[train_index], dataset_labels_np[test_index] log_reg.fit(X_train, y_train) pr = log_reg.predict(X_test) ll = log_loss(y_test, pr) print(ll)from sklearn.model_selection import cross_val_scorecv_ll = cross_val_score(log_reg, dataset_prepared_stand, dataset_labels, scoring='neg_log_loss', cv=KFold(n_splits=3, random_state=42, shuffle=True))print(abs(cv_ll))輸出:4.7954818692750264.5601191705175345.589818973403791[0.409817 0.32309 0.398375]針對(duì) ROC AUC 運(yùn)行相同代碼的輸出為:0.86096695922726860.86785632399079380.8367147503682851[0.925635 0.94032 0.910885]為了確保代碼編寫正確,我還嘗試使用代碼'accuracy'作為交叉驗(yàn)證的評(píng)分和accuracy_score度量函數(shù),結(jié)果是一致的:0.86115843270868820.86797274275979550.838160136286201[0.861158 0.867973 0.83816 ]有人可以解釋一下為什么 log loss 和 ROC AUC 的結(jié)果不同嗎?謝謝!
1 回答

慕碼人8056858
TA貢獻(xiàn)1803條經(jīng)驗(yàn) 獲得超6個(gè)贊
Log-loss 和 auROC 都需要概率預(yù)測(cè),而不是硬類預(yù)測(cè)。所以改變
pr = log_reg.predict(X_test)
到
pr = log_reg.predict_proba(X_test)[:, 1]
(下標(biāo)是為了獲取正類的概率,并假設(shè)您正在進(jìn)行二元分類)。
添加回答
舉報(bào)
0/150
提交
取消