我有一個(gè)使用 scikit 學(xué)習(xí)的隨機(jī)森林模型，如下所示：model = RandomForestClassifier(criterion='gini',n_estimators=700,min_samples_split=4,min_samples_leaf=1,max_features='auto',oob_score=True,random_state=1,n_jobs=-1)model.fit(X_train,y_train)y_pred_rm=model.predict(X_test)print('--------------The Accuracy of the model---------------------------')kfold = KFold(n_splits=10, random_state=22)result_rm = cross_val_score(model, all_features, Targeted_feature, cv=10, scoring = 'accuracy')print('The cross validated score for Random Forest Classifier is:',round(result_rm.mean()*100,2))y_pred = cross_val_predict(model,all_features,Targeted_feature,cv=10)kfold = KFold(n_splits=5, random_state=22)result_rm1 = cross_val_score(model, all_features, Targeted_feature, cv=5, scoring='accuracy')print('The cross validated score (5)for Random Forest Classifier is:',round(result_rm1.mean()*100,2))sns.heatmap(confusion_matrix(Targeted_feature,y_pred),annot=True,fmt='3.0f',cmap="winter")plt.title('Confusion_matrix', y=1.05, size=15)我一直在嘗試優(yōu)化我的模型，但還沒(méi)有取得任何成功。我在測(cè)試數(shù)據(jù)集上達(dá)到的最高準(zhǔn)確率是 78%。您有任何想法或步驟可以改進(jìn)我的模型嗎？
2 回答
慕容森
TA貢獻(xiàn)1853條經(jīng)驗(yàn) 獲得超18個(gè)贊
如果不嘗試使用 sklearn 中的 GridSearchCV 或 RandomizedSearchCV，您是否嘗試過(guò)使用超參數(shù)調(diào)整？即使那樣，如果您無(wú)法提高模型分?jǐn)?shù)，請(qǐng)嘗試使用 XGboost 或進(jìn)行特征工程以找到有用的特征來(lái)進(jìn)行預(yù)測(cè)。
我希望您已經(jīng)完成了所有必要的數(shù)據(jù)預(yù)處理，如果還沒(méi)有完成，那也是非常重要的。嘗試其他機(jī)器學(xué)習(xí)模型，它們也有可能表現(xiàn)更好。
慕妹3146593
TA貢獻(xiàn)1820條經(jīng)驗(yàn) 獲得超9個(gè)贊
看起來(lái)好像您已經(jīng)嘗試過(guò)超參數(shù)調(diào)整。是什么讓您認(rèn)為您可以獲得高于 78% 的準(zhǔn)確率分?jǐn)?shù)？如果您在嘗試對(duì)訓(xùn)練集進(jìn)行預(yù)測(cè)時(shí)計(jì)算準(zhǔn)確度得分，您是否接近 100% 的準(zhǔn)確度？如果是這樣，那么這是一個(gè)過(guò)度擬合的問(wèn)題，您可以嘗試減少 RandomForest 中的樹(shù)的數(shù)量。
如果您沒(méi)有獲得非常高的訓(xùn)練準(zhǔn)確率，那么可能您擁有的特征不足以對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)，您可能會(huì)考慮收集更多特征。這個(gè)問(wèn)題叫做欠擬合。
添加回答
舉報(bào)
0/150
提交
取消