• k折交叉驗(yàn)證

K折交叉驗(yàn)證(k-fold cross-validation)首先將所有數(shù)據(jù)分割成K個(gè)子樣本，不重復(fù)的選取其中一個(gè)子樣本作為測試集，其他K-1個(gè)樣本用來訓(xùn)練。共重復(fù)K次，平均K次的結(jié)果或者使用其它指標(biāo)，最終得到一個(gè)單一估測。

這個(gè)方法的優(yōu)勢在于，保證每個(gè)子樣本都參與訓(xùn)練且都被測試，降低泛化誤差。其中，10折交叉驗(yàn)證是最常用的。

• 實(shí)例代碼

1、數(shù)據(jù)導(dǎo)入并分組。導(dǎo)入數(shù)據(jù)，并使用caret包中的createFolds()函數(shù)，根據(jù)標(biāo)簽列將數(shù)據(jù)分成10份 。

target.url <- 'https://archive.ics.uci.edu/ml/machine-learning-databases/undocumented/connectionist-bench/sonar/sonar.all-data'

data <- read.csv(target.url,header = F) 

set.seed(17)  

require(caret)  

folds <- createFolds(y=data[,61],k=10)

2、選取最優(yōu)訓(xùn)練集與測試集。構(gòu)建for循環(huán)，得到十次交叉驗(yàn)證預(yù)測的AUC值。并紀(jì)錄取值最大的一組，作為最優(yōu)的訓(xùn)練集與測試集劃分。

library(pROC)

max=0  

num=0 

auc_value<-as.numeric()

for(i in 1:10){  

  fold_test <- data[folds[[i]],]   #取folds[[i]]作為測試集  

  fold_train <- data[-folds[[i]],]   # 剩下的數(shù)據(jù)作為訓(xùn)練集    

  fold_pre <- lm(as.numeric(V61)~.,data=fold_train)  

  fold_predict <- predict(fold_pre,type='response',newdata=fold_test)  

  auc_value<- append(auc_value,as.numeric(auc(as.numeric(fold_test[,61]),fold_predict)))

}  

num<-which.max(auc_value)

print(auc_value)

10次auc取值結(jié)果如下：

 [1] 0.7636364 0.7474747 0.8484848 0.9363636 0.7272727 0.8454545 0.9181818 0.7454545 0.7979798

[10] 0.7916667

3、構(gòu)建分類器并判斷模型效果。根據(jù)前一步的結(jié)果，使用最優(yōu)劃分構(gòu)建線性分類器并預(yù)測。繪制出測試集的ROC曲線。

fold_test <- data[folds[[num]],]   

fold_train <- data[-folds[[num]],]

fold_pre <- lm(as.numeric(V61)~.,data=fold_train)  

fold_predict <- predict(fold_pre,type='response',newdata=fold_test)

roc_curve <- roc(as.numeric(fold_test[,61]),fold_predict)

plot(roc_curve, print.auc=TRUE, auc.polygon=TRUE, grid=c(0.1, 0.2),

     grid.col=c("green", "red"), max.auc.polygon=TRUE,

     auc.polygon.col="skyblue", print.thres=TRUE,main="ROC curve for the set with the largest AUC value")

線性分類器與性能評(píng)價(jià)(R語言)中隨機(jī)選取訓(xùn)練集和測試集，最終測試集的AUC值僅為0.755，而本次我們通過k折交叉驗(yàn)證選取訓(xùn)練集和測試集，測試集AUC值達(dá)到0.936，可以看出模型效果提升顯著。