1. Blending

1.1 Blending 流程

Blending相較于Stacking來(lái)說(shuō)要簡(jiǎn)單一些，其流程大致分為以下幾步：

• 將數(shù)據(jù)劃分為訓(xùn)練集和測(cè)試集(test_set)，其中訓(xùn)練集需要再次劃分為訓(xùn)練集(train_set)和驗(yàn)證集(val_set)；
• 創(chuàng)建第一層的多個(gè)模型，這些模型可以使同質(zhì)的也可以是異質(zhì)的；
• 使用train_set訓(xùn)練步驟2中的多個(gè)模型，然后用訓(xùn)練好的模型預(yù)測(cè)val_set和test_set得到val_predict, test_predict1；
• 創(chuàng)建第二層的模型,使用val_predict作為訓(xùn)練集訓(xùn)練第二層的模型；
• 使用第二層訓(xùn)練好的模型對(duì)第二層測(cè)試集test_predict1進(jìn)行預(yù)測(cè)，該結(jié)果為整個(gè)測(cè)試集的結(jié)果 1.2 Blending 圖解    

2. Stacking

2.1 Stacking 流程

Stacking流程比較復(fù)雜因?yàn)樯婕暗浇徊骝?yàn)證的過(guò)程，其流程與Blending類似，具體如下：

• 將數(shù)據(jù)劃分為訓(xùn)練集和測(cè)試集(test_set)，對(duì)訓(xùn)練集進(jìn)行劃分為K個(gè)大小相似的集合，取其中一份作為驗(yàn)證集val_set,其余的為訓(xùn)練集train_set；
• 創(chuàng)建第一層的多個(gè)模型，這些模型可以使同質(zhì)的也可以是異質(zhì)的；
• 對(duì)于每一個(gè)模型來(lái)說(shuō)，train_set和val_set是不一樣的，如2.2圖所示；然后利用各自的train_set訓(xùn)練各自的模型，訓(xùn)練好的模型對(duì)各自的val_set和test_set進(jìn)行預(yù)測(cè)，得到val_predict和test_predict；
• 創(chuàng)建第二層的模型，將每個(gè)模型對(duì)應(yīng)的val_predict拼接起來(lái)作為第二層的訓(xùn)練集，將所有模型的test_predict取平均值作為第二層的測(cè)試集；用訓(xùn)練好的第二層模型對(duì)第二層的測(cè)試集進(jìn)行預(yù)測(cè)，得到的結(jié)果即為整個(gè)測(cè)試集的結(jié)果

2.2 Stacking 圖解

stacking 網(wǎng)上有兩種解釋，一種是單個(gè)模型進(jìn)行5次交叉驗(yàn)證得到一個(gè)結(jié)果，然后對(duì)每個(gè)模型都進(jìn)行相同的操作，此時(shí)訓(xùn)練集的維度為(#樣本數(shù)目 x #模型數(shù)目)；另一種是每個(gè)模型對(duì)數(shù)據(jù)的每一折輸出一個(gè)結(jié)果，然后把每一折的結(jié)果拼接起來(lái)，此時(shí)的訓(xùn)練集維度(#樣本數(shù)目 x 1)。

3. Blending與Stacking對(duì)比

Blending的優(yōu)點(diǎn)在于：

1.比stacking簡(jiǎn)單（因?yàn)椴挥眠M(jìn)行k次的交叉驗(yàn)證來(lái)獲得stacker feature）

2.避開了一個(gè)信息泄露問題：generlizers和stacker使用了不一樣的數(shù)據(jù)集

3.在團(tuán)隊(duì)建模過(guò)程中，不需要給隊(duì)友分享自己的隨機(jī)種子

而缺點(diǎn)在于：

1.使用了很少的數(shù)據(jù)（是劃分hold-out作為測(cè)試集，并非cv）

2.blender可能會(huì)過(guò)擬合（其實(shí)大概率是第一點(diǎn)導(dǎo)致的）

3.stacking使用多次的CV會(huì)比較穩(wěn)健