機器學習過程的三個坑，看看你踩過哪一個

幾十年來，機器學習領(lǐng)域一直飽受“坦克問題(tank problem)”的折磨。為了說明這點，這里列舉三個Google Accelerate Science團隊所面臨并且克服的機器學習的三大問題。

幾十年來，機器學習領(lǐng)域一直飽受“坦克問題(tank problem)”的折磨。

故事發(fā)生在上個世紀60年代(此研究已知的最早文獻，此處感謝軟件工程師Jeff Kaufman)，事件的細節(jié)已湮沒在時間的迷霧當中，不過故事大概是這樣子的：

研究者們編寫了個算法來從軍方提供的照片中識別坦克。該模型成功地在測試圖中找到了坦克，但隨后使用真實的照片時卻失敗了。

原因是什么呢?口口相傳的具體細節(jié)各不相同，但算法用來測試的圖片包含了其他信息，比如在晨光中或從云層下顯現(xiàn)的坦克影響了機器判斷是一個重要的原因。所以說，并不是坦克的存在決定了算法，其它因素也很重要。

類似的情況在當今也引起了反省。許多機器學習的論文未能完成足夠多的實驗，審查標準不夠一致，并且行業(yè)內(nèi)激烈的競爭也鼓勵一些研究人員，一旦得到了他們想要的答案就偷工減料跳過檢查。所以在無數(shù)領(lǐng)域的科學家正急于用機器學習解決問題時，谷歌的Patrick Riley卻呼吁大家在研究中制定更加明確的標準。

不可否認的是機器學習正在推動著整個科學界的發(fā)展，尤其是它發(fā)現(xiàn)及預測的模式正在從各個領(lǐng)域輔助研究者們，從搜尋分子制造的新方法和在試驗中發(fā)現(xiàn)微小信號，到改進醫(yī)療診斷與揭示基本粒子，皆有其身影。

然而，機器學習工具也會變成“智障”，比如假正例、死胡同與各種錯誤。而且由于許多算法都太過復雜，以至于無法檢查所有參數(shù)或者準確了解輸入的方式，隨著這些算法被更加廣泛地應用，錯誤的結(jié)論和科學成果所引發(fā)的風險將會呈螺旋式上升。

這些問題并不是一朝一夕的事，所以預測每次分析中出現(xiàn)的所有問題或困境也是不可能的，但至少，那些在自己的領(lǐng)域使用機器學習的研究者們，應該去熟悉一些常見的陷阱，以及如何檢測或避免那些陷阱。

為了說明這點，這里列舉三個Google Accelerate Science團隊所面臨并且克服的機器學習的三大問題。

機器學習三大陷阱

1. 不適當?shù)夭鸱謹?shù)據(jù)

在建模時，機器學習從業(yè)者通常將數(shù)據(jù)分成訓練集和測試集，用訓練集訓練模型，用測試集評估模型的性能。研究員通常會隨機拆分數(shù)據(jù)，但是現(xiàn)實生活里真正隨機的數(shù)據(jù)少之又少。他們可能包含了時間趨勢，例如收集數(shù)據(jù)方法的變化，或是收集信息的各種選擇。

例如，這種歷史模式隱藏在分子數(shù)據(jù)集中，而機器學習算法正在對這些數(shù)據(jù)集進行虛擬篩選，以尋找候選藥物。這里的挑戰(zhàn)在于預測一個分子如何會被有效地被人體吸收或減少炎癥。篩選從有關(guān)分子的數(shù)據(jù)開始，這些分子具有或不具有預期的效果，但是收集數(shù)據(jù)的背景或許會與機器學習模型的使用方式有所不同。

一個模型可能是用一組公開可用的分子數(shù)據(jù)集訓練的，然后用于測試另一組專有的分子數(shù)據(jù)集。而當有希望的候選項被檢測和丟棄時，化學家的關(guān)注點往往從某些分子群轉(zhuǎn)移到另一些分子群。 因此，研究人員經(jīng)常高估模型在實踐中的表現(xiàn)。 這會導致期望值的膨脹，并且在選擇不適合的分子上浪費時間和金錢。 許多模型制造者都落入這個陷阱。

換句話說，你要解決的問題才應該影響你如何分割數(shù)據(jù)。為了預測向一個分子中添加兩個原子的效果，測試集中的每個分子在訓練集中應該至少存在兩個原子的差別。 如果你想對不同的化學分子有更好的預測，測試集中的每個分子都應該不同于訓練集中的任何東西。 分割數(shù)據(jù)的“正確”方法可能并不顯眼，但是仔細考慮和嘗試幾種方法或有意想不到的收獲。

2. 隱藏變量

在一個理想的實驗當中，研究者只改變他們感興趣的變量，并讓其他變量保持不變，而這種控制在現(xiàn)實當中幾乎是不可能的。儀器的精確度會隨著時間而改變，試劑的批次會有所不同，一個實驗條件會先于另一個進行表現(xiàn)出來，甚至天氣都有可能影響結(jié)果。在機器學習模型中，這些不受控制的變量都將是有害無益的。

舉個例子，谷歌的一個團隊一直在加利福尼亞州的福特·希爾蘭赫 (Foothill Ranch, California) 的核聚變初創(chuàng)公司TAE Technologies工作，進行優(yōu)化生產(chǎn)高能等離子體的實驗。他們在這里建了模型來試圖理解等離子機的設(shè)備裝置。這里存在著上百個從“何時接通電極”到“設(shè)置在磁體上的電壓為多少”等控制參數(shù)，然后記錄了一系列包括溫度和光譜在內(nèi)的測量值。

他們歷經(jīng)數(shù)月，從數(shù)千次運行的等離子機中提取了數(shù)據(jù)，其中的設(shè)定會隨著我們的設(shè)備調(diào)整、部件磨損和多種嘗試有所變化。當我們得到了一個在給定的設(shè)置下，無論等離子能量是否會變高，預測結(jié)果都很不錯的模型時，大家都很高興，不過很快就打臉了。

當他們以實驗時間為唯一輸入而不是機器的所有設(shè)置來訓練模型，也得到了相似的預測效果。為什么?因為模型鎖定的就是時間趨勢，而不是物理現(xiàn)象。也就是說，機器運轉(zhuǎn)良好的時間段和不良的時間段分別出現(xiàn)，所以，從實驗完成的時間可以看出等離子體是否是高能量的。此外，通過控制參數(shù)的設(shè)置可以粗略預測實驗何時進行ーー這些參數(shù)的變化也存在時間趨勢。也就是說，除了時間規(guī)律，模型什么物理規(guī)律都沒管。

隱藏變量也會來源于實驗布局。像我們在解讀顯微鏡圖像方面與許多機構(gòu)合作，其中包括紐約市的紐約干細胞基金會研究所。這些圖像包括了在培養(yǎng)皿上進行的生物實驗，通常是一些包含細胞和液體的網(wǎng)格孔。我們的目標是發(fā)現(xiàn)擁有某些特征的孔，比如化學處理后細胞外觀的變化。但是生物變異意味著每個培養(yǎng)皿本身總是會看起來有稍許不同，并且單個培養(yǎng)皿也可能存有差異。如果外圍孔有更多液體蒸發(fā)，或者培養(yǎng)皿有被傾斜，那邊緣看起來通常會與中心不一樣。

機器學習算法能輕而易舉地注意到這些變化。比如說模型可能剛辨認出了哪些孔處在培養(yǎng)皿的邊緣 ，一種檢查模型的簡易方法就是讓模型去預測其他方面，如培養(yǎng)皿的位置、哪一塊培養(yǎng)皿，或者圖片來源的批次。如果算法能做到這一點，那你最好對結(jié)果持懷疑態(tài)度。

最重要的一點是，要使用多個模型來檢測那些意外變量與隱藏變量?？梢杂靡粋€模型側(cè)重你關(guān)心的問題，比如離子是高能還是低能，細胞是否健康，其他模型則用來清除干擾因子。如果后者結(jié)果很強，那么請將數(shù)據(jù)標準化，做些進一步的實驗，或者調(diào)整一下結(jié)論。

3. 曲解目標

機器學習算法要求研究員明確一個用來估量各種錯誤嚴重度的“損失函數(shù)”，例如到底是有兩個1%的錯誤好，還是單個2%的錯誤更合理。從業(yè)者們傾向于應用函數(shù)的一小部分，從而導致他們無法得到真正需要的內(nèi)容。

還是舉個例子，大家一直有用機器學習來輔佐求解微分方程。這些公式在包括流體力學、電磁學、材料科學、天體物理學和金融建模中很常見，一般情況下它們必須以數(shù)字方式解決，然后開始訓練模型，從而能在有限的條件下提供更高的精確性。

比如說從一個方程開始描述水波如何在一維進行傳播吧。該算法的任務是從當前的時間步長來重復預測下一步，在這方面可以準備兩種略微不同的方法與訓練模型。根據(jù)損失函數(shù)來看，這兩個模型是一樣優(yōu)秀的，但實際上其中一個做了一堆無用功，另一個的產(chǎn)生結(jié)果更接近預期。

原因就是控制學習的損失函數(shù)只考慮到了下一步的錯誤，而不是研究者真正想要的多重步驟的解決方案有效性。

我們在糖尿病視網(wǎng)膜病變的機器篩查方面也出現(xiàn)了分歧目標。這是糖尿病的一種并發(fā)癥，也是世界上可預防性失明的主要原因。如果能從眼后圖像及時檢測到該病癥，它就能被有效治療。當我們收集數(shù)據(jù)并且讓眼科醫(yī)生通過圖像進行診斷時，我們讓機器學習的工具預測一下醫(yī)生都會說些什么，此時出現(xiàn)了兩種情況。

在印度Madurai的Aravind醫(yī)院，工作人員和谷歌研究員正在進行眼科檢查，試圖自動診斷由糖尿病引起的失明。圖源：Atul Loke /紐約時報/ Red / eyevine

情況一是眼科醫(yī)生經(jīng)常不認同診斷，因此研究人員意識到不能通過單一的預測來建立模型。總不能來個投票說少數(shù)服從多數(shù)，因為在醫(yī)療上，有時候少數(shù)人的意見才是正確的。情況二是單一疾病的診斷實際上并不是真正的目標。因為往往需要問的是：“這個患者需要去看醫(yī)生嗎?”，然后通過這種方式將目標從單一疾病的診斷擴展到多重疾病。

機器學習從業(yè)者很容易迷戀上數(shù)據(jù)標簽都清晰的 “明顯“目標，但他們可能正在設(shè)置算法來解決錯誤的問題。所以必須牢記大方向和總目標，否則就只會為錯誤問題埋單。

那可以做什么呢?

首先，機器學習專家需要讓自己和同事們持有更高的標準。當有新實驗設(shè)備到來時，大家總是寄希望于實驗室的小伙伴們搞懂其功能，怎么校準，怎么檢測到問題，還要了解其功能的限制。因此，面對機器學習時也應如此。機器學習不是魔法，工具的使用者們必須了解如何掌控它們。

其次，當需要使用機器學習時，不同學科需要為其制定出明確的標準。合適的控制、健全性檢查和錯誤的測量會因領(lǐng)域而異，所以這些都需要解釋清楚，以便研究者、審查者和從業(yè)者有規(guī)可循。

第三，機器學習科學家們所受的教育需要包括一些更廣泛的內(nèi)容。即使有些類似于這樣開源的資源存在，需要做的仍然很多。授人以魚不如授人以漁，可能更多人只去學算法與工具，但學習如何應用算法與適當?shù)靥岢鲑|(zhì)疑也很重要。

所有從事機器學習的人都正處在一個神奇的點上——計算能力、數(shù)據(jù)和算法交織在一起，在機器學習的的協(xié)助下碰撞出了新的美妙火花 ，利用好這個機會將是整個科學界義不容辭的責任。