對于不同召回策略所產(chǎn)生的候選集，如果只是根據(jù)算法的歷史效果決定算法產(chǎn)生的Item的位置顯得有些簡單粗暴，同時，在每個算法的內(nèi)部，不同Item的順序也只是簡單的由一個或者幾個因素決定，這些排序的方法只能用于第一步的初選過程，最終的排序結(jié)果需要借助機(jī)器學(xué)習(xí)的方法，使用相關(guān)的排序模型，綜合多方面的因素來確定。

到目前為止，點(diǎn)評推薦排序系統(tǒng)嘗試了多種線性、非線性、混合模型等機(jī)器學(xué)習(xí)方法，如邏輯回歸、GBDT、GBDT+LR等。通過線上實(shí)驗(yàn)發(fā)現(xiàn)，相較于線性模型，傳統(tǒng)的非線性模型如GBDT，并不一定能在線上AB測試環(huán)節(jié)對CTR預(yù)估有比較明顯的提高。而線性模型如邏輯回歸，因?yàn)樽陨矸蔷€性表現(xiàn)能力比較弱，無法對真實(shí)生活中的非線性場景進(jìn)行區(qū)分，會經(jīng)常對歷史數(shù)據(jù)中出現(xiàn)過的數(shù)據(jù)過度記憶。下圖就是線性模型根據(jù)記憶將一些歷史點(diǎn)擊過的單子排在前面：

從圖中我們可以看到，系統(tǒng)在非?？壳暗奈恢猛扑]了一些遠(yuǎn)距離的商戶，因?yàn)檫@些商戶曾經(jīng)被用戶點(diǎn)過，其本身點(diǎn)擊率較高，那么就很容易被系統(tǒng)再次推薦出來。但這種推薦并沒有結(jié)合當(dāng)前場景給用戶推薦出一些有新穎性的Item。為了解決這個問題，就需要考慮更多、更復(fù)雜的特征，比如組合特征來替代簡單的“距離”特征。怎么去定義、組合特征，這個過程成本很高，并且更多地依賴于人工經(jīng)驗(yàn)。

而深度神經(jīng)網(wǎng)絡(luò)，可以通過低維密集的特征，學(xué)習(xí)到以前沒出現(xiàn)過的一些Item和特征之間的關(guān)系，并且相比于線性模型大幅降低了對于特征工程的需求，從而吸引我們進(jìn)行探索研究。

在實(shí)際的運(yùn)用當(dāng)中，我們根據(jù)Google在2016年提出的Wide & Deep Learning模型，并結(jié)合自身業(yè)務(wù)的需求與特點(diǎn)，將線性模型組件和深度神經(jīng)網(wǎng)絡(luò)進(jìn)行融合，形成了在一個模型中實(shí)現(xiàn)記憶和泛化的寬深度學(xué)習(xí)框架。在接下來的章節(jié)中，將會討論如何進(jìn)行樣本篩選、特征處理、深度學(xué)習(xí)算法實(shí)現(xiàn)等。

數(shù)據(jù)及特征，是整個機(jī)器學(xué)習(xí)中最重要的兩個環(huán)節(jié)，因?yàn)槠浔旧砭蜎Q定了整個模型的上限。點(diǎn)評推薦由于其自身多業(yè)務(wù)（包含外賣、商戶、團(tuán)購、酒旅等）、多場景（用戶到店、用戶在家、異地請求等）的特色，導(dǎo)致我們的樣本集相比于其他產(chǎn)品更多元化。我們的目標(biāo)是預(yù)測用戶的點(diǎn)擊行為。有點(diǎn)擊的為正樣本，無點(diǎn)擊的為負(fù)樣本，同時，在訓(xùn)練時對于購買過的樣本進(jìn)行一定程度的加權(quán)。而且，為了防止過擬合/欠擬合，我們將正負(fù)樣本的比例控制在10%。最后，我們還要對訓(xùn)練樣本進(jìn)行清洗，去除掉Noise樣本(特征值近似或相同的情況下，分別對應(yīng)正負(fù)兩種樣本)。

同時，推薦業(yè)務(wù)作為整個App首頁核心模塊，對于新穎性以及多樣性的需求是很高的。在點(diǎn)評推薦系統(tǒng)的實(shí)現(xiàn)中，首先要確定應(yīng)用場景的數(shù)據(jù)，美團(tuán)點(diǎn)評的數(shù)據(jù)可以分為以下幾類：

·         用戶畫像：性別、常駐地、價格偏好、Item偏好等。

·         Item畫像：包含了商戶、外賣、團(tuán)單等多種Item。其中商戶特征包括：商戶價格、商戶好評數(shù)、商戶地理位置等。外賣特征包括：外賣平均價格、外賣配送時間、外賣銷量等。團(tuán)單特征包括：團(tuán)單適用人數(shù)、團(tuán)單訪購率等。

·         場景畫像：用戶當(dāng)前所在地、時間、定位附近商圈、基于用戶的上下文場景信息等。

機(jī)器學(xué)習(xí)的另一個核心領(lǐng)域就是特征工程，包括數(shù)據(jù)預(yù)處理，特征提取，特征選擇等。

1.  特征提?。簭脑紨?shù)據(jù)出發(fā)構(gòu)造新的特征的過程。方法包括計算各種簡單統(tǒng)計量、主成分分析、無監(jiān)督聚類，在構(gòu)造方法確定后，可以將其變成一個自動化的數(shù)據(jù)處理流程，但是特征構(gòu)造過程的核心還是手動的。

2.  特征選擇：從眾多特征中挑選出少許有用特征。與學(xué)習(xí)目標(biāo)不相關(guān)的特征和冗余特征需要被剔除，如果計算資源不足或者對模型的復(fù)雜性有限制的話，還需要選擇丟棄一些不重要的特征。特征選擇方法常用的有以下幾種：

特征選擇開銷大、特征構(gòu)造成本高，在推薦業(yè)務(wù)開展的初期，我們對于這方面的感覺還不強(qiáng)烈。但是隨著業(yè)務(wù)的發(fā)展，對點(diǎn)擊率預(yù)估模型的要求越來越高，特征工程的巨大投入對于效果的提升已經(jīng)不能滿足我們需求，于是我們想尋求一種新的解決辦法。

深度學(xué)習(xí)能自動對輸入的低階特征進(jìn)行組合、變換，得到高階特征的特性，也促使我們轉(zhuǎn)向深度學(xué)習(xí)進(jìn)行探索。深度學(xué)習(xí)“自動提取特征”的優(yōu)點(diǎn)，在不同的領(lǐng)域有著不同的表現(xiàn)。例如對于圖像處理，像素點(diǎn)可以作為低階特征輸入，通過卷積層自動得到的高階特征有比較好的效果。在自然語言處理方面，有些語義并不來自數(shù)據(jù)，而是來自人們的先驗(yàn)知識，利用先驗(yàn)知識構(gòu)造的特征是很有幫助的。

因此，我們希望借助于深度學(xué)習(xí)來節(jié)約特征工程中的巨大投入，更多地讓點(diǎn)擊率預(yù)估模型和各輔助模型自動完成特征構(gòu)造和特征選擇的工作，并始終和業(yè)務(wù)目標(biāo)保持一致。下面是一些我們在深度學(xué)習(xí)中用到的特征處理方式：

組合特征

對于特征的處理，我們沿用了目前業(yè)內(nèi)通用的辦法，比如歸一化、標(biāo)準(zhǔn)化、離散化等。但值得一提的是，我們將很多組合特征引入到模型訓(xùn)練中。因?yàn)椴煌卣髦g的組合是非常有效的，并有很好的可解釋性，比如我們將"商戶是否在用戶常駐地"、"用戶是否在常駐地"以及"商戶與用戶當(dāng)前距離"進(jìn)行組合，再將數(shù)據(jù)進(jìn)行離散化，通過組合特征，我們可以很好的抓住離散特征中的內(nèi)在聯(lián)系，為線性模型增加更多的非線性表述。組合特征的定義為：

歸一化

歸一化是依照特征矩陣的行處理數(shù)據(jù)，其目的在于樣本向量在點(diǎn)乘運(yùn)算或其他核函數(shù)計算相似性時，擁有統(tǒng)一的標(biāo)準(zhǔn)，也就是說都轉(zhuǎn)化為“單位向量”。在實(shí)際工程中，我們運(yùn)用了兩種歸一化方法：

Min-Max：

Min是這個特征的最小值，Max是這個特征的大值。

Cumulative Distribution Function（CDF）：CDF也稱為累積分布函數(shù)，數(shù)學(xué)意義是表示隨機(jī)變量小于或等于其某一個取值x的概率。其公式為：

在我們線下實(shí)驗(yàn)中，連續(xù)特征在經(jīng)過CDF的處理后，相比于Min-Max，CDF的線下AUC提高不足0.1%。我們猜想是因?yàn)橛行┻B續(xù)特征并不滿足在（0，1）上均勻分布的隨機(jī)函數(shù)，CDF在這種情況下，不如Min-Max來的直觀有效，所以我們在線上采用了Min-Max方法。

快速聚合

為了讓模型更快的聚合，并且賦予網(wǎng)絡(luò)更好的表現(xiàn)形式，我們對原始的每一個連續(xù)特征設(shè)置了它的super-liner和sub-liner，即對于每個特征x，衍生出2個子特征：

實(shí)驗(yàn)結(jié)果表示，通過對每一個連續(xù)變量引入2個子特征，會提高線下AUC的表現(xiàn)，但考慮到線上計算量的問題，并沒有在線上實(shí)驗(yàn)中添加這2個子特征。

在深度學(xué)習(xí)中，選擇合適的優(yōu)化器不僅會加速整個神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程，并且會避免在訓(xùn)練的過程中困到鞍點(diǎn)。文中會結(jié)合自己的使用情況，對使用過的優(yōu)化器提出一些自己的理解。

Stochastic Gradient Descent (SGD)

SGD 是一種常見的優(yōu)化方法，即每次迭代計算Mini-Batch的梯度，然后對參數(shù)進(jìn)行更新。其公式為：

缺點(diǎn)是對于損失方程有比較嚴(yán)重的振蕩，并且容易收斂到局部最小值。

Momentum

為了克服SGD振蕩比較嚴(yán)重的問題，Momentum將物理中的動量概念引入到SGD當(dāng)中，通過積累之前的動量來替代梯度。即：

相較于SGD，Momentum就相當(dāng)于在從山坡上不停的向下走，當(dāng)沒有阻力的話，它的動量會越來越大，但是如果遇到了阻力，速度就會變小。也就是說，在訓(xùn)練的時候，在梯度方向不變的維度上，訓(xùn)練速度變快，梯度方向有所改變的維度上，更新速度變慢，這樣就可以加快收斂并減小振蕩。

Adagrad

相較于SGD，Adagrad相當(dāng)于對學(xué)習(xí)率多加了一個約束，即：

Adagrad的優(yōu)點(diǎn)是，在訓(xùn)練初期，由于gt較小，所以約束項(xiàng)能夠加速訓(xùn)練。而在后期，隨著gt的變大，會導(dǎo)致分母不斷變大，最終訓(xùn)練提前結(jié)束。

Adam

Adam是一個結(jié)合了Momentum與Adagrad的產(chǎn)物，它既考慮到了利用動量項(xiàng)來加速訓(xùn)練過程，又考慮到對于學(xué)習(xí)率的約束。利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學(xué)習(xí)率。Adam的優(yōu)點(diǎn)主要在于經(jīng)過偏置校正后，每一次迭代學(xué)習(xí)率都有個確定范圍，使得參數(shù)比較平穩(wěn)。其公式為：

其中：

小結(jié)

通過實(shí)踐證明，Adam結(jié)合了Adagrad善于處理稀疏梯度和Momentum善于處理非平穩(wěn)目標(biāo)的優(yōu)點(diǎn)，相較于其他幾種優(yōu)化器效果更好。同時，我們也注意到很多論文中都會引用SGD，Adagrad作為優(yōu)化函數(shù)。但相較于其他方法，在實(shí)踐中，SGD需要更多的訓(xùn)練時間以及可能會被困到鞍點(diǎn)的缺點(diǎn)，都制約了它在很多真實(shí)數(shù)據(jù)上的表現(xiàn)。

深度學(xué)習(xí)同樣有許多損失函數(shù)可供選擇，如平方差函數(shù)（Mean Squared Error），絕對平方差函數(shù)（Mean Absolute Error），交叉熵函數(shù)（Cross Entropy）等。而在理論與實(shí)踐中，我們發(fā)現(xiàn)Cross Entropy相比于在線性模型中表現(xiàn)比較好的平方差函數(shù)有著比較明顯的優(yōu)勢。其主要原因是在深度學(xué)習(xí)通過反向傳遞更新W和b的同時，激活函數(shù)Sigmoid的導(dǎo)數(shù)在取大部分值時會落入左、右兩個飽和區(qū)間，造成參數(shù)的更新非常緩慢。具體的推導(dǎo)公式如下：

一般的MSE被定義為：

其中y是我們期望的輸出，a為神經(jīng)元的實(shí)際輸出a=σ(Wx+b)。由于深度學(xué)習(xí)反向傳遞的機(jī)制，權(quán)值W與偏移量b的修正公式被定義為：

因?yàn)镾igmoid函數(shù)的性質(zhì)，導(dǎo)致σ′(z)在z取大部分值時會造成飽和現(xiàn)象。

Cross Entropy的公式為：

如果有多個樣本，則整個樣本集的平均交叉熵為：

其中n表示樣本編號，i表示類別編號。 如果用于Logistic分類，則上式可以簡化成:

與平方損失函數(shù)相比，交叉熵函數(shù)有個非常好的特質(zhì)：

可以看到，由于沒有了σ′這一項(xiàng)，這樣一來在更新w和b就不會受到飽和性的影響。當(dāng)誤差大的時候，權(quán)重更新就快，當(dāng)誤差小的時候，權(quán)重的更新就慢。

在實(shí)驗(yàn)初期，我們只將單獨(dú)的5層DNN模型與線性模型進(jìn)行了比對。通過線下/線上AUC對比，我們發(fā)現(xiàn)單純的DNN模型對于CTR的提升并不明顯。而且單獨(dú)的DNN模型本身也有一些瓶頸，例如，當(dāng)用戶本身是非活躍用戶時，由于其自身與Item之間的交互比較少，導(dǎo)致得到的特征向量會非常稀疏，而深度學(xué)習(xí)模型在處理這種情況時有可能會過度的泛化，導(dǎo)致推薦與該用戶本身相關(guān)較少的Item。因此，我們將廣泛線性模型與深度學(xué)習(xí)模型相結(jié)合，同時又包含了一些組合特征，以便更好的抓住Item-Feature-Label三者之間的共性關(guān)系。我們希望在寬深度模型中的寬線性部分可以利用交叉特征去有效地記憶稀疏特征之間的相互作用，而在深層神經(jīng)網(wǎng)絡(luò)部分通過挖掘特征之間的相互作用，提升模型之間的泛化能力。下圖就是我們的寬深度學(xué)習(xí)模型框架：

在離線階段，我們采用基于Theano、Tensorflow的Keras作為模型引擎。在訓(xùn)練時，我們分別對樣本數(shù)據(jù)進(jìn)行清洗和提權(quán)。在特征方面，對于連續(xù)特征，我們用Min-Max方法做歸一化。在交叉特征方面，我們結(jié)合業(yè)務(wù)需求，提煉出多個在業(yè)務(wù)場景意義比較重大的交叉特征。在模型方面我們用Adam做為優(yōu)化器，用Cross Entropy做為損失函數(shù)。在訓(xùn)練期間，與Wide & Deep Learning論文中不同之處在于，我們將組合特征作為輸入層分別輸入到對應(yīng)的Deep組件和Wide組件中。然后在Deep部分將全部輸入數(shù)據(jù)送到3個ReLU層，在最后通過Sigmoid層進(jìn)行打分。我們的Wide＆Deep模型在超過7000萬個訓(xùn)練數(shù)據(jù)中進(jìn)行了訓(xùn)練，并用超過3000萬的測試數(shù)據(jù)進(jìn)行線下模型預(yù)估。我們的Batch－Size設(shè)為50000，Epoch設(shè)為20。

在實(shí)驗(yàn)階段，分別將深度學(xué)習(xí)、寬深度學(xué)習(xí)以及邏輯回歸做了一系列的對比，將表現(xiàn)比較好的寬深度模型放在線上與原本的Base模型進(jìn)行AB實(shí)驗(yàn)。從結(jié)果上來看，寬深度學(xué)習(xí)模型在線下/線上都有比較好的效果。具體結(jié)論如下：

隨著隱藏層寬度的增加，線下訓(xùn)練的效果也會隨著逐步的提升。但考慮到線上實(shí)時預(yù)測的性能問題，我們目前采用256->128->64的框架結(jié)構(gòu)。

下圖是包含了組合特征的寬深度模型與Base模型的線上實(shí)驗(yàn)效果對比圖：

從線上效果來看，寬深度學(xué)習(xí)模型一定程度上解決了歷史點(diǎn)擊過的團(tuán)單在遠(yuǎn)距離會被召回的問題。同時，寬深度模型也會根據(jù)當(dāng)前的場景推薦一些有新穎性的Item。

排序是一個非常經(jīng)典的機(jī)器學(xué)習(xí)問題，實(shí)現(xiàn)模型的記憶和泛化功能是推薦系統(tǒng)中的一個挑戰(zhàn)。記憶可以被定義為在推薦中將歷史數(shù)據(jù)重現(xiàn)，而泛化是基于數(shù)據(jù)相關(guān)性的傳遞性，探索過去從未或很少發(fā)生的Item。寬深度模型中的寬線性部分可以利用交叉特征去有效地記憶稀疏特征之間的相互作用，而深層神經(jīng)網(wǎng)絡(luò)可以通過挖掘特征之間的相互作用，提升模型之間的泛化能力。在線實(shí)驗(yàn)結(jié)果表明，寬深度模型對CTR有比較明顯的提高。同時，我們也在嘗試將模型進(jìn)行一系列的演化：

1.  將RNN融入到現(xiàn)有框架?，F(xiàn)有的Deep & Wide模型只是將DNN與線性模型做融合，并沒有對時間序列上的變化進(jìn)行建模。樣本出現(xiàn)的時間順序?qū)τ谕扑]排序同樣重要，比如當(dāng)一個用戶按照時間分別瀏覽了一些異地酒店、景點(diǎn)時，用戶再次再請求該異地城市，就應(yīng)該推出該景點(diǎn)周圍的美食。

2.  引入強(qiáng)化學(xué)習(xí)，讓模型可以根據(jù)用戶所處的場景，動態(tài)地推薦內(nèi)容。

深度學(xué)習(xí)和邏輯回歸的融合使得我們可以兼得二者的優(yōu)點(diǎn)，也為進(jìn)一步的點(diǎn)擊率預(yù)估模型設(shè)計和優(yōu)化打下了堅實(shí)的基礎(chǔ)。

1.  H. Cheng, L. Koc, J. Harmsen etc, Wide & Deep Learning for Recommender Systems, Published by ACM 2016 Article, https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/45530.pdf

2.  P. Covington, J. Adams, E. Sargin, Deep Neural Networks for YouTube Recommendations, RecSys '16 Proceedings of the 10th ACM Conference on Recommender Systems,https://arxiv.org/pdf/1606.07792.pdf

3.  H. Wang, N. Wang, D. Yeung, Collaborative Deep Learning for Recommender Systems.

網(wǎng)站欄目：【恩墨學(xué)院】深度學(xué)習(xí)在美團(tuán)點(diǎn)評推薦平臺排序中的運(yùn)用-創(chuàng)新互聯(lián)
瀏覽路徑：http://aaarwkj.com/article2/cdhdoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、Google、關(guān)鍵詞優(yōu)化、定制開發(fā)、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)