廣告點擊事件的準確預測是實時競價算法中的重要因素之一,關系著廣告主的成本與收益。當前在線廣告的業(yè)務場景下,數(shù)據(jù)規(guī)模巨大且具有高維、非線性、稀疏性等特點,如何高效地設計算法以減少迭代是優(yōu)化算法中要考慮的關鍵因素。同時,深度學習也為大規(guī)模非線性特征的學習及預測提供了有效手段。針對上述問題,本文將主要分為兩部分來開展對廣告點擊預測算法的研究工作。（1）在研究FTRL（Follow-the-regularized-Leader）優(yōu)化算法的基礎上,提出了基于FTRL優(yōu)化算法的因子分解機模型。在特征提取階段,使用基于梯度提升決策樹算法的特征提取代替了人工特征提取。FTRL算法在梯度下降算法的基礎上進行改進,加入了混合正則項防止過擬合,在保持梯度下降類算法高精確度的同時提高了稀疏性。因子分解機可以更好地學習到互異特征分量之間的關系,比傳統(tǒng)邏輯回歸更有效。實驗結果顯示,改進后的算法有效地提高了廣告點擊事件的預測準確率。（2）針對人工特征提取費時費力、淺層模型無法充分考慮到數(shù)據(jù)之間的非線性關系等問題,提出一種基于 CNN（Convolutional Neural Networks）-LSTM（Long ... 

【文章來源】：西安科技大學陜西省

【文章頁數(shù)】：53 頁

【學位級別】：碩士

【部分圖文】：

RTB廣告生態(tài)系統(tǒng)工作流程

告的業(yè)務場景下，線性模型沒有充分考慮到數(shù)據(jù)高維、些問題，引入了基于梯度提升決策樹算法的特征提取方e-regularized-Leader)優(yōu)化算法的因子分解機模型。FTR之間存在的非線性關系，使不同參數(shù)可以自適應不同學模型，防止過擬合。實驗驗證：基于 FTRL 優(yōu)化算法的精確度。化算法在 FTL(Follow-the-Leader)算法的的基礎上加入了正則項損失函數(shù)之和，且使模型得到的解更稀疏、更平滑。F切算法(Forward-Backward Splitting, FOBOS)與正則al Averaging, RDA)，有效地提高了模型的精度。其與梯S 算法、RDA 算法的關系如圖 3.1 所示。

偏置；cw 、cu 、cb 表示細胞狀態(tài)的權值參數(shù)和偏置；ow 、ou 、ob 表示遺忘門的權數(shù)和偏置。.2 算法設計.2.1 基本思想CNN-LSTM 混合神經(jīng)網(wǎng)絡分為三層結構。第一層：將原始特征去重、去除長尾數(shù)據(jù)后進行獨熱向量編碼，使其映射到 k 維中，k 為編碼后的向量維度，最后取其不為 0 的索引值作為新特征。例如，獨熱向碼為[0,0,1,0,1,0]，不為 0 的索引值為第 2 位與第 4 位，則新特征為[2,4]。第二層：將新特征輸入卷積神經(jīng)網(wǎng)絡，設置若干卷積層和池化層，并加入 Drop隨機選擇隱藏層的部分節(jié)點，防止過擬合。通過卷積核滑動和權值共享獲得局部感中特征間的關系，提取高影響力的特征。第三層：將 CNN 的輸出作為 LSTM 神經(jīng)網(wǎng)絡的輸入，使用分層的 LSTM 進行分到預測值，如圖 4.8 所示。

【參考文獻】：
期刊論文
[1]卷積神經(jīng)網(wǎng)絡研究綜述[J]. 周飛燕,金林鵬,董軍.  計算機學報. 2017(06)
[2]互聯(lián)網(wǎng)廣告點擊率預估模型中特征提取方法的研究與實現(xiàn)[J]. 田嫦麗,張珣,潘博,楊超,許彥茹.  計算機應用研究. 2017(02)
[3]基于特征學習的廣告點擊率預估技術研究[J]. 張志強,周永,謝曉芹,潘海為.  計算機學報. 2016(04)
[4]深度學習的昨天、今天和明天[J]. 余凱,賈磊,陳雨強,徐偉.  計算機研究與發(fā)展. 2013(09)
[5]廣告點擊率估算技術綜述[J]. 紀文迪,王曉玲,周傲英.  華東師范大學學報(自然科學版). 2013(03)
[6]RTB:廣告購買錢規(guī)則[J]. 朱珊.  成功營銷. 2013(02)
[7]深度學習研究綜述[J]. 孫志軍,薛磊,許陽明,王正.  計算機應用研究. 2012(08)
[8]計算廣告:以數(shù)據(jù)為核心的Web綜合應用[J]. 周傲英,周敏奇,宮學慶.  計算機學報. 2011(10)

碩士論文
[1]基于遞歸神經(jīng)網(wǎng)絡的廣告點擊率預估[D]. 余仕敏.浙江理工大學 2016
[2]基于深度學習的搜索廣告點擊率預測方法研究[D]. 李思琴.哈爾濱工業(yè)大學 2015
[3]在線廣告DSP平臺實時競價算法的研究與實現(xiàn)[D]. 韓靜（Jim Han）.上海交通大學 2015



本文編號：3511414