本文關(guān)鍵詞：廣告點(diǎn)擊率預(yù)估的深層神經(jīng)網(wǎng)絡(luò)模型研究

  更多相關(guān)文章： 廣告點(diǎn)擊率 機(jī)器學(xué)習(xí) 非線性 深層神經(jīng)網(wǎng)絡(luò) 邏輯回歸

【摘要】：隨著現(xiàn)代科技的飛速發(fā)展,互聯(lián)網(wǎng)廣告投放也在全球普及。點(diǎn)擊率(Click-Through-Rate, CTR)預(yù)估是互聯(lián)網(wǎng)廣告投放的核心問題,通過使用機(jī)器學(xué)習(xí)方法,充分利用廣告系統(tǒng)日志中的數(shù)據(jù)進(jìn)行預(yù)測,計算出用戶對候選廣告點(diǎn)擊概率的大小,從中選出被用戶點(diǎn)擊的概率較大的廣告展示給用戶。邏輯回歸模型是常用的機(jī)器學(xué)習(xí)方法之一,但是邏輯回歸是一個線性模型,不能學(xué)習(xí)到數(shù)據(jù)中的非線性特征信息,而且邏輯回歸模型參數(shù)較多,容易造成過擬合的問題,這給廣告點(diǎn)擊率預(yù)估問題帶來了困難。 本文在充分調(diào)研點(diǎn)擊率預(yù)估問題常用機(jī)器學(xué)習(xí)模型的前提下,將深層神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于廣告點(diǎn)擊率預(yù)告問題中,據(jù)我調(diào)研文獻(xiàn)之后所知學(xué)術(shù)界當(dāng)前的研究還沒有涉及到這種方法。本文主要做了以下幾個工作： (1)對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了分析與處理,針對數(shù)值連續(xù)型特征進(jìn)行離散化,針對類別型特征直接使用One-hot Encoding進(jìn)行特征編碼。 (2)用Python編程實(shí)現(xiàn)邏輯回歸模型的代碼模塊,并使用該模型進(jìn)行廣告點(diǎn)擊率預(yù)估問題的實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果作為基準(zhǔn)與深層神經(jīng)網(wǎng)絡(luò)模型的結(jié)果對比。 (3)調(diào)研深層神經(jīng)網(wǎng)絡(luò)模型,用深層神經(jīng)網(wǎng)絡(luò)模型為廣告點(diǎn)擊率預(yù)估問題建模。針對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特征設(shè)計,并分別選取了Sigmoid與Relu兩種激活函數(shù)進(jìn)行實(shí)驗(yàn)。本文實(shí)驗(yàn)基于開源機(jī)器學(xué)習(xí)平臺Petuum中的深層神經(jīng)網(wǎng)絡(luò)模塊,使用的數(shù)據(jù)來自于廣告公司Cretio的實(shí)際數(shù)據(jù)。
【關(guān)鍵詞】：廣告點(diǎn)擊率 機(jī)器學(xué)習(xí) 非線性 深層神經(jīng)網(wǎng)絡(luò) 邏輯回歸
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP183
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-17
• 1.1 研究背景9-11
• 1.2 研究現(xiàn)狀11-13
• 1.3 研究內(nèi)容和意義13-15
• 1.3.1 研究內(nèi)容13-14
• 1.3.2 研究意義14-15
• 1.4 論文章節(jié)安排15-17
• 第二章 廣告點(diǎn)擊率預(yù)估問題及相關(guān)技術(shù)17-29
• 2.1 計算廣告學(xué)介紹17-20
• 2.1.1 展示廣告系統(tǒng)組成17-18
• 2.1.2 廣告競價機(jī)制與投放方式18-20
• 2.1.3 AUC 指標(biāo)20
• 2.2 機(jī)器學(xué)習(xí)方法20-25
• 2.2.1 淺層機(jī)器學(xué)習(xí)模型20-24
• 2.2.2 深層神經(jīng)網(wǎng)絡(luò)模型24-25
• 2.3 梯度優(yōu)化算法25-27
• 2.3.1 基于一階梯度優(yōu)化算法25-26
• 2.3.2 基于二階梯度擬牛頓優(yōu)化算法26-27
• 2.4 Petuum計算平臺27-28
• 2.5 本章小結(jié)28-29
• 第三章 基于深層神經(jīng)網(wǎng)絡(luò)的點(diǎn)擊率預(yù)估模型29-43
• 3.1 廣告點(diǎn)擊率預(yù)估問題29-30
• 3.2 邏輯回歸淺層模型30-33
• 3.2.1 模型輸入及輸出30-32
• 3.2.2 目標(biāo)函數(shù)及求解算法32-33
• 3.3 深層神經(jīng)網(wǎng)絡(luò)模型33-41
• 3.3.1 模型輸入及輸出33-34
• 3.3.2 目標(biāo)函數(shù)及求解算法34-37
• 3.3.3 模型激活函數(shù)分析37-39
• 3.3.4 權(quán)值初始化39-41
• 3.4 本章小結(jié)41-43
• 第四章 點(diǎn)擊率預(yù)估實(shí)驗(yàn)設(shè)計43-53
• 4.1 數(shù)據(jù)集及特征分析43-46
• 4.2 邏輯回歸實(shí)驗(yàn)設(shè)計46-49
• 4.2.1 特征設(shè)計46-48
• 4.2.2 模型訓(xùn)練48-49
• 4.3 深層神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)設(shè)計49-51
• 4.3.1 特征設(shè)計49-50
• 4.3.2 模型訓(xùn)練50-51
• 4.4 本章小結(jié)51-53
• 第五章 實(shí)驗(yàn)結(jié)果分析53-59
• 5.1 運(yùn)行環(huán)境與開發(fā)語言53
• 5.2 評估指標(biāo)53-54
• 5.3 實(shí)驗(yàn)結(jié)果及分析54-58
• 5.3.1 邏輯回歸模型試驗(yàn)結(jié)果54-55
• 5.3.2 深層神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果55-58
• 5.4 本章小結(jié)58-59
• 第六章 總結(jié)與展望59-61
• 6.1 文章總結(jié)59
• 6.2 工作展望59-61
• 6.2.1 樣本不均衡問題59-60
• 6.2.2 新廣告的問題60
• 6.2.3 激活函數(shù)選擇60-61
• 參考文獻(xiàn)61-65
• 致謝65-67
• 攻讀碩士學(xué)位期間主要的研究成果67

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 蔡坤琪;;基于相關(guān)鑒別分析和隨機(jī)森林的人臉識別方法[J];安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報;2012年01期

2 李飛;高小榕;高上凱;;基于隨機(jī)森林算法的高維腦電特征優(yōu)選[J];北京生物醫(yī)學(xué)工程;2007年04期

3 陳建新;西廣成;王偉;趙慧輝;陳靜;;數(shù)據(jù)挖掘分類算法在冠心病臨床應(yīng)用的比較[J];北京生物醫(yī)學(xué)工程;2008年03期

4 熊文;王樅;;改進(jìn)粒子群與支持向量機(jī)混合的特征變換[J];北京郵電大學(xué)學(xué)報;2009年06期

5 蔡金錠;鄢仁武;;基于小波分析與隨機(jī)森林算法的電力電子電路故障診斷[J];電力科學(xué)與技術(shù)學(xué)報;2011年02期

6 胥海威;何寬;;改進(jìn)隨機(jī)決策樹群算法在監(jiān)督分類中的應(yīng)用[J];地理與地理信息科學(xué);2010年06期

7 張郴;張捷;;中國入境旅游需求預(yù)測的神經(jīng)網(wǎng)絡(luò)集成模型研究[J];地理科學(xué);2011年10期

8 馬昕;郭靜;孫嘯;;蛋白質(zhì)中RNA-結(jié)合殘基預(yù)測的隨機(jī)森林模型[J];東南大學(xué)學(xué)報(自然科學(xué)版);2012年01期

9 胡鋒;邢潔清;;一種基于小波變換與隨機(jī)森林的人臉識別方法[J];電腦知識與技術(shù);2011年16期

10 葉圣永;王曉茹;劉志剛;錢清泉;;電力系統(tǒng)暫態(tài)穩(wěn)定評估組合模型的比較[J];電網(wǎng)技術(shù);2008年23期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 賈少春;胡秀珍;;A Method of Predicting theβ-hairpin Motifs in Proteins[A];第四屆全國生物信息學(xué)與系統(tǒng)生物學(xué)學(xué)術(shù)大會論文集[C];2010年

2 李勝朋;王洪禮;馮劍豐;;基于不連續(xù)回歸樹的最大李雅譜諾夫指數(shù)計算方法[A];第九屆全國振動理論及應(yīng)用學(xué)術(shù)會議論文集[C];2007年

3 謝程利;王金橋;盧漢清;;核森林及其在目標(biāo)檢測中的應(yīng)用[A];第六屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2010)、第19屆全國多媒體學(xué)術(shù)會議（NCMT2010）、第6屆全國人機(jī)交互學(xué)術(shù)會議（CHCI2010）、第5屆全國普適計算學(xué)術(shù)會議（PCC2010）論文集[C];2010年

4 張紅梅;;基于粗糙集特征約簡的SVM集成入侵檢測模型[A];2009中國控制與決策會議論文集（3）[C];2009年

5 曹東升;許青松;梁逸曾;陳憲;李洪東;;組合樹的集合體和后向消除策略去分類P-糖蛋白化合物[A];第十屆全國計算(機(jī))化學(xué)學(xué)術(shù)會議論文摘要集[C];2009年

6 曹東升;許青松;梁逸曾;;Computer-Aided Prediction of Toxicity with Substructure Pattern and Random Forest[A];第十一屆全國計算（機(jī)）化學(xué)學(xué)術(shù)會議論文摘要集[C];2011年

7 李夢龍;;Systematically analyze and select key features to microRNA precursors identification based on random forests[A];第十一屆全國計算（機(jī)）化學(xué)學(xué)術(shù)會議論文摘要集[C];2011年

8 秦文麗;李益洲;李娟;余樂正;郭延芝;李夢龍;;基于蛋白質(zhì)序列信息的信號肽上有害非同義單核苷酸多態(tài)性的預(yù)測[A];第十一屆全國計算（機(jī)）化學(xué)學(xué)術(shù)會議論文摘要集[C];2011年

9 馮飛翔;馮輔周;江鵬程;劉菁;劉建敏;;隨機(jī)森林和k-近鄰法在某型坦克變速箱狀態(tài)識別中的應(yīng)用[A];第八屆全國轉(zhuǎn)子動力學(xué)學(xué)術(shù)討論會論文集[C];2008年

10 饒國強(qiáng);馮輔周;江鵬程;靳瑩;范結(jié)緒;;模糊識別在變速箱狀態(tài)識別中的應(yīng)用研究[A];2008年全國振動工程及應(yīng)用學(xué)術(shù)會議暨第十一屆全國設(shè)備故障診斷學(xué)術(shù)會議論文集[C];2008年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 于化龍;基于DNA微陣列數(shù)據(jù)的癌癥分類技術(shù)研究[D];哈爾濱工程大學(xué);2010年

2 李書艷;單點(diǎn)氨基酸多態(tài)性與疾病相關(guān)關(guān)系的預(yù)測及其機(jī)制研究[D];蘭州大學(xué);2010年

3 姚志明;基于步態(tài)觸覺信息的身份識別研究[D];中國科學(xué)技術(shù)大學(xué);2010年

4 杜方;復(fù)雜網(wǎng)絡(luò)系統(tǒng)間相似性識別及其應(yīng)用[D];浙江大學(xué);2010年

5 甘良志;核學(xué)習(xí)算法與集成方法研究[D];浙江大學(xué);2010年

6 王樹云;基于Bayes方法和圖限制下正規(guī)化方法的變量選擇問題及其在基因組數(shù)據(jù)中的應(yīng)用[D];山東大學(xué);2010年

7 王中鋒;樹型貝葉斯網(wǎng)絡(luò)分類器鑒別式訓(xùn)練研究[D];北京交通大學(xué);2011年

8 田健;計算機(jī)輔助分子設(shè)計提高蛋白質(zhì)熱穩(wěn)定性的研究[D];中國農(nóng)業(yè)科學(xué)院;2011年

9 戴俊程;基于全基因組關(guān)聯(lián)研究的中國女性乳腺癌風(fēng)險預(yù)測模型研究[D];南京醫(yī)科大學(xué);2011年

10 王清;集成學(xué)習(xí)中若干關(guān)鍵問題的研究[D];復(fù)旦大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 馬冉冉;集成學(xué)習(xí)算法研究[D];山東科技大學(xué);2010年

2 石國強(qiáng);基于規(guī)則的組合分類器的研究[D];鄭州大學(xué);2010年

3 陳松峰;利用PCA和AdaBoost建立基于貝葉斯的組合分類器[D];鄭州大學(xué);2010年

4 李紅;數(shù)據(jù)挖掘中特征選擇與聚類算法研究[D];大連理工大學(xué);2010年

5 李海燕;互信息特征選擇的研究及在代謝組學(xué)中的應(yīng)用[D];大連理工大學(xué);2010年

6 朱新榮;徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)集成算法的研究及應(yīng)用[D];大連理工大學(xué);2010年

7 嚴(yán)康;基于支持向量機(jī)的特征選擇算法研究[D];大連理工大學(xué);2010年

8 唐曉敏;基于霍夫變換及條件概率模型的多目標(biāo)檢測[D];大連理工大學(xué);2010年

9 王若飛;基于機(jī)器學(xué)習(xí)的蛋白質(zhì)折疊預(yù)測算法研究[D];湘潭大學(xué);2010年

10 楊向軍;Web spam檢測系統(tǒng)的設(shè)計和實(shí)現(xiàn)[D];華南理工大學(xué);2010年

，

本文編號：902817