【摘要】：隨著程序化購買的模式日漸清晰與需求日益增大,需求方平臺(tái)(DSP Demand-Side-Platform)發(fā)展非常迅速,近年來市場(chǎng)規(guī)模每年已達(dá)數(shù)百億元,廣告點(diǎn)擊率預(yù)測(cè)作為需求方平臺(tái)的核心技術(shù)之一,對(duì)提升需求方平臺(tái)的競(jìng)爭(zhēng)力起著關(guān)鍵作用。本文立足于DSP廣告點(diǎn)擊率預(yù)測(cè)的具體場(chǎng)景和需求,通過查閱大量相關(guān)文獻(xiàn),對(duì)點(diǎn)擊率預(yù)測(cè)模型進(jìn)行了深入分析,研究了谷歌、微軟、臉書等大公司在廣告點(diǎn)擊率預(yù)測(cè)問題上采用的方案,重點(diǎn)參考了臉書提出的梯度提升決策樹組合邏輯回歸的模型~([1]),把邏輯回歸替換為基于特征列的因子分解,得到一個(gè)新的預(yù)測(cè)模型:梯度提升決策樹和基于特征列的因子分解的組合模型。通過梯度提升決策樹對(duì)連續(xù)特征及選擇性對(duì)部分原始特征進(jìn)行轉(zhuǎn)化生成新特征,很好地進(jìn)行了特征組合并且避免過度擬合,而基于特征列的因子分解模型通過分解成多維空間,使模型的精確度更高。其次在龐大特征空間的問題上,針對(duì)單個(gè)特征采用卡方檢驗(yàn)進(jìn)行特征選擇,以過濾一些對(duì)訓(xùn)練沒有幫助的特征,從而降低特征空間以及提高訓(xùn)練數(shù)據(jù)的質(zhì)量;同時(shí)使用散列技巧對(duì)卡方特征選擇的結(jié)果進(jìn)行降維,以達(dá)到一個(gè)在具體實(shí)現(xiàn)中可接受的量級(jí)。本文同時(shí)基于計(jì)算框架Spark對(duì)這一模型進(jìn)行了實(shí)現(xiàn),把整個(gè)實(shí)現(xiàn)過程分為4部分:梯度提升決策樹部分對(duì)連續(xù)特征和部分類屬特征進(jìn)行特征組合生成新特征;基于特征列的因子分解預(yù)處理一階段對(duì)連續(xù)特征進(jìn)行壓縮處理;而預(yù)處理階段二實(shí)現(xiàn)卡方特征選擇及散列技巧;最后將前3部分的特征合并對(duì)基于特征列的因子分解模型進(jìn)行訓(xùn)練。大部分算法的實(shí)現(xiàn)都是基于Spark MLlib庫,如梯度提升決策樹、卡方特征等;而基于特征列的因子分解的算法實(shí)現(xiàn)借助于第三方擴(kuò)展庫。最后通過實(shí)驗(yàn)和其它幾種常用模型的對(duì)比,論證了本文模型的有效性。
【圖文】：

第一章 緒論究背景著互聯(lián)網(wǎng)的發(fā)展，，互聯(lián)網(wǎng)廣告發(fā)展非常迅速，市場(chǎng)規(guī)模已達(dá)數(shù)千億，美國(guó)市場(chǎng) 2006 年廣告規(guī)模是 169 億美元，而 2016 年增長(zhǎng)到 725 億長(zhǎng) 329%[2]；中國(guó)在 2012 年以前，互聯(lián)網(wǎng)廣告市場(chǎng)還未成熟，主要斷，2012 年年度互聯(lián)網(wǎng)廣告規(guī)模約 773 億元，到 2016 年增長(zhǎng)為5 年時(shí)間增長(zhǎng)約 275.5%[3]，圖 1-1 為中國(guó)近 5 年的廣告規(guī)模增長(zhǎng)絡(luò)廣告市場(chǎng)發(fā)展成熟，國(guó)內(nèi)未來幾年增速趨于平穩(wěn)，預(yù)計(jì) 2019 年破 6000 億元。說明互聯(lián)網(wǎng)廣告市場(chǎng)規(guī)模巨大，而且還在不斷擴(kuò)大

學(xué)工程碩士學(xué)位論文 ，為媒體提供一個(gè)實(shí)時(shí)拍賣的平臺(tái)；DSP 服務(wù)于廣告主，為廣、出價(jià)、廣告管理等功能。其主要思想是：DSP 通過分析評(píng)估告的價(jià)值，制定合適的出價(jià)，贏得流量的展示；ADX 接受不擇勝出的廣告進(jìn)行展示。實(shí)時(shí)競(jìng)價(jià)過程如圖 1-2：媒體網(wǎng)站的ADX 主要工作是流量拍賣，而 DSP 承載著廣告定向、流量?jī)r(jià)算控制、廣告顯示頻次等重要工作，因此 DSP 成為廣告行業(yè)司作為互聯(lián)網(wǎng)廣告公司，也是在當(dāng)時(shí)搭建起了自己的 DSP。多的發(fā)展，已經(jīng)平穩(wěn)下來，目前主流 DSP 的典型代表有品友 DSP，還有依附媒體的騰訊智匯通、新浪扶翼、Google 的 D Bid Manager）。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：F713.8;O212.1

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王強(qiáng);羅揚(yáng)靜;林桂先;;基于DSP的簡(jiǎn)易頻率計(jì)設(shè)計(jì)[J];玉林師范學(xué)院學(xué)報(bào);2019年02期

2 秦曉未;;DSP技術(shù)在雷達(dá)信號(hào)處理中的應(yīng)用探究[J];信息記錄材料;2019年10期

3 張攀;滿緒民;田浩;;基于DSP的多功能自動(dòng)旋轉(zhuǎn)門設(shè)計(jì)[J];黑龍江科技信息;2016年35期

4 宋勁松;楊凱;;基于DSP和FPGA的數(shù)字信號(hào)處理系統(tǒng)設(shè)計(jì)[J];蘭州文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2017年01期

5 鄒侃平;伍川輝;;基于DSP的動(dòng)車組車內(nèi)噪聲主動(dòng)控制系統(tǒng)設(shè)計(jì)[J];鐵道科學(xué)與工程學(xué)報(bào);2016年11期

6 梁磊;;基于DSP的遠(yuǎn)程視頻監(jiān)控系統(tǒng)研究[J];無線互聯(lián)科技;2016年24期

7 劉金龍;;基于FPGA和DSP的視頻處理系統(tǒng)分析[J];無線互聯(lián)科技;2016年24期

8 李濤;楊成忠;;基于DSP的電動(dòng)助力自行車控制系統(tǒng)設(shè)計(jì)[J];信息與電腦(理論版);2016年21期

9 凌曄華;;DSP直流電機(jī)調(diào)速系統(tǒng)研究[J];現(xiàn)代制造技術(shù)與裝備;2016年12期

10 林獻(xiàn)坤;余雙;陶晨;;基于DSP的電動(dòng)執(zhí)行機(jī)構(gòu)相序檢測(cè)及缺相保護(hù)方法[J];測(cè)控技術(shù);2017年02期

相關(guān)會(huì)議論文 前10條

1 馬利東;厲偉;;基于DSP的絕緣子泄漏電流的在線監(jiān)測(cè)系統(tǒng)設(shè)計(jì)[A];第十四屆沈陽科學(xué)學(xué)術(shù)年會(huì)論文集（理工農(nóng)醫(yī)）[C];2017年

2 吳蕾;劉江峰;趙小林;;基于DSP電壓互感器現(xiàn)場(chǎng)測(cè)試儀的設(shè)計(jì)與應(yīng)用[A];ABB杯第三屆全國(guó)自動(dòng)化系統(tǒng)工程師論文大賽論文集[C];2008年

3 施禮;桂俊杰;;基于DSP技術(shù)的烤煙分級(jí)智能識(shí)別研究[A];中國(guó)煙草學(xué)會(huì)2011年學(xué)術(shù)年會(huì)優(yōu)秀論文匯編[C];2011年

4 馬曙光;胡紹民;徐攀;徐曉峰;;基于DSP的抖動(dòng)偏頻激光陀螺抖動(dòng)控制器[A];第九屆全國(guó)物理力學(xué)學(xué)術(shù)會(huì)議論文集[C];2009年

5 吳紅飛;胡海兵;邢巖;;一種基于半實(shí)物仿真的DSP控制逆變器的實(shí)驗(yàn)方法[A];第6屆全國(guó)高等學(xué)校電氣工程及其自動(dòng)化專業(yè)教學(xué)改革研討會(huì)論文集（下冊(cè)）[C];2009年

6 丁麗晶;李明偉;;采用DSP技術(shù)實(shí)現(xiàn)的超聲波多普勒流量計(jì)[A];第十屆全國(guó)信號(hào)處理學(xué)術(shù)年會(huì)（CCSP-2001）論文集[C];2001年

7 譚劍;葛臨東;;全數(shù)字接收機(jī)中的關(guān)鍵技術(shù)及其DSP實(shí)現(xiàn)[A];第九屆全國(guó)信號(hào)處理學(xué)術(shù)年會(huì)（CCSP-99）論文集[C];1999年

8 吳蒙;;DSP促進(jìn)現(xiàn)代通信技術(shù)的發(fā)展[A];第十屆全國(guó)信號(hào)處理學(xué)術(shù)年會(huì)（CCSP-2001）論文集[C];2001年

9 趙鑫;解梅;;基于DSP的虹膜識(shí)別系統(tǒng)[A];第七屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2009年

10 王東;張莉;;基于DSP的超級(jí)電容器串聯(lián)均壓控制系統(tǒng)的研究[A];第六屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集（3）[C];2008年

相關(guān)重要報(bào)紙文章 前4條

1 ;德州儀器為TD-SCDMA基站提供DSP[N];人民郵電;2003年

2 廣州 秦福忠;一套實(shí)用的高保真DSP分頻的2.1音響系統(tǒng)方案(二)[N];電子報(bào);2019年

3 廣州 秦福忠;一套實(shí)用的高保真DSP分頻的2.1音響系統(tǒng)方案(一)[N];電子報(bào);2019年

4 廣州 秦福忠;超值低價(jià)的音響發(fā)燒利器——DSP001 DSP數(shù)字功放(上)[N];電子報(bào);2016年

相關(guān)博士學(xué)位論文 前10條

1 卞斌;基于DSP平臺(tái)的磁懸浮軸承數(shù)字控制系統(tǒng)[D];山東大學(xué);2012年

2 張玉強(qiáng);基于DSP的色散介質(zhì)FDTD算法及相關(guān)問題研究[D];西安電子科技大學(xué);2009年

3 趙丹培;頻域下的目標(biāo)跟蹤方法及其在DSP中的實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（長(zhǎng)春光學(xué)精密機(jī)械與物理研究所）;2006年

4 任坤;DSP編譯器關(guān)鍵技術(shù)研究[D];浙江大學(xué);2007年

5 孫科林;基于多核DSP的實(shí)時(shí)圖像處理平臺(tái)研究[D];電子科技大學(xué);2012年

6 張兵;基于DSP的液壓振動(dòng)臺(tái)功率譜復(fù)現(xiàn)研究[D];哈爾濱工業(yè)大學(xué);2013年

7 汪東;異構(gòu)多核DSP數(shù)據(jù)流前瞻關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2007年

8 張曉飛;基于DSP的紅外焦平面陣列非均勻性校正技術(shù)研究[D];重慶大學(xué);2002年

9 陳杰男;基于概率計(jì)算的無線通信DSP系統(tǒng)高效VLSI實(shí)現(xiàn)技術(shù)研究[D];電子科技大學(xué);2014年

10 許志遠(yuǎn);霧天降質(zhì)圖像增強(qiáng)方法研究及DSP實(shí)現(xiàn)[D];大連海事大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 賀鵬程;一種DSP廣告點(diǎn)擊率預(yù)測(cè)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2018年

2 何雙宗;基于多核DSP的可重構(gòu)數(shù)字信號(hào)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];天津工業(yè)大學(xué);2019年

3 李明召;基于DSP的數(shù)字式逆變電源的研究[D];河北科技大學(xué);2019年

4 萬方鵬;直接序列擴(kuò)頻信號(hào)檢測(cè)與參數(shù)估計(jì)及DSP實(shí)現(xiàn)[D];哈爾濱工程大學(xué);2019年

5 徐舒;基于DSP的戰(zhàn)場(chǎng)聲目標(biāo)實(shí)時(shí)識(shí)別與定位技術(shù)研究與實(shí)現(xiàn)[D];安徽工業(yè)大學(xué);2018年

6 楊熙;基于C#和DSP的核能譜模擬方法研究[D];成都理工大學(xué);2018年

7 汪廣;基于DSP的永磁無刷直流電機(jī)矢量控制系統(tǒng)的研究[D];湖南大學(xué);2018年

8 閆文華;基于DSP的大功率三相有源功率因數(shù)校正系統(tǒng)的設(shè)計(jì)[D];蘭州交通大學(xué);2018年

9 魏民;基于多核DSP的MUSIC算法研究與實(shí)現(xiàn)[D];哈爾濱工程大學(xué);2018年

10 胡曉磊;多核DSP調(diào)試代理與高速仿真器的設(shè)計(jì)與實(shí)現(xiàn)[D];北京化工大學(xué);2018年

本文編號(hào)：2700066