隨著信息化時代的到來,信息量呈指數(shù)式增長,用戶面對如此龐大的信息時如何篩選出有效信息是急需解決的問題。推薦系統(tǒng)由此而生,從龐大的內(nèi)容信息中篩選出對用戶來說有用的信息。本文研究的內(nèi)容點擊率預(yù)估系統(tǒng)正是推薦系統(tǒng)的核心。內(nèi)容點擊率預(yù)估系統(tǒng)對候選內(nèi)容的點擊率進(jìn)行預(yù)估,并進(jìn)行點擊率排序,將排序靠前的內(nèi)容展現(xiàn)給用戶,完成對用戶的內(nèi)容推薦。內(nèi)容點擊率預(yù)估系統(tǒng)包括離線模塊和線上模塊兩個部分:離線模塊主要包括特征提取、特征組合、模型訓(xùn)練、模型更新等功能;線上模塊主要包括特征計算、模型調(diào)用、點擊率計算等功能。本文主要研究內(nèi)容點擊率預(yù)估系統(tǒng)的設(shè)計與實現(xiàn)。首先對系統(tǒng)的需求進(jìn)行分析,對系統(tǒng)實現(xiàn)需要用到的相關(guān)技術(shù)進(jìn)行研究和分析,確定使用的算法。然后對系統(tǒng)進(jìn)行總體設(shè)計、詳細(xì)設(shè)計和實現(xiàn),最后進(jìn)行測試及結(jié)果分析。本文在特征提取環(huán)節(jié)采用了卡方檢驗的方法對特征進(jìn)行選擇。在模型訓(xùn)練中采用了邏輯回歸算法進(jìn)行求解。為了防止過擬合,采用了彈性網(wǎng)正則化對代價函數(shù)進(jìn)行懲罰。當(dāng)訓(xùn)練好的模型需要更新到線上時,使用讀-復(fù)制更新機(jī)制進(jìn)行模型文件的更新。使用AUC指標(biāo)進(jìn)行離線模型的評價,使用實際點擊率作為線上服務(wù)的評價。最終通過測試得出本文研究... 

【文章來源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１－１邏輯回歸擬合曲線實例??Ｆｉｇｕｒｅ?１－１?ａｎ?ｅｘａｍｐｌｅ?ｏｆ?ａ?ｌｏｇｉｃａｌ?ｒｅｇｒｅｓｓｉｏｎ?ｆｉｔｔｉｎｇ?ｃｕｒｖｅ??

ｓ?＝?ｗＴｘ＋ａ??（２－２）??Ｓｉｇｍｏｉｄ函數(shù)，如圖２－１所示。??．?；?，??／??／??ｏ．ｓ／??７??／??／??ｉ?…．Ｉ?Ｉ?ｑ??ｉ?ｉ?ｉ??０?２?４?６??圖２－１?Ｓｉｇｍｏｉｄ函數(shù)圖??Ｆｉｇｕｒｅ?２－１?Ｓｉｇｍｏｉｄ?ｆｕｎｃｔｉｏｎ?ｄｉａｇｒａｍ??Ｓｉｇｍｏｉｄ函數(shù)能夠把點擊分ｉＵ映射到［０，１］區(qū)間內(nèi)，我們把此函數(shù)設(shè)為階）。??則邏輯函數(shù)形式為??，、?ｅＳ?１??ｅＣｓ）?＝?ＩＴ＾?＝?ＴＴ＾?（２－３）??１１??

需要執(zhí)行數(shù)據(jù)塊到ＤａｔａＮｏｄｅ映射的決策。ＤａｔａＮｏｄｅ負(fù)責(zé)響應(yīng)來自客戶端的文件讀??寫需求，同時負(fù)責(zé)執(zhí)行來自ＮａｍｅＮｏｄｅ的關(guān)于數(shù)據(jù)塊創(chuàng)建、刪除和冗余存儲的指??令。如圖２－２即為分布式文件系統(tǒng)的架構(gòu)。??ＮａｍｅＮｏｄｅ?、??客戶端?＼＾信息??＾?ｎ?廣?＼?、??ＤａｔａＮｏｄｅ?ＤａｔａＮｏｄｅ?備份?ｆ?＾?Ｃ?二?????ｆ?Ｌ??—」?事?ＤａｔａＮｏｄｅ?ＤａｔａＮｏｄｅ??——＿?—￣１￣￣￣ｕ?Ｊ??——ｖ?ｍｍ??Ｊ??Ｖ?［?ＩＩＬＭｌ?］?／??＜，ｍｍ?????客戶端??■?－?Ｊ??、?圖２－２分布式文件系統(tǒng)架構(gòu)??Ｆｉｇｕｒｅ?２－２?ＨＤＦＳ?ａｒｃｈｉｔｅｃｔｕｒｅ??Ｈａｄｏｃ?ｎ的另一個核心ＭａｐＲｅｄｕｃｅ是一種用于大型商用硬件集群ｆ?Ｐ時海量數(shù)據(jù)??１４??

【參考文獻(xiàn)】：
期刊論文
[1]基于套索（Lasso）的中文垃圾郵件過濾[J]. 徐征,劉遵雄,張賢龍.  華東交通大學(xué)學(xué)報. 2014(04)
[2]基于彈性網(wǎng)回歸的居民消費價格指數(shù)分析[J]. 張哲,梁馮珍.  哈爾濱商業(yè)大學(xué)學(xué)報(自然科學(xué)版). 2013(05)
[3]廣告點擊率估算技術(shù)綜述[J]. 紀(jì)文迪,王曉玲,周傲英.  華東師范大學(xué)學(xué)報(自然科學(xué)版). 2013(03)
[4]上市公司財務(wù)預(yù)警的正則化邏輯回歸模型[J]. 張恒,秦賓,許金鳳.  華東交通大學(xué)學(xué)報. 2011(06)

碩士論文
[1]基于邏輯回歸的金融數(shù)據(jù)分類系統(tǒng)的設(shè)計與實現(xiàn)[D]. 劉展.山東大學(xué) 2017
[2]基于邏輯回歸的在線廣告CTR優(yōu)化和預(yù)測[D]. 代成雷.浙江大學(xué) 2016
[3]基于Logistic回歸模型的P2P網(wǎng)貸平臺借款人信用風(fēng)險評估[D]. 王夢佳.北京外國語大學(xué) 2015
[4]展示廣告中點擊率預(yù)估問題研究[D]. 嚴(yán)嶺.上海交通大學(xué) 2015
[5]在線廣告中高層特征表示及點擊率預(yù)測方法研究[D]. 邵迪.哈爾濱工業(yè)大學(xué) 2014
[6]基于特征學(xué)習(xí)的廣告點擊率預(yù)估技術(shù)研究[D]. 周永.哈爾濱工程大學(xué) 2014
[7]一種基于邏輯回歸模型的搜索廣告點擊率預(yù)估方法的研究[D]. 王兵.浙江大學(xué) 2013



本文編號：3471302