信息檢索領(lǐng)域中的點擊率預(yù)測和個性化推薦問題中存在大量多字段分類數(shù)據(jù)。這類型的數(shù)據(jù)主要呈現(xiàn)以下特征:有多個不同字段,且每個字段與其他字段間沒有明確依賴關(guān)系。與圖像和語音的連續(xù)數(shù)據(jù)不同,這類數(shù)據(jù)在處理之后通常具有高維稀疏性,且不同字段的特征之間存在組合關(guān)系。如何提取這種復雜的組合特征對于提升廣告點擊率預(yù)測與推薦系統(tǒng)的性能至關(guān)重要。傳統(tǒng)的機器學習方法在處理這類問題時依賴繁瑣且復雜的人工設(shè)計組合特征。深度學習憑借強大的表示學習能力,擅長學習高維數(shù)據(jù)中的復雜關(guān)系,可以用端到端的方式更好地提取高質(zhì)量的特征。本文研究基于點擊率預(yù)測的深度學習模型,并對其進行改進,設(shè)計了一種基于注意力機制的因子分解機模型和殘差網(wǎng)絡(luò)并行的網(wǎng)絡(luò)結(jié)構(gòu),并在公開數(shù)據(jù)集上進行了驗證。主要研究內(nèi)容如下:（1）對寬深度模型Wide＆Deep及其變體進行研究及仿真。研究發(fā)現(xiàn)其核心思想都是通過融合線性模型和深度模型分別提取低階和高階的組合特征。通過實驗,得出了這類模型目前存在的不足,為后續(xù)模型的優(yōu)化提供研究思路。（2）為進一步提高寬深度模型對復雜組合特征提取的能力,本文設(shè)計并實現(xiàn)了因子分解機與殘差網(wǎng)絡(luò)并行的模型結(jié)構(gòu)FM＆ResNet。模... 

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 點擊率預(yù)測問題面臨的挑戰(zhàn)
        1.2.1 多字段分類數(shù)據(jù)的特點
        1.2.2 點擊率預(yù)測問題的挑戰(zhàn)
    1.3 國內(nèi)外研究現(xiàn)狀
        1.3.1 基于機器學習的點擊率預(yù)測算法研究現(xiàn)狀
        1.3.2 基于深度學習的點擊率預(yù)測算法研究現(xiàn)狀
    1.4 主要的研究內(nèi)容
    1.5 本文結(jié)構(gòu)安排
第二章 關(guān)鍵技術(shù)基礎(chǔ)
    2.1 點擊率預(yù)測問題建模
    2.2 特征工程
        2.2.1 數(shù)據(jù)預(yù)處理
        2.2.2 特征值處理
        2.2.3 組合特征
    2.3 深度學習相關(guān)技術(shù)介紹
        2.3.1 深度學習基本思想
        2.3.2 反向傳播算法
        2.3.3 激活函數(shù)
        2.3.4 批標準化
        2.3.5 Dropout
    2.4 本章小結(jié)
第三章 基于深度學習的點擊率預(yù)測算法研究
    3.1 基于公開數(shù)據(jù)集的實驗設(shè)置
        3.1.1 公開數(shù)據(jù)集介紹
        3.1.2 數(shù)據(jù)預(yù)處理
        3.1.3 模型評價指標
    3.2 點擊率預(yù)測問題的深度學習模型研究
        3.2.1 Wide&Deep模型
        3.2.2 DeepFM模型
        3.2.3 Deep & Cross模型
        3.2.4 模型實驗結(jié)果
    3.3 模型對比分析
    3.4 本章小結(jié)
第四章 基于注意力機制的FM & ResNet模型研究
    4.1 改進模型的思想
        4.1.1 深度學習中的注意力機制
        4.1.2 殘差網(wǎng)絡(luò)
        4.1.3 基于注意力機制的FM&ResNet模型
    4.2 模型結(jié)構(gòu)設(shè)計
        4.2.1 嵌入層表示
        4.2.2 因子分解機部分
        4.2.3 殘差網(wǎng)絡(luò)部分
        4.2.4 模型聯(lián)合訓練
    4.3 實驗結(jié)果及分析
        4.3.1 基準模型
        4.3.2 性能對比
        4.3.3 超參數(shù)調(diào)優(yōu)
    4.4 本章小結(jié)
第五章 基于注意力機制的FM & ResNet模型的應(yīng)用
    5.1 基于FM&ResNet模型的短視頻點擊率預(yù)測
        5.1.1 問題描述
        5.1.2 實驗環(huán)境
        5.1.3 短視頻數(shù)據(jù)集介紹
    5.2 短視頻數(shù)據(jù)集的特征工程
        5.2.1 數(shù)據(jù)預(yù)處理
        5.2.2 特征工程
    5.3 應(yīng)用結(jié)果分析
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 本文工作總結(jié)
    6.2 未來工作展望
參考文獻
致謝
攻讀學位期間取得的研究成果



本文編號：3677037