生成模型是機(jī)器學(xué)習(xí)中重要的無(wú)監(jiān)督學(xué)習(xí)方法,能夠以概率分布形式刻畫(huà)數(shù)據(jù)中的隱含特征。隨著大數(shù)據(jù)時(shí)代的到來(lái),深度學(xué)習(xí)方法在諸如自然圖像等復(fù)雜數(shù)據(jù)場(chǎng)景中取得了令人矚目的成果。深度生成模型結(jié)合了深度學(xué)習(xí)的表示能力和生成模型的統(tǒng)計(jì)理論基礎(chǔ),具有諸多優(yōu)點(diǎn),例如能夠建模復(fù)雜形態(tài)數(shù)據(jù)的概率分布、能夠回答復(fù)雜數(shù)據(jù)中的推斷問(wèn)題、具備良好的泛化能力等,因而受到了學(xué)者們廣泛的關(guān)注。然而,由于深度生成模型通常包含復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),其學(xué)習(xí)和推斷方法面臨著很多挑戰(zhàn):如何建模深度生成模型的模型不確定性;如何引入模型先驗(yàn)知識(shí);如何防止深度生成模型過(guò)擬合;如何對(duì)其隱含特征進(jìn)行快速推斷;如何學(xué)習(xí)沒(méi)有顯式定義似然函數(shù)的隱式深度生成模型;如何解決隱式深度生成模型學(xué)習(xí)中常見(jiàn)的模態(tài)坍縮問(wèn)題等。本文針對(duì)上述深度生成模型學(xué)習(xí)算法的挑戰(zhàn),從建模模型不確定性、提升樣本多樣性等角度展開(kāi)理論研究,并探索其在推薦系統(tǒng)場(chǎng)景中的應(yīng)用價(jià)值。本文的主要貢獻(xiàn)如下:1.提出雙隨機(jī)梯度馬爾可夫鏈蒙特卡洛算法,對(duì)顯式深度生成模型參數(shù)進(jìn)行（近似）貝葉斯推斷,以建模模型不確定性,防止模型過(guò)擬合。創(chuàng)新性地提出了神經(jīng)自適應(yīng)重要性采樣方法,引入提議分布近似模型隱含變量... 

【文章來(lái)源】：清華大學(xué)北京市211工程院校985工程院校教育部直屬院校

【文章頁(yè)數(shù)】：115 頁(yè)

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
abstract
主要符號(hào)對(duì)照表
第1章 引言
    1.1 研究背景及意義
        1.1.1 深度生成模型
        1.1.2 推薦系統(tǒng)
    1.2 研究現(xiàn)狀及難點(diǎn)
        1.2.1 相關(guān)工作介紹
        1.2.2 研究難點(diǎn)及挑戰(zhàn)
    1.3 研究?jī)?nèi)容及主要貢獻(xiàn)
    1.4 論文組織
第2章 背景知識(shí)
    2.1 參數(shù)估計(jì)方法
        2.1.1 最大似然估計(jì)
        2.1.2 最大后驗(yàn)估計(jì)
        2.1.3 后驗(yàn)均值估計(jì)
    2.2 貝葉斯推斷方法
        2.2.1 變分推斷方法
        2.2.2 馬爾可夫鏈蒙特卡洛方法
    2.3 隨機(jī)優(yōu)化方法
        2.3.1 隨機(jī)梯度下降算法
        2.3.2 Adam優(yōu)化算法
    2.4 本章小結(jié)
第3章 雙隨機(jī)梯度馬爾可夫鏈蒙特卡洛算法
    3.1 研究動(dòng)機(jī)
    3.2 顯式深度生成模型及其貝葉斯推斷
        3.2.1 顯式深度生成模型的定義
        3.2.2 顯式深度生成模型的學(xué)習(xí)
    3.3 雙隨機(jī)梯度馬爾可夫鏈蒙特卡洛算法
        3.3.1 參數(shù)空間的隨機(jī)梯度馬爾可夫鏈蒙特卡洛采樣
        3.3.2 樣本似然梯度估計(jì)——吉布斯采樣
        3.3.3 樣本似然梯度估計(jì)——神經(jīng)自適應(yīng)重要性采樣
        3.3.4 完整算法
    3.4 實(shí)驗(yàn)結(jié)果與分析
        3.4.1 實(shí)驗(yàn)設(shè)置
        3.4.2 離散型隱含變量模型的學(xué)習(xí)
        3.4.3 連續(xù)型隱含變量模型的學(xué)習(xí)
        3.4.4 效率分析
    3.5 本章小結(jié)
第4章 基于指導(dǎo)顯式模型的隱式深度生成模型學(xué)習(xí)算法
    4.1 研究動(dòng)機(jī)
    4.2 隱式深度生成模型
        4.2.1 隱式深度生成模型的定義
        4.2.2 模態(tài)坍縮問(wèn)題
    4.3 基于指導(dǎo)顯式模型的學(xué)習(xí)算法
        4.3.1 隱式深度生成模型的最大似然估計(jì)
        4.3.2 結(jié)合生成式對(duì)抗網(wǎng)絡(luò)的LBT算法
        4.3.3 基于梯度展開(kāi)技術(shù)的優(yōu)化算法
    4.4 實(shí)驗(yàn)結(jié)果與分析
        4.4.1 人工合成數(shù)據(jù)集
        4.4.2 三通道層疊的MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集
        4.4.3 自然圖像數(shù)據(jù)集
        4.4.4 敏感度分析
    4.5 本章小結(jié)
第5章 基于用戶-對(duì)象共自回歸模型的協(xié)同過(guò)濾推薦算法
    5.1 研究動(dòng)機(jī)
    5.2 基于用戶-對(duì)象共自回歸的協(xié)同過(guò)濾模型
        5.2.1 協(xié)同過(guò)濾推薦
        5.2.2 相關(guān)性的顯式建模
        5.2.3 用戶行為排序
    5.3 快速學(xué)習(xí)算法
    5.4 實(shí)驗(yàn)結(jié)果與分析
        5.4.1 評(píng)分預(yù)測(cè)任務(wù)
        5.4.2 對(duì)象推薦任務(wù)
        5.4.3 模型參數(shù)可視化
        5.4.4 效率分析
    5.5 本章小結(jié)
第6章 總結(jié)與展望
    6.1 本文總結(jié)
    6.2 未來(lái)工作展望
參考文獻(xiàn)
致謝
個(gè)人簡(jiǎn)歷、在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果



本文編號(hào)：3627325