在機器學(xué)習(xí)和貝葉斯推理中,復(fù)雜的概率模型通常需要計算難解的高維積分。馬爾科夫鏈蒙特卡洛（Markov Chian Monte Carlo,MCMC）是一種常用的貝葉斯概率模型的近似方法。MCMC利用從馬爾科夫鏈中采樣得到的樣本去近似復(fù)雜的概率分布。當采樣的樣本數(shù)量足夠大時,它能夠為概率模型提供漸近無偏的估計�；趧恿W(xué)的采樣方法是當前最流行的MCMC方法之一,其中哈密爾頓蒙特卡洛（Hamiltonian Monte Carlo,HMC）是基于動力學(xué)的MCMC方法中最典型的代表,它利用哈密爾頓動力學(xué)去構(gòu)建馬爾科夫鏈,從而高效地從目標分布中采樣。然而,HMC在樣本自相關(guān)性和多模態(tài)采樣問題上存在明顯的不足。本文的工作是研究基于動力學(xué)的采樣方法,并設(shè)計能夠采樣多模態(tài)分布的高性能的采樣器。首先,為了進一步提高現(xiàn)有動力學(xué)采樣器的性能,即提高收斂速度和降低樣本的自相關(guān)性,本文提出了神經(jīng)郎之萬蒙特卡洛（Neural Networks Langevin Monte Carlo,NNLMC）。它充分利用了神經(jīng)網(wǎng)絡(luò)的靈活性和郎之萬動力學(xué)采樣的高效性來構(gòu)建一種新的MCMC采樣方法。我們提出了新的更新公式來產(chǎn)生... 

【文章來源】：華東師范大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：78 頁

【學(xué)位級別】：碩士

【部分圖文】：

包含單一隱層和單一單元的多層感知機

華東師范大學(xué)碩士學(xué)位論文第三章神經(jīng)郎之萬蒙特卡洛15圖3.1NNLMC的更新過程2111111111111111111,2,,,nnxnnxnnnxnnnnnnxnnnnnnnmfxUxxUxaxUxcmaisxUxcixz，，，，，(3.1)其中“”表示逐個元素相乘，表示離散化的步長，nz是一個標準的高斯分布。1(x)yWRelu(Wx)和2()()sssxyWReluWx，它們分別是由1W、W、2W和sW參數(shù)化的神經(jīng)網(wǎng)絡(luò)，其中y是神經(jīng)網(wǎng)絡(luò)的輸出，Relu表示激活函數(shù)。我們沒有在最后的輸出層使用激活函數(shù)。神經(jīng)網(wǎng)絡(luò)()和s()的結(jié)構(gòu)如圖3.2所示。.圖3.2NNLMC中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖

華東師范大學(xué)碩士學(xué)位論文第三章神經(jīng)郎之萬蒙特卡洛15圖3.1NNLMC的更新過程2111111111111111111,2,,,nnxnnxnnnxnnnnnnxnnnnnnnmfxUxxUxaxUxcmaisxUxcixz，，，，，(3.1)其中“”表示逐個元素相乘，表示離散化的步長，nz是一個標準的高斯分布。1(x)yWRelu(Wx)和2()()sssxyWReluWx，它們分別是由1W、W、2W和sW參數(shù)化的神經(jīng)網(wǎng)絡(luò)，其中y是神經(jīng)網(wǎng)絡(luò)的輸出，Relu表示激活函數(shù)。我們沒有在最后的輸出層使用激活函數(shù)。神經(jīng)網(wǎng)絡(luò)()和s()的結(jié)構(gòu)如圖3.2所示。.圖3.2NNLMC中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖


本文編號：3465714