變分推斷是一種用于逼近概率模型后驗分布的機器學習技術。重參數(shù)化技術是目前最常用的變分推斷梯度估計技術,然而其只能應用于少數(shù)參數(shù)分布族,如具有位置參數(shù)和尺度參數(shù)的概率分布族。雖然有一些研究工作推廣了重參數(shù)化技術,使其能夠處理諸如伽瑪分布、狄利克雷分布等較為復雜的概率分布,但是這些方法難以自然地推廣到多元分布上。本文對多元變分分布的變分優(yōu)化問題開展了研究,重點針對多元變分分布和流體運動的相似性,進行了三個方面的工作,主要內容如下:(1)通過將變分分布和流體運動進行對比,提出了變分分布的概率流模型,并通過該模型對重參數(shù)化技術進行了分析,發(fā)現(xiàn)在概率流的觀點下,重參數(shù)化技術和選取的標準化變換是無關的,所有的標準化變換都導致了相同的速度場,并證明了該速度場是連續(xù)性方程的一個特解;(2)基于概率流的速度場提出了三種不同形式的梯度——零流量梯度、修正全梯度和流增量梯度,而且通過流增量梯度分析了速度場和流增量的大小與梯度估計方差的關聯(lián),并證明了,隨著速度場和流增量L2范數(shù)的增大,梯度估計的方差也會變大,最終趨向無窮;(3)基于零流量梯度的形式提出了基于多項式的概率流梯度估計子,并且針對可分解分布給出了該梯...

【文章頁數(shù)】：63 頁

【學位級別】：碩士

【部分圖文】：

圖5-1有均勻先驗的多項分布似然的狄利克雷分布逼近結果

浙江大學碩士學位論文第5章實驗與分析39圖5-1有均勻先驗的多項分布似然的狄利克雷分布逼近結果表5-1有均勻先驗的多項分布似然的狄利克雷分布逼近結果A1.00001.23001.45001.67001.8900G-REP3302.85032742.90511359.4979130....

圖5-3Olivettifaces實驗結果

浙江大學碩士學位論文第5章實驗與分析42SparseGammaDEF模型，是的先驗分布；對于給定的，可以通過方程(22)計算似然。需要注意的是，隱狀態(tài)的維度是和觀察的數(shù)量成正比的。本節(jié)保持和Naesseth等人[23]相同的實驗參數(shù)設置：在SparseGammaDEF模型(22)....

本文編號：4007822