本文關(guān)鍵詞： 概率圖 正則化 凸分析 歸約原理 梯度對偶 概率空間　出處：《浙江大學(xué)》2017年博士論文　論文類型：學(xué)位論文

【摘要】：概率圖模型(Graphical Model.Probabilistic Graphical Model)是一種結(jié)合概率論和圖論,通過表示局部直接關(guān)聯(lián)的條件概率刻畫系統(tǒng)的有效工具,以其直觀易懂的特點(diǎn)在數(shù)據(jù)處理中被廣泛使用。然而隨著概率節(jié)點(diǎn)的增多,系統(tǒng)的總體分析變得困難,推理通常也比較復(fù)雜。本文在正則化框架下,以凸分析為研究二具,研究監(jiān)督、半監(jiān)督和非監(jiān)督情形下的概率圖模型,形式化的目標(biāo)函數(shù)簡單,從而能夠?qū)С龈咝У耐评硭惴?并且監(jiān)督、半監(jiān)督以及非監(jiān)督之間的關(guān)系自然演進(jìn),能夠統(tǒng)一在本文提供的正則化框架下;此外,設(shè)計(jì)在線算法求解正則化優(yōu)化問題,能很好地平衡概率圖模型的推理計(jì)算開銷和泛化性能。我們首先研究多分類學(xué)習(xí),設(shè)計(jì)的貝葉斯分類器的核心節(jié)點(diǎn)為輸入樣本特征賦予概率,標(biāo)簽和特征通過該概率賦值建立聯(lián)系。基于對最大對數(shù)似然邏輯建立的優(yōu)化問題進(jìn)行分析,我們設(shè)計(jì)了計(jì)算開銷極小的學(xué)習(xí)和預(yù)測方法,實(shí)驗(yàn)還證明該貝葉斯分類器在預(yù)測準(zhǔn)確性和泛化性上都優(yōu)于傳統(tǒng)的多分類方法。我們的貝葉斯分類器兼具簡單易懂、計(jì)算復(fù)雜性小、預(yù)測準(zhǔn)確等優(yōu)點(diǎn)。在半監(jiān)督學(xué)習(xí)部分,我們設(shè)計(jì)了兩個(gè)處理方法。第一個(gè)利用監(jiān)督學(xué)習(xí)中貝葉斯分類器使用在線算法進(jìn)行學(xué)習(xí),且具有較快收斂速度和較好泛化性能的優(yōu)點(diǎn),讓貝葉斯分類器為無標(biāo)簽數(shù)據(jù)預(yù)測類型標(biāo)簽,并將預(yù)測的類型標(biāo)簽和無標(biāo)簽數(shù)據(jù)組合在一起,用于訓(xùn)練。該方法是一個(gè)典型的探索-利用(Exploration-Exploitation)過程。第二個(gè)通過對貝葉斯分類器目標(biāo)函數(shù)的分析,將之對應(yīng)上以LogSumExp為目標(biāo)函數(shù)的帶約束優(yōu)化問題,約束部分與類型標(biāo)簽有關(guān),從而導(dǎo)出用LogSumExp處理元標(biāo)簽數(shù)據(jù)的基本框架,用于度量參數(shù)與特征數(shù)據(jù)結(jié)合的一致性。我們導(dǎo)出的這個(gè)框架能夠覆蓋k平均(k-means)方法,區(qū)別在于我們的模型基于乘積連接模型參數(shù)和無標(biāo)簽數(shù)據(jù),而經(jīng)典k-means使用L2距離。雖然我們在半監(jiān)督學(xué)習(xí)中導(dǎo)出LogSumExp,但是需要說明的是該方法也可以用于非監(jiān)督學(xué)習(xí)。LDA(Latent Dirichlet Allocation)和HDP(Hierarchical Dirichlet Processes)是經(jīng)典的無監(jiān)督自然語言處理模型。它的概率圖描述中包含了大量與文本(甚至文本單詞)關(guān)聯(lián)的、需要進(jìn)行優(yōu)化處理的節(jié)點(diǎn);這些節(jié)點(diǎn)描述概率圖的局部條件依賴關(guān)系,缺少簡單的整體性形式化優(yōu)化問題定義,導(dǎo)致難以檢測其合理性。在無監(jiān)督學(xué)習(xí)部分,我們將LDA和HDP模型歸約為正則優(yōu)化問題。本文理論上的主要貢獻(xiàn)包括:1.用LogSumExp處理無標(biāo)簽數(shù)據(jù)。我們對貝葉斯分類器處理標(biāo)記數(shù)據(jù)的目標(biāo)函數(shù)進(jìn)行分析,導(dǎo)出了其具有定義Fenchel共軛函數(shù)使用的優(yōu)化問題目標(biāo)函數(shù)的形式;通過對約束優(yōu)化問題和Fenchel共軛定義的關(guān)聯(lián),提取約束優(yōu)化問題目標(biāo)函數(shù)部分LogSumExp,將此作為處理非監(jiān)督數(shù)據(jù)的框架。LogSumExp的導(dǎo)數(shù)為模型各個(gè)類型賦予不同的權(quán)重,以實(shí)現(xiàn)無類型標(biāo)記時(shí)對學(xué)習(xí)的引導(dǎo)。2.將凸分析的對偶原理用于正則優(yōu)化問題導(dǎo)出歸約原理。歸約原理將只含有一個(gè)優(yōu)化元的正則化優(yōu)化問題等價(jià)于包含多個(gè)變元的對偶問題,并且建立兩個(gè)問題優(yōu)化元間的關(guān)系式�；跉w約原理,我們認(rèn)識到模型中與序列有關(guān)的變元對應(yīng)著只含一個(gè)參數(shù)優(yōu)化問題的梯度,從而與大量序列變元有關(guān)的優(yōu)化問題變成少量變元的優(yōu)化問題。歸約原理是建立概率圖模型正則優(yōu)化問題視圖的基礎(chǔ),它也導(dǎo)出了任務(wù)"定義正則優(yōu)化問題,以使得數(shù)據(jù)項(xiàng)梯度與給定概率圖模型一致"。3.共輒函數(shù)定義對應(yīng)一個(gè)優(yōu)化問題,我們建立從共軛函數(shù)輸入(對應(yīng)優(yōu)化問題參數(shù))到優(yōu)化問題解的映射�；贔enchel不等式和共軛雙射性,在函數(shù)嚴(yán)格凸時(shí),我們得到從優(yōu)化問題參數(shù)到優(yōu)化問題極值的雙射視圖,在其中發(fā)揮作用的是原函數(shù)和共軛函數(shù)的梯度。因?yàn)樘荻仍陉P(guān)聯(lián)參數(shù)和極值的重要作用,我們將這個(gè)性質(zhì)稱為梯度對偶原理。梯度對偶是我們定義正則優(yōu)化問題正則項(xiàng)的理論基礎(chǔ)。4.概率空間及其對偶空間。概率單純形是概率圖中的重要部件,在正則優(yōu)化處理中需要處理參數(shù)和梯度(互為梯度對偶關(guān)系)的變換。通過對函數(shù)定義域結(jié)構(gòu)的分析,使不能直接使用的梯度對偶原理在共軛函數(shù)P∈概率單純形.log(P)和LogSumExp上成立,并將這兩個(gè)共軛函數(shù)作為度量建立概率空間及其對偶空間。此外,我們通過LDA正則優(yōu)化問題在線解法的分析,導(dǎo)出了概率空間的加和代數(shù)系統(tǒng)。
[Abstract]:In this paper , we design two processing methods based on the analysis of the objective function of the Bayesian classifier . The second pass the analysis of the objective function of the Bayesian classifier . It also proves that the Bayesian classifier is better than the traditional multi - classification method . In this paper , we propose a method to solve the problem of optimization problem . Based on the principle of convergence , we get a two - shot view of the optimization problem of the optimization problem .

【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：O174.13;O211

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王文毅,李柱;失效分布類型的概率圖模糊判別[J];華中工學(xué)院學(xué)報(bào);1988年01期

2 R.M.Morris;曾曉梅;;數(shù)值概率在天氣預(yù)報(bào)中的應(yīng)用[J];氣象科技;1993年01期

3 岳昆;王朝祿;朱運(yùn)磊;武浩;劉惟一;;基于概率圖模型的互聯(lián)網(wǎng)廣告點(diǎn)擊率預(yù)測[J];華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年03期

4 ;危害后季稻的秋季低溫預(yù)報(bào)方法[J];大氣科學(xué);1977年03期

5 徐瑾;岳昆;錢文華;張學(xué)杰;;一種基于概率圖模型的研究生生源質(zhì)量評價(jià)方法[J];云南大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年S2期

6 張郢珍,張立人,粟生平,李志雄;地殼極限應(yīng)變與危險(xiǎn)區(qū)強(qiáng)震發(fā)生的概率估計(jì)[J];中國地震;1991年02期

7 孫山澤,謝雨平;如何確定決策問題中結(jié)局的概率[J];數(shù)理統(tǒng)計(jì)與管理;1996年05期

8 楊關(guān);馮國燦;陳偉福;羅志宏;;基于概率圖模型的圖像紋理模型[J];中山大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年02期

9 蔡鵬飛;岳昆;李雪;劉惟一;;一種基于概率圖模型的關(guān)聯(lián)規(guī)則更新方法[J];云南大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年02期

10 謝彬;;遇到當(dāng)天出生的人的概率的準(zhǔn)確計(jì)算[J];陜西教育(高教版);2009年02期

相關(guān)會議論文 前6條

1 文振q;朱為總;歐陽杰;羅威;;基于無向概率圖模型的視頻語義狀態(tài)建模[A];圖像圖形技術(shù)研究與應(yīng)用2009——第四屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2009年

2 蘇從勇;莊越挺;黃麗;吳飛;;基于概率圖模型的人臉多特征跟蹤[A];全國第13屆計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)（CAD/CG）學(xué)術(shù)會議論文集[C];2004年

3 黎海恩;劉建偉;羅雄麟;;概率圖模型的變分近似推理[A];2013年中國智能自動化學(xué)術(shù)會議論文集（第四分冊）[C];2013年

4 王源;岳昆;方啟宇;劉惟一;;CloudBN:基于云計(jì)算的概率圖模型學(xué)習(xí)系統(tǒng)[A];第29屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（B輯）（NDBC2012）[C];2012年

5 張領(lǐng)強(qiáng);張怡;王勇軍;;一種基于攻擊概率的攻擊圖分級方法[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

6 朱青;王珊;常利軍;;基于概率學(xué)習(xí)導(dǎo)航的分布式信息查詢[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（一）[C];2008年

相關(guān)博士學(xué)位論文 前7條

1 胡桃成;凸分析在概率圖模型中的應(yīng)用[D];浙江大學(xué);2017年

2 石東昱;適合分布計(jì)算環(huán)境不確定性處理的概率圖模型若干問題研究[D];上海交通大學(xué);2006年

3 孫建中;面向圖像處理的概率圖模型應(yīng)用研究[D];重慶大學(xué);2013年

4 趙安平;基于概率圖模型的服務(wù)語義鏈網(wǎng)絡(luò)研究[D];西南大學(xué);2011年

5 段琳琳;通信系統(tǒng)中基于概率圖模型的迭代接收技術(shù)研究[D];鄭州大學(xué);2014年

6 劉志磊;概率圖模型在情感計(jì)算中的應(yīng)用研究[D];中國科學(xué)技術(shù)大學(xué);2014年

7 門衛(wèi)偉;中西方人腦形態(tài)學(xué)研究與大樣本中國人腦模板構(gòu)建[D];華東師范大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 方文周;基于概率邊界的多層次顯著性檢測算法研究[D];深圳大學(xué);2015年

2 王朋函;基于概率圖的三支決策模型及其應(yīng)用研究[D];河南師范大學(xué);2015年

3 陸希晨;基于概率圖模型的優(yōu)化算法研究[D];青島大學(xué);2016年

4 蔡波;基于概率圖模型的目標(biāo)跟蹤算法研究[D];南京航空航天大學(xué);2016年

5 楊文明;鏈?zhǔn)录䦂D的推理和學(xué)習(xí)[D];西安電子科技大學(xué);2015年

6 朱鵬;基于概率圖模型的視覺目標(biāo)跟蹤算法研究[D];福建師范大學(xué);2016年

7 李禎孝;視覺特征分析的概率圖模型方法[D];上海交通大學(xué);2010年

8 黃其旺;基于改進(jìn)概率圖的多無人機(jī)協(xié)同搜索策略研究[D];國防科學(xué)技術(shù)大學(xué);2012年

9 高龍;基于概率圖模型的變分貝葉斯方法研究[D];蘇州大學(xué);2013年

10 張靜;異構(gòu)網(wǎng)絡(luò)的概率圖建模及其在檢索中的應(yīng)用[D];清華大學(xué);2009年

，

本文編號：1496452