本文選題：高斯過程 + 混合模型�。� 參考：《華東師范大學(xué)》2017年碩士論文

【摘要】：在貝葉斯非參數(shù)框架中,高斯過程是一種常用且功能強(qiáng)大的建模工具,被廣泛應(yīng)用于分類和回歸問題中。為了提高高斯過程的數(shù)據(jù)建模能力和降低模型訓(xùn)練的計(jì)算復(fù)雜度,基于高斯過程混合的模型被相繼提出。然而,這些已有的模型都是基于高斯過程回歸模型,通常用來處理回歸問題。在本文中,我們提出了一個(gè)新的基于無限高斯過程混合的分類模型(infinite mixtures of Gaussian processes based classification model,MGPC)。新的模型采用 logistic 函數(shù)作為似然,使得輸出變量能夠表示數(shù)據(jù)點(diǎn)屬于正負(fù)類別的概率。因此,MGPC更適用于分類問題�；旌蠙�(quán)重服從狄利克雷過程(Dirichlet process,DP),模型具有建模無限多個(gè)混合成分的能力。MGPC采用完全貝葉斯的建模方式,而logistic似然函數(shù)以及DP的引入導(dǎo)致模型的后驗(yàn)分布難以求解。我們?cè)谧兎滞评淼目蚣芟?推導(dǎo)了所有潛變量的近似后驗(yàn)分布的更新算法。為了算法的可行性,我們采用線性高斯過程模型建模每個(gè)混合成分,它是高斯過程的一種等價(jià)的參數(shù)化表達(dá),輸出變量之間具有條件獨(dú)立性。我們使用變分期望最大算法優(yōu)化模型的超參數(shù)。在多個(gè)真實(shí)世界數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示,在與五種常用模型的比較中,MGPC取得了更好的分類性能。我們從多個(gè)角度出發(fā)分析實(shí)驗(yàn)結(jié)果,得到了不同于以往的結(jié)論。在單一高斯過程的分類和回歸模型的比較中,兩者性能沒有明顯差距。而MGPC的性能則顯著地優(yōu)于基于高斯過程混合的回歸模型。最后,我們討論了近似后驗(yàn)分布的截?cái)嗨綄?duì)模型性能的影響,并通過實(shí)驗(yàn)驗(yàn)證了我們的分析。同時(shí),實(shí)驗(yàn)結(jié)果也表明了 MGPC取得更好分類性能的潛力。
[Abstract]:In Bayesian nonparametric framework, Gao Si process is a common and powerful modeling tool, which is widely used in classification and regression problems. In order to improve the data modeling ability of Gao Si process and reduce the computational complexity of model training, the hybrid model based on Gao Si process has been proposed one after another. However, these existing models are based on Gao Si process regression models, which are usually used to deal with regression problems. In this paper, we propose a new classification model (infinite mixtures of Gaussian processes based classification model based on infinite Gao Si process. In the new model, the logistic function is used as the likelihood function, which enables the output variables to represent the probability that the data points belong to the positive and negative categories. Therefore, MGPC is more suitable for classification. The mixed weight is derived from the Dirichlet process DP. The model has the ability to model infinite mixed components. MGPC adopts a complete Bayesian modeling method. However, the introduction of logistic likelihood function and DP makes it difficult to solve the posteriori distribution of the model. In the framework of variational reasoning, we derive an algorithm for updating the approximate posterior distribution of all latent variables. For the feasibility of the algorithm, we use the linear Gao Si process model to model each mixed component, which is an equivalent parameterized expression of the Gao Si process, and the output variables are conditional independent. We use the variational expectation maximum algorithm to optimize the superparameters of the model. Experimental results on several real-world datasets show that MGPC achieves better classification performance compared with five commonly used models. We analyze the experimental results from many angles and get different conclusions. There is no significant difference between the classification and regression models of a single Gao Si process. The performance of MGPC is significantly better than that of mixed regression model based on Gao Si process. Finally, we discuss the effect of the truncation level of the approximate posterior distribution on the performance of the model, and verify our analysis by experiments. At the same time, the experimental results show the potential of MGPC to achieve better classification performance.
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 魏三喜;;基于高斯過程的多元分類方法[J];信息技術(shù);2012年06期

2 呂勝尚;;關(guān)于高斯過程的幾個(gè)問題[J];西北電訊工程學(xué)院學(xué)報(bào);1986年02期

3 喻鑫;柳健;田金文;;基于高斯過程的點(diǎn)匹配方法[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年12期

4 董曉慧;柴桂榮;孟憲春;;一種應(yīng)用稀疏高斯過程回歸模型的半監(jiān)督分類算法[J];電腦知識(shí)與技術(shù);2010年28期

5 傅啟明;劉全;伏玉琛;周誼成;于俊;;一種高斯過程的帶參近似策略迭代算法[J];軟件學(xué)報(bào);2013年11期

6 李宏偉;劉揚(yáng);盧漢清;方亦凱;;結(jié)合半監(jiān)督核的高斯過程分類[J];自動(dòng)化學(xué)報(bào);2009年07期

7 黃麗平;孫永雄;申晨;;用基于中值濾波的高斯過程預(yù)測(cè)3G網(wǎng)絡(luò)性能[J];計(jì)算機(jī)工程與應(yīng)用;2013年02期

8 夏戰(zhàn)國(guó);夏士雄;蔡世玉;萬玲;;類不均衡的半監(jiān)督高斯過程分類算法[J];通信學(xué)報(bào);2013年05期

9 何志昆;劉光斌;趙曦晶;王明昊;;高斯過程回歸方法綜述[J];控制與決策;2013年08期

10 劉輝;白峰杉;;基于混合高斯過程模型的高光譜圖像分類算法[J];高校應(yīng)用數(shù)學(xué)學(xué)報(bào)A輯;2010年04期

相關(guān)會(huì)議論文 前5條

1 劉信恩;肖世富;莫軍;;用于不確定性分析的高斯過程響應(yīng)面模型設(shè)計(jì)點(diǎn)選擇方法研究[A];中國(guó)計(jì)算力學(xué)大會(huì)'2010（CCCM2010）暨第八屆南方計(jì)算力學(xué)學(xué)術(shù)會(huì)議（SCCM8）論文集[C];2010年

2 劉冬;張清華;;基于高斯過程的精密衛(wèi)星鐘差加密[A];第二屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)電子文集[C];2011年

3 李雅芹;楊慧中;;一種基于仿射傳播聚類和高斯過程的多模型建模方法[A];2009中國(guó)過程系統(tǒng)工程年會(huì)暨中國(guó)mes年會(huì)論文集[C];2009年

4 趙級(jí)漢;張國(guó)敬;姜龍;魏巍;;基于疊加高斯過程的數(shù)字噪聲產(chǎn)生方法FPGA實(shí)現(xiàn)[A];第二十四屆全國(guó)空間探測(cè)學(xué)術(shù)交流會(huì)論文摘要集[C];2011年

5 何志昆;劉光斌;姚志成;趙曦晶;;基于高斯過程回歸的FOG標(biāo)度因數(shù)溫度漂移建模新方法[A];第25屆中國(guó)控制與決策會(huì)議論文集[C];2013年

相關(guān)博士學(xué)位論文 前7條

1 王建民;礦山邊坡變形監(jiān)測(cè)數(shù)據(jù)的高斯過程智能分析與預(yù)測(cè)[D];太原理工大學(xué);2016年

2 趙靜;基于高斯過程的動(dòng)態(tài)系統(tǒng)研究[D];華東師范大學(xué);2016年

3 潘偉;基于高斯過程的高爐煉鐵過程辨識(shí)與預(yù)測(cè)[D];浙江大學(xué);2012年

4 賀建軍;基于高斯過程模型的機(jī)器學(xué)習(xí)算法研究及應(yīng)用[D];大連理工大學(xué);2012年

5 夏戰(zhàn)國(guó);基于高斯過程的提升機(jī)軸承性能評(píng)測(cè)方法研究[D];中國(guó)礦業(yè)大學(xué);2013年

6 趙偉;復(fù)雜工程結(jié)構(gòu)可靠度分析的高斯過程動(dòng)態(tài)響應(yīng)面方法研究[D];廣西大學(xué);2014年

7 房晟辰;基于高斯過程回歸及Trust-Tech的短期風(fēng)電功率預(yù)測(cè)方法[D];天津大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 李紅麗;回歸分析中的貝葉斯推斷技術(shù)的研究[D];江南大學(xué);2015年

2 李勵(lì)耘;基于高斯過程的抓取規(guī)劃方法研究[D];哈爾濱工業(yè)大學(xué);2015年

3 王雪茹;基于高斯過程的風(fēng)電機(jī)組部件建模與監(jiān)測(cè)研究[D];華北電力大學(xué);2015年

4 于立鑫;基于高斯過程—差異進(jìn)化算法的隧道施工多元信息反分析研究[D];大連海事大學(xué);2015年

5 戈財(cái)若;基于高斯過程的高光譜圖像分類算法研究[D];東華理工大學(xué);2015年

6 張棟;基于在線學(xué)習(xí)高斯過程有桿泵油井動(dòng)態(tài)液面建模方法研究[D];東北大學(xué);2014年

7 王奉偉;改進(jìn)的局部均值分解和高斯過程在變形監(jiān)測(cè)數(shù)據(jù)處理中的應(yīng)用研究[D];東華理工大學(xué);2016年

8 曹瑜;基于高斯過程的非線性不確定延遲系統(tǒng)的模型預(yù)測(cè)控制[D];華中科技大學(xué);2014年

9 張莉萍;基于廣義高斯過程回歸的函數(shù)型數(shù)據(jù)分析[D];東南大學(xué);2016年

10 王歡;基于逆高斯過程的退化數(shù)據(jù)分析與試驗(yàn)設(shè)計(jì)[D];東南大學(xué);2016年

，

本文編號(hào)：2055409