本文關(guān)鍵詞：監(jiān)督與半監(jiān)督多視角最大熵判別的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：多視角學(xué)習(xí)是近年來機(jī)器學(xué)習(xí)領(lǐng)域的一個研究熱點(diǎn)。在很多現(xiàn)實(shí)應(yīng)用當(dāng)中,數(shù)據(jù)也往往具有多個視角,很多理論和應(yīng)用也證明了多視角學(xué)習(xí)可以改進(jìn)學(xué)習(xí)效果。最大熵判別是基于最大熵和大間隔原理進(jìn)行判別估計的一個通用框架,它是生成式學(xué)習(xí)和判別式學(xué)習(xí)結(jié)合的成功典范,因而可以具備概率建模靈活和判別估計分類性能顯著的優(yōu)點(diǎn)。最大熵判別可以覆蓋機(jī)器學(xué)習(xí)領(lǐng)域受歡迎的大多數(shù)生成式模型。此外,通過一定的假設(shè),它還可以把支持向量機(jī)作為一種特例。但是,目前的最大熵判別還只能處理單視角學(xué)習(xí)的情況無法有效的利用多視角任務(wù)數(shù)據(jù)的多個視角進(jìn)行更為有效的學(xué)習(xí)。而本文正是致力于多視角最大熵判別的研究,最后還把多視角最大熵判別從監(jiān)督學(xué)習(xí)擴(kuò)展到了半監(jiān)督學(xué)習(xí)。本文提出了五種不同的多視角最大熵判別方法。第一種方法名為多視角最大熵判別(Multi-view maximum entropy discrimination, MVMED),假定了兩個視角分類間隔相等,這就意味著從兩個視角得到的分類自信度相同,同時還假定了兩視角分類器參數(shù)與公共間隔變量上的一個聯(lián)合分布。通過這兩個假設(shè),我們設(shè)計了MVMED的優(yōu)化問題模型,并給出了求解定理,還提供了MVMED的一個實(shí)例。第二種方法名為靈活的多視角最大熵判別(Flexible multi-view maximum entropy discrimination, FMVMED),它認(rèn)為MVMED的第二個假定過于嚴(yán)格,代之以對每個視角分類器參數(shù)與公共間隔變量假定一個聯(lián)合分布,并附加一個假定即兩個視角公共間隔變量的后驗(yàn)相等。如此以來,FMVMED對于兩個視角將會有兩個聯(lián)合分布,體現(xiàn)在模型中就是目標(biāo)函數(shù)中有兩個Kullback-Leibler散度,還可以通過一個折衷參數(shù)來平衡兩個視角的重要性,使得FMVMED變得更加靈活。我們也設(shè)計了FMVMED的優(yōu)化問題模型,并對其進(jìn)行推導(dǎo)證明,給出一個分兩步的近似求解方法：第一步先求解不考慮兩個視角公共間隔變量后驗(yàn)相等約束的優(yōu)化問題；第二步求解出第一步之后再考慮兩個視角公共間隔變量后驗(yàn)相等的約束。之后,我們還指出了FMVMED和MVMED, SVM-2K之間的關(guān)系。第三種方法名為多核多視角最大熵判別(Multi-kernel maximum entropy discrimination for multi-view learning, MKMED),它首先利用了線性核組合,然后整合進(jìn)最大熵判別。這是對利用多核學(xué)習(xí)進(jìn)行多視角最大熵判別的一個嘗試。第四種方法名為基于一致性和互補(bǔ)性原則的多視角最大熵判別(Consensus and complementarity based maximum entropy discrimination for multi-view learning, MED-2C),它在特征級上對多視角學(xué)習(xí)的一致性進(jìn)行了建模,首先利用兩個投影矩陣把兩個視角的特征投影進(jìn)一個公共子空間,然后使投影后的特征盡可能相近,以此遵守了一致性原則。此外,我們又通過把投影后的特征利用原始的特征進(jìn)行增廣來考慮了互補(bǔ)性。這樣,我們就得到一個意義豐富的特征增廣表示。然后把這種特征增廣表示整合進(jìn)MED框架并附加一些約束就得到了我們的MED-2C MED-2C充分利用了多視角學(xué)習(xí)中通常遵守的一致性和互補(bǔ)性兩個原則。我們提供了MED-2C的一個實(shí)例及其核版本,還給出了一個輪換優(yōu)化的求解方法。第五種方法名為利用期望拉普拉斯正則化的半監(jiān)督多視角最大熵判別(Semi-supervised multi-view maximum entropy discrimination with expectation laplacian regularization, SMVMED),它與之前的四種方法有所不同,前面四種方法都是監(jiān)督多視角最大熵判別方法,而SMVMED是一種半監(jiān)督多視角最大熵判別方法。它通過整合一個期望拉普拉斯正則化項(xiàng)來利用未標(biāo)注數(shù)據(jù)邊緣分布的信息提高監(jiān)督學(xué)習(xí)性能。我們在多個現(xiàn)實(shí)數(shù)據(jù)集上對提出的四種監(jiān)督多視角最大熵判別方法和一種半監(jiān)督多視角最大熵判別方法進(jìn)行了評估,驗(yàn)證了它們的有效性。
【關(guān)鍵詞】：監(jiān)督學(xué)習(xí) 半監(jiān)督學(xué)習(xí) 最大熵判別 多視角學(xué)習(xí) 大間隔 核方法
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP181
【目錄】：

• 摘要6-8
• Abstract8-17
• 第1章 緒論17-25
• 1.1 研究背景和意義17-19
• 1.2 相關(guān)工作19-23
• 1.2.1 最大熵判別20
• 1.2.2 多視角學(xué)習(xí)20-21
• 1.2.3 多核學(xué)習(xí)21-22
• 1.2.4 流形正則化22-23
• 1.3 本文主要研究內(nèi)容23
• 1.4 論文組織結(jié)構(gòu)23-25
• 第2章 最大熵判別及多視角學(xué)習(xí)簡介25-36
• 2.1 最大熵判別25-31
• 2.1.1 熵與相對熵(KL散度)25-26
• 2.1.2 凸優(yōu)化26-28
• 2.1.3 最大熵判別模型28-30
• 2.1.4 最大熵判別模型求解30-31
• 2.2 多視角學(xué)習(xí)31-35
• 2.2.1 多視角學(xué)習(xí)的原則32-34
• 2.2.2 多視角學(xué)習(xí)的方法34-35
• 2.3 本章小結(jié)35-36
• 第3章 多視角最大熵判別36-48
• 3.1 多視角最大熵判別36-38
• 3.2 多視角最大熵判別的實(shí)例38-43
• 3.2.1 實(shí)例化38-41
• 3.2.2 和SVM-2K的關(guān)系41-43
• 3.3 實(shí)驗(yàn)43-47
• 3.3.1 實(shí)驗(yàn)設(shè)置43
• 3.3.2 數(shù)據(jù)集介紹43-44
• 3.3.3 實(shí)驗(yàn)結(jié)果44-47
• 3.4 本章小結(jié)47-48
• 第4章 靈活的多視角最大熵判別48-68
• 4.1 靈活的多視角最大熵判別48-49
• 4.2 靈活的多視角最大熵判別的求解49-52
• 4.3 靈活的多視角最大熵判別的實(shí)例52-55
• 4.4 FMVMED和MVMED,SVM-2K之間的關(guān)系55-57
• 4.5 實(shí)驗(yàn)57-67
• 4.5.1 實(shí)驗(yàn)分析58-61
• 4.5.2 FMVMED和MVMED,多平面SVM-2K的實(shí)驗(yàn)對比61-64
• 4.5.3 參數(shù)ρ的敏感性分析64-67
• 4.6 本章小結(jié)67-68
• 第5章 多核多視角最大熵判別68-78
• 5.1 前言68-69
• 5.2 核函數(shù)與核組合69-71
• 5.2.1 多核組合方式70
• 5.2.2 多核學(xué)習(xí)方法的求解70-71
• 5.3 利用多核學(xué)習(xí)的多視角最大熵判別71-73
• 5.4 實(shí)驗(yàn)73-77
• 5.4.1 實(shí)驗(yàn)設(shè)置73-75
• 5.4.2 實(shí)驗(yàn)結(jié)果75-77
• 5.5 討論77
• 5.6 本章小結(jié)77-78
• 第6章 基于一致性和互補(bǔ)性原則的多視角最大熵判別78-93
• 6.1 前言78-79
• 6.2 基于一致性和互補(bǔ)性原則的多視角最大熵判別79-81
• 6.3 基于一致性和互補(bǔ)性原則的多視角最大熵判別的實(shí)例81-85
• 6.3.1 MED-2C的實(shí)例81-84
• 6.3.2 MED-2C實(shí)例的求解84-85
• 6.4 實(shí)驗(yàn)85-91
• 6.4.1 人工數(shù)據(jù)集上的實(shí)驗(yàn)及結(jié)果85-86
• 6.4.2 現(xiàn)實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)86-87
• 6.4.3 現(xiàn)實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果87-91
• 6.5 討論91
• 6.6 本章小結(jié)91-93
• 第7章 半監(jiān)督多視角最大熵判別93-105
• 7.1 前言93-94
• 7.2 相關(guān)工作94-95
• 7.2.1 半監(jiān)督多視角學(xué)習(xí)94
• 7.2.2 流形和拉普拉斯正則化94-95
• 7.3 半監(jiān)督多視角最大熵判別95-100
• 7.3.1 期望拉普拉斯正則化95
• 7.3.2 半監(jiān)督多視角最大熵判別95-97
• 7.3.3 半監(jiān)督多視角最大熵判別的實(shí)例和核化97-100
• 7.4 實(shí)驗(yàn)100-103
• 7.4.1 實(shí)驗(yàn)設(shè)置100-101
• 7.4.2 半監(jiān)督多視角與半監(jiān)督單視角及監(jiān)督多視角學(xué)習(xí)的實(shí)驗(yàn)比較101-102
• 7.4.3 半監(jiān)督多視角最大熵判別與其他頂級半監(jiān)督多視角方法的實(shí)驗(yàn)比較102-103
• 7.5 本章小結(jié)103-105
• 第8章 總結(jié)與展望105-108
• 8.1 本文總結(jié)105-107
• 8.1.1 多視角最大熵判別105
• 8.1.2 靈活的多視角最大熵判別105-106
• 8.1.3 多核多視角最大熵判別106
• 8.1.4 基于一致性和互補(bǔ)性的多視角最大熵判別106-107
• 8.1.5 利用期望拉普拉斯正則化的半監(jiān)督多視角最大熵判別107
• 8.2 未來展望107-108
• 參考文獻(xiàn)108-117
• 博士期間的研究成果及發(fā)表的論文117-119
• 致謝11

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 汪洪橋;孫富春;蔡艷寧;陳寧;丁林閣;;多核學(xué)習(xí)方法[J];自動化學(xué)報;2010年08期

  本文關(guān)鍵詞：監(jiān)督與半監(jiān)督多視角最大熵判別的研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：456610