本文選題：U-過程 + 集中不等式��； 參考：《華中科技大學(xué)》2015年博士論文

【摘要】：偏序?qū)W習(xí)和排序?qū)W習(xí)在機(jī)器學(xué)習(xí)、信息檢索領(lǐng)域受到廣泛的關(guān)注,在統(tǒng)計學(xué)習(xí)理論的框架下,我們基于U-過程的理論,對偏序?qū)W習(xí)和排序?qū)W習(xí)進(jìn)行推廣性的分析。 本文面向兩個緊密相連的研究領(lǐng)域：一是U-過程的最大值集中不等式,二是學(xué)習(xí)算法的推廣性能的界。 集中不等式描述一個隨機(jī)變量是否集中在某個數(shù)值(如數(shù)學(xué)期望)附近。在統(tǒng)計學(xué)習(xí)理論中,一個主要的數(shù)學(xué)工具就是集中不等式,經(jīng)驗(yàn)過程的集中不等式廣泛的應(yīng)用在學(xué)習(xí)算法的收斂速率的研究中。而一些學(xué)習(xí)問題又可以歸結(jié)到U-統(tǒng)計的表達(dá)形式。這樣促使我們研究U-過程最大值的集中不等式。U-過程與經(jīng)驗(yàn)過程緊既有區(qū)別又有聯(lián)系,這種緊密的聯(lián)系使我們自然地想到用來證明經(jīng)驗(yàn)過程的熵方法也能夠用來證明U-過程。區(qū)別是U-過程具有弱的相關(guān)結(jié)構(gòu),所以我們使用退耦的技巧來分解這種復(fù)雜的結(jié)構(gòu)。 在本文中我們的主要貢獻(xiàn)和創(chuàng)新點(diǎn)如下： 首先,我們給出了三種類型的集中不等式： ·關(guān)于非退化核的集中不等式, ·關(guān)于退化核的集中不等式, ·關(guān)于相關(guān)隨機(jī)變量的集中不等式。前兩個是關(guān)于U-過程的,其實(shí)當(dāng)我們把這種弱相關(guān)整體看成一個泛函時,這樣仍然可以當(dāng)做獨(dú)立同分布的情形來證明,只是在證明過程中使用退耦不等式來分解這種非獨(dú)立的結(jié)構(gòu)。在證明第一個不等式時,我們分成了兩步,先是證明非負(fù)核的U-過程的集中不等式,然后證明有界的核。我們使用非退化的不等式的研究了逐對損失的學(xué)習(xí)問題。第二個不等式的證明更復(fù)雜一些,我們證明的結(jié)果和經(jīng)驗(yàn)過程有相同的結(jié)構(gòu)。第三個是非獨(dú)立的隨機(jī)變量的泛函,可以看作是圖上的數(shù)據(jù),每一個隨機(jī)變量是圖的頂點(diǎn),我們借助于分?jǐn)?shù)覆蓋的理論,把非獨(dú)立的隨機(jī)變量,分解成一些塊的和,而每一塊是獨(dú)立同分布的隨機(jī)變量之和,結(jié)合已有的結(jié)果和染色數(shù)的概念,我們就得到了非獨(dú)立的集中不等式。此外,我們還推廣了自有界函數(shù)的結(jié)構(gòu),定義了推廣的自有界函數(shù),并且給出了一個集中不等式。 第二個是學(xué)習(xí)算法的推廣性能的界。集中不等式和統(tǒng)計學(xué)習(xí)緊密的相連,二階的U-過程是適用于逐對的損失的學(xué)習(xí)問題。在本文中我們主要集中于偏序?qū)W習(xí)和排序?qū)W習(xí),采用兩種分割假設(shè)空問的方法,一是基于相對風(fēng)險的分割,二是基于方差的分割。 采用我們新證明的不等式,應(yīng)用到逐點(diǎn)損失學(xué)習(xí),不同于已有的文獻(xiàn)。在已有的結(jié)果中,作者采用了先把U-過程進(jìn)行分解,然后分別用經(jīng)驗(yàn)過程理論和退化的U-過程來界定。而我們的方法是統(tǒng)一的進(jìn)行處理,然后再分解然后分別用Rademacher復(fù)雜度和Rademacher chaos復(fù)雜度來界定。這樣做的好處是,對于基于U-過程的不同的經(jīng)驗(yàn)風(fēng)險最小化的學(xué)習(xí)問題,我們主要研究其損失函數(shù)的不同。我們分別提供了偏序?qū)W習(xí)的樣本誤差的上界和帶懲罰的MP排序的風(fēng)險的界。
[Abstract]:In the field of machine learning and information retrieval, partial order learning and ranking learning are paid more and more attention. Under the framework of statistical learning theory, we analyze the generalization of partial order learning and ranking learning based on U- process theory.This paper focuses on two closely connected research areas: one is the inequality of the maximum set of U- processes and the other is the bound of the generalized performance of the learning algorithm.A set inequality describes whether a random variable is concentrated near a numerical value, such as mathematical expectation.In statistical learning theory, one of the main mathematical tools is lumped inequality, which is widely used in the study of convergence rate of learning algorithm.Some learning problems can be attributed to the expression of U- statistics.This leads us to study the set inequality of the maximum value of U- process. U- process and empirical process are closely related and different. This close relation makes us naturally think that the entropy method used to prove the empirical process can also be used to prove the U- process.The difference is that U- processes have weak correlation structures, so we use decoupling techniques to decompose this complex structure.Our main contributions and innovations in this article are as follows:First, we give three types of set inequalities:On the set inequalities of nondegenerate kernels,On inequalities in sets of degenerate kernels,On the set inequality of correlated random variables.The first two are about U- processes, but when we look at this weakly correlated whole as a functional, we can still prove it as a case of independent co-distribution.It is only in the process of proof that decoupling inequalities are used to decompose this non-independent structure.When we prove the first inequality, we divide it into two steps: first, we prove the set inequality of the U-process with non-negative kernel, then we prove the bounded kernel.We study the learning problem of pair by pair loss by using nondegenerate inequalities.The proof of the second inequality is more complicated. The result of our proof has the same structure as the empirical process.The third is the functional of the dependent random variable, which can be regarded as the data on the graph, and each random variable is the vertex of the graph. We decompose the non-independent random variable into the sum of some blocks with the help of the fractional covering theory.And each block is the sum of random variables with independent and same distribution. Combined with the existing results and the concept of coloring number, we obtain an independent set inequality.In addition, we generalize the structure of the self-bounded function, define the generalized self-bounded function, and give a set inequality.The second is the bound of the generalized performance of the learning algorithm.Set inequality is closely related to statistical learning. Second order U- process is suitable for pair by pair loss learning problem.In this paper, we mainly focus on partial order learning and ranking learning. We use two segmentation methods, one is based on relative risk and the other is based on variance.By using our newly proved inequality, we apply it to point by point loss learning, which is different from the existing literature.In the existing results, the U- process is first decomposed and then defined by the empirical process theory and the degenerate U- process, respectively.Our method is unified, then decomposed and then defined by Rademacher complexity and Rademacher chaos complexity respectively.The advantage of this is that we mainly study the difference of loss function for different empirical risk minimization problems based on U- process.We provide the upper bound of the sample error of partial order learning and the bound of the risk of MP ordering with penalty, respectively.
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李文海;學(xué)習(xí),世紀(jì)之交的呼喚[J];采.寫.編;1999年01期

2 姜永平;網(wǎng)絡(luò)環(huán)境下的學(xué)習(xí)[J];中國青年科技;2004年09期

3 程智;網(wǎng)絡(luò)教育中建構(gòu)主義學(xué)習(xí)理論的運(yùn)用[J];廣州大學(xué)學(xué)報(社會科學(xué)版);2002年11期

4 胡秋梅;;簡析建構(gòu)主義學(xué)習(xí)理論在多媒體教學(xué)中的實(shí)踐應(yīng)用[J];教育與職業(yè);2004年28期

5 陳明選;基于建構(gòu)主義學(xué)習(xí)理論下的網(wǎng)絡(luò)教育觀[J];教育信息化;2004年12期

6 王婧;淺談學(xué)習(xí)理論在網(wǎng)絡(luò)教育中的應(yīng)用[J];黑龍江教育學(xué)院學(xué)報;2005年05期

7 雷敏;;淺談建構(gòu)主義學(xué)習(xí)理論指導(dǎo)下的多媒體教學(xué)[J];赤峰學(xué)院學(xué)報(自然科學(xué)版);2006年06期

8 丁新;;主持人語:積極推進(jìn)適應(yīng)網(wǎng)絡(luò)時代的學(xué)習(xí)理論研究[J];廣東廣播電視大學(xué)學(xué)報;2010年03期

9 楊強(qiáng);;基于建構(gòu)主義的網(wǎng)絡(luò)課程的設(shè)計研究[J];科技信息;2012年02期

10 R.C.Schank;張曉東;董稚明;;學(xué)習(xí)之我見[J];計算機(jī)科學(xué);1989年05期

相關(guān)會議論文 前10條

1 楊靜萍;;教師角色的轉(zhuǎn)變與學(xué)習(xí)理論的學(xué)習(xí)[A];第四屆全國中學(xué)化學(xué)教學(xué)研討會論文集（一）[C];2004年

2 侯維芝;呂鑫祥;;基于建構(gòu)主義學(xué)習(xí)理論的高職教育教學(xué)設(shè)計[A];中國職業(yè)技術(shù)教育學(xué)會2006年學(xué)術(shù)年會論文集[C];2006年

3 王華容;;現(xiàn)代建構(gòu)主義學(xué)習(xí)理論的困惑[A];第十屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2005年

4 武杰;;特殊教育實(shí)踐對幾種學(xué)習(xí)理論的檢驗(yàn)及其分析[A];第九屆全國心理學(xué)學(xué)術(shù)會議文摘選集[C];2001年

5 王志遠(yuǎn);陳作珊;;重溫陳云《學(xué)習(xí)是共產(chǎn)黨員的責(zé)任》[A];陳云和他的事業(yè)——陳云生平與思想研討會論文集（下）[C];1995年

6 艾辛;;和青年朋友談治學(xué)[A];忘年交書簡五十封[C];2007年

7 陳勇;鄭東;;陳云有關(guān)學(xué)習(xí)論述的啟示[A];陳云百周年紀(jì)念-全國陳云生平和思想研討會論文集（中）[C];2005年

8 周婷;;如何發(fā)揮好預(yù)習(xí)在小學(xué)高年段數(shù)學(xué)學(xué)習(xí)中的作用——實(shí)證研究報告[A];江蘇省教育學(xué)會2006年年會論文集（理科專輯）[C];2006年

9 吳思為;伍新春;;從建構(gòu)主義到復(fù)雜科學(xué)[A];第十二屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2009年

10 王光龍;;略論毛澤東民主革命時期的學(xué)習(xí)思想[A];紀(jì)念《教育史研究》創(chuàng)刊二十周年論文集（2）——中國教育思想史與人物研究[C];2009年

相關(guān)重要報紙文章 前10條

1 記者 周波;市委辦機(jī)關(guān)黨員學(xué)習(xí)十七大精神[N];桂林日報;2007年

2 張斌;學(xué)習(xí)實(shí)踐活動要解決“形而象”的問題[N];赤峰日報;2010年

3 定陶二中 蔡玲;如何激發(fā)學(xué)生學(xué)習(xí)化學(xué)的興趣[N];學(xué)知報;2011年

4 湖南省委建設(shè)學(xué)習(xí)型黨組織辦公室主任 肖君華;“學(xué)習(xí)大國”的理論特質(zhì)與實(shí)踐意義[N];光明日報;2014年

5 張正華;學(xué)習(xí)是一種責(zé)任[N];沈陽日報;2004年

6 鄒仕樘;勤奮學(xué)習(xí)應(yīng)成為政協(xié)工作者首要之責(zé)[N];光華時報;2006年

7 特約記者 崔孝宗 裴文華;天水國稅中心組學(xué)習(xí)做到“五保證”[N];甘肅經(jīng)濟(jì)日報;2006年

8 郭春秋;讓學(xué)習(xí)常態(tài)化[N];戰(zhàn)士報;2008年

9 ;黨員干部要牢固樹立終身學(xué)習(xí)的理念[N];組織人事報;2008年

10 劉力 菏澤市立醫(yī)院;新形勢下更需要學(xué)習(xí)[N];菏澤日報;2009年

相關(guān)博士學(xué)位論文 前6條

1 任傳寶;U-過程集中不等式及其在學(xué)習(xí)理論中的應(yīng)用[D];華中科技大學(xué);2015年

2 劉菊;關(guān)聯(lián)主義學(xué)習(xí)理論及其視角下的教與學(xué)組織研究[D];東北師范大學(xué);2011年

3 魏晶;外語學(xué)習(xí)者計算機(jī)網(wǎng)絡(luò)生態(tài)環(huán)境優(yōu)化研究[D];上海外國語大學(xué);2012年

4 馮云龍;統(tǒng)計學(xué)習(xí)理論中基于核的算法研究[D];中國科學(xué)技術(shù)大學(xué);2012年

5 李麗;追尋學(xué)習(xí)的生存論意義[D];華東師范大學(xué);2007年

6 曹揚(yáng);基于博弈與學(xué)習(xí)理論的無線網(wǎng)絡(luò)自組織策略與算法研究[D];華中科技大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 陳倩;基于深度學(xué)習(xí)理論的教學(xué)法的研究[D];上海師范大學(xué);2015年

2 李賢慧;基于稀疏學(xué)習(xí)的專家列表排序?qū)W習(xí)方法研究[D];昆明理工大學(xué);2015年

3 唐莉蓉;美國成人轉(zhuǎn)化學(xué)習(xí)理論發(fā)展研究[D];西南大學(xué);2015年

4 季烈;農(nóng)村留守兒童身份認(rèn)同和英語學(xué)習(xí)的調(diào)查研究[D];沈陽師范大學(xué);2014年

5 張旭;基于生活化學(xué)習(xí)理論的成長記錄袋網(wǎng)站設(shè)計與研究[D];貴州師范大學(xué);2015年

6 高樹勇;外來務(wù)工者子女的學(xué)習(xí)問題與教育策略[D];內(nèi)蒙古師范大學(xué);2015年

7 陸春梅;服務(wù)—學(xué)習(xí)理論在我國高校實(shí)踐育人中的有效運(yùn)用研究[D];華中師范大學(xué);2015年

8 張竣堯;建構(gòu)主義學(xué)習(xí)理論指導(dǎo)下的語文教學(xué)研究[D];貴州師范大學(xué);2014年

9 詹曉梅;建構(gòu)主義學(xué)習(xí)理論運(yùn)用于田徑技術(shù)教學(xué)的實(shí)驗(yàn)研究[D];江西師范大學(xué);2005年

10 姚銳;關(guān)于技術(shù)與學(xué)習(xí)理論互動關(guān)系的研究[D];廣西師范大學(xué);2007年

，

本文編號：1752350