本文關(guān)鍵詞：基于不同罰函數(shù)約束偏最小二乘的應(yīng)用研究

  更多相關(guān)文章： 偏最小二乘回歸 正則化 交叉驗(yàn)證 罰函數(shù)

【摘要】：隨著科技的發(fā)展,高維數(shù)據(jù)的處理問(wèn)題越來(lái)越吸引人們的眼球,在分析高維數(shù)據(jù)的過(guò)程中將會(huì)產(chǎn)生各種各樣的問(wèn)題,如變量多樣本少的情況下,采用傳統(tǒng)的多元統(tǒng)計(jì)方法處理數(shù)據(jù)會(huì)出現(xiàn)過(guò)度擬合的現(xiàn)象,因此傳統(tǒng)的多元統(tǒng)計(jì)方法已經(jīng)不能解決目前所面臨的難題.偏最小二乘回歸方法雖然能解決變量多樣本少的情況,但是它不會(huì)對(duì)變量進(jìn)行選擇.如果能夠找到方法使得一些不重要的變量的系數(shù)壓縮為零,只挑選出重要的變量,達(dá)到變量選擇的目的的同時(shí)可以使預(yù)測(cè)誤差達(dá)到最小,對(duì)于高維數(shù)據(jù)的處理問(wèn)題來(lái)說(shuō)將具有非常重要的意義.因此,本文主要做了以下研究:第一部分主要介紹了研究背景、研究目的及意義以及國(guó)內(nèi)外對(duì)改進(jìn)偏最小二乘算法的研究.第二部分介紹了多元線性回歸模型的原理及其性質(zhì),探討了約束最小二乘的幾種罰函數(shù):嶺回歸罰、LASSO罰、彈性網(wǎng)罰、SCAD罰及其算法,以及參數(shù)選擇進(jìn)行了詳細(xì)的研究,同時(shí)介紹了偏最小二乘的建模步驟及主成分個(gè)數(shù)的選擇問(wèn)題.第三部分通過(guò)對(duì)偏最小二乘回歸進(jìn)行改進(jìn),在其建模的過(guò)程中上加入三種不同的罰函數(shù):LASSO罰、彈性網(wǎng)罰、SCAD罰,并對(duì)其算法進(jìn)行研究,同時(shí)通過(guò)真實(shí)的玉米粒的光照數(shù)據(jù)對(duì)三種算法進(jìn)行比較研究,得出LASSO罰約束偏最小二乘的回歸方法優(yōu)于其它兩種罰函數(shù)約束偏最小二乘的回歸方法.第四部分探討了基于凸約束的偏最小二乘回歸算法,我們引入一個(gè)正規(guī)化的框架來(lái)改進(jìn)算法,通過(guò)求解一個(gè)放松的SIMPLS懲罰來(lái)優(yōu)化問(wèn)題,對(duì)正則化的偏最小二乘的步驟及算法進(jìn)行了研究,最后,以靈敏度和特異性作為評(píng)價(jià)標(biāo)準(zhǔn),通過(guò)模擬數(shù)據(jù)來(lái)對(duì)其進(jìn)行比較研究,結(jié)果表明,凸約束偏最小二乘算法明顯優(yōu)于其它幾種方法.
【關(guān)鍵詞】：偏最小二乘回歸 正則化 交叉驗(yàn)證 罰函數(shù)
【學(xué)位授予單位】：長(zhǎng)沙理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：O212.1
【目錄】：

• 摘要5-6
• Abstract6-10
• 第一章 緒論10-15
• 1.1 研究背景及意義10-11
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀11-13
• 1.2.1 國(guó)外研究現(xiàn)狀11-12
• 1.2.2 國(guó)內(nèi)研究現(xiàn)狀12-13
• 1.3 本文主要的研究?jī)?nèi)容13-15
• 第二章 回歸分析方法15-33
• 2.1 線性回歸分析15-19
• 2.1.1 多元線性回歸模型15-16
• 2.1.2 最小二乘估計(jì)16-17
• 2.1.3 復(fù)共線性問(wèn)題17-19
• 2.2 罰約束最小二乘回歸19-28
• 2.2.1 嶺回歸罰19-21
• 2.2.2 LASSO罰21-23
• 2.2.3 SCAD罰23-24
• 2.2.4 彈性網(wǎng)罰24-28
• 2.3 偏最小二乘回歸28-32
• 2.3.1 偏最小二乘回歸的計(jì)算方法28-30
• 2.3.2 交叉驗(yàn)證30-32
• 2.4 小結(jié)32-33
• 第三章 罰約束偏最小二乘回歸算法及其實(shí)證分析33-44
• 3.1 奇異值分解33
• 3.2 偏最小二乘奇異值分解33-34
• 3.3 罰約束偏最小二乘回歸34-38
• 3.3.1 LASSO罰約束偏最小二乘算法34-35
• 3.3.2 彈性網(wǎng)罰約束偏最小二乘算法35-36
• 3.3.3 SCAD罰約束偏最小二乘算法36-38
• 3.4 實(shí)證分析38-43
• 3.4.1 實(shí)驗(yàn)數(shù)據(jù)38-39
• 3.4.2 實(shí)證結(jié)果分析39-43
• 3.5 小結(jié)43-44
• 第四章 基于凸約束的偏最小二乘回歸算法及其模擬分析44-55
• 4.1 凸約束偏最小二乘回歸的優(yōu)化問(wèn)題44-46
• 4.2 凸約束偏最小二乘回歸的解46-48
• 4.3 凸約束偏最小二乘回歸算法48-50
• 4.4 模擬研究50-54
• 4.4.1 模擬數(shù)據(jù)50-51
• 4.4.2 模擬結(jié)果分析51-54
• 4.5 小結(jié)54-55
• 結(jié)論55-57
• 參考文獻(xiàn)57-61
• 致謝61-62
• 附錄 攻讀碩士學(xué)位期間所發(fā)表的學(xué)術(shù)論文目錄62

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 胡煜;;偏最小二乘方法和二次判別分析方法應(yīng)用于基因芯片數(shù)據(jù)分析[J];鞍山師范學(xué)院學(xué)報(bào);2007年04期

2 滿瑞林,趙新那;論偏最小二乘校正方法的穩(wěn)定性[J];中南工業(yè)大學(xué)學(xué)報(bào);1997年06期

3 宮清,滿瑞林,趙新娜;偏最小二乘校正用于X射線熒光光譜法同時(shí)測(cè)定不同價(jià)態(tài)的硫[J];光譜學(xué)與光譜分析;1991年04期

4 葉明;張磊;;偏最小二乘通徑模型在貿(mào)易發(fā)展指數(shù)中的應(yīng)用[J];統(tǒng)計(jì)與信息論壇;2010年09期

5 金勇進(jìn),梁燕;偏最小二乘(PartialLeast Square)方法的擬合指標(biāo)及其在滿意度研究中的應(yīng)用[J];數(shù)理統(tǒng)計(jì)與管理;2005年02期

6 趙璐;匡建超;羅鑫;王眾;金婷;;基于偏最小二乘支持向量機(jī)的圖書(shū)館效益評(píng)價(jià)研究[J];科技管理研究;2010年02期

7 ;第六屆偏最小二乘及相關(guān)方法國(guó)際大會(huì)征稿通知[J];系統(tǒng)工程學(xué)報(bào);2008年05期

8 殷弘;汪寶彬;;懲罰的偏最小二乘(英文)[J];數(shù)學(xué)雜志;2013年01期

9 陳高波;;基于最小一乘的單因變量偏最小二乘算法[J];武漢工業(yè)學(xué)院學(xué)報(bào);2006年02期

10 楊慧中;陳定三;;局部懲罰加權(quán)核偏最小二乘算法及其應(yīng)用[J];控制工程;2011年06期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前4條

1 李科;;用偏最小二乘(PLS)回歸法研究數(shù)據(jù)相關(guān)性[A];全國(guó)第六屆分子振動(dòng)光譜學(xué)術(shù)報(bào)告會(huì)文集[C];1990年

2 劉名揚(yáng);白麗飛;張寒琦;任玉林;王洪艷;;偏最小二乘-近紅外透射光譜法用于秦皮中多組分測(cè)定的研究[A];中國(guó)化學(xué)會(huì)第二十五屆學(xué)術(shù)年會(huì)論文摘要集（下冊(cè)）[C];2006年

3 景明;蔡文生;邵學(xué)廣;;Multiblock偏最小二乘方法的新應(yīng)用[A];第十屆全國(guó)計(jì)算(機(jī))化學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

4 李大鵬;王惠文;;偏最小二乘Iogistic回歸在鄱陽(yáng)湖洪澇災(zāi)害預(yù)測(cè)中的應(yīng)用[A];2003中國(guó)現(xiàn)場(chǎng)統(tǒng)計(jì)研究會(huì)第十一屆學(xué)術(shù)年會(huì)論文集（上）[C];2003年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 黃新;基于化學(xué)數(shù)據(jù)的若干統(tǒng)計(jì)學(xué)習(xí)新方法研究[D];中南大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 楊會(huì);基于偏最小二乘特征的鴿子運(yùn)動(dòng)轉(zhuǎn)向解碼研究[D];鄭州大學(xué);2016年

2 杜曉慧;基于不同罰函數(shù)約束偏最小二乘的應(yīng)用研究[D];長(zhǎng)沙理工大學(xué);2015年

3 李洪強(qiáng);基于核偏最小二乘的故障診斷方法研究[D];東北大學(xué);2009年

4 羅純;基于成分?jǐn)?shù)據(jù)若干分析方法的研究[D];中南大學(xué);2011年

5 夏麗莎;基于偏最小二乘的武漢城市圈經(jīng)濟(jì)研究[D];華中科技大學(xué);2010年

6 張艷粉;基于偏最小二乘的BP網(wǎng)絡(luò)模型及其應(yīng)用[D];重慶大學(xué);2007年

7 裴振中;偏最小二乘—最大熵法在石油勘探風(fēng)險(xiǎn)評(píng)價(jià)中的應(yīng)用[D];成都理工大學(xué);2005年

8 陳海波;市場(chǎng)經(jīng)濟(jì)下天然氣價(jià)格預(yù)測(cè)研究——偏最小二乘神經(jīng)網(wǎng)絡(luò)模型（PLSNN）應(yīng)用[D];成都理工大學(xué);2004年

9 周琳;基于非線性偏最小二乘的特征提取方法研究[D];南京理工大學(xué);2011年

10 李亞瓊;基于優(yōu)化的偏最小二乘—判別分析和核磁共振波譜的肺癌血清代謝組學(xué)研究[D];華中師范大學(xué);2014年

，

本文編號(hào)：593315