【摘要】：在經(jīng)濟(jì)社會問題中,許多實際任務(wù)都可以轉(zhuǎn)化為回歸問題,比如,市場趨勢預(yù)測、人口預(yù)測、經(jīng)濟(jì)發(fā)展因素分析、股價預(yù)測等。排序?qū)W習(xí)在實際中也有許多應(yīng)用的例子,比如,作為一個有力工具,排序?qū)W習(xí)在信息檢索、質(zhì)量控制、生存分析、計算生物學(xué)等方面有著許多實際應(yīng)用價值。在回歸分析中,經(jīng)常遇到非線性問題,此時常用的回歸方法,如多元線性回歸、多元逐步回歸、線性分位數(shù)回歸等方法,就不能對數(shù)據(jù)進(jìn)行有效擬合和預(yù)測了。核函數(shù)的表示方法,通過定義一個核函數(shù)作為非線性變換,將輸入空間的非線性數(shù)據(jù)映射到高維的特征空間,然后在這個線性的特征空間中構(gòu)造回歸函數(shù),而且只需要計算數(shù)據(jù)在特征空間的內(nèi)積就可以表示數(shù)據(jù)的特征。因此利用核函數(shù)技術(shù),不失為解決非線性回歸問題的一種有效方法。在進(jìn)行回歸分析時,基于經(jīng)驗風(fēng)險最小化準(zhǔn)則的回歸算法屬于不適定問題,在樣本量較小時容易出現(xiàn)“過擬合現(xiàn)象”,雖然對訓(xùn)練數(shù)據(jù)有較高的擬合度,但是對未知數(shù)據(jù)的預(yù)測能力差,模型的復(fù)雜度過大。為此,Tikhonov提出了正則化的方法,在期望風(fēng)險后面加上表示模型復(fù)雜度的正則化項,在這種結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則下進(jìn)行回歸學(xué)習(xí)。核正則化方法同時結(jié)合核函數(shù)技術(shù)和正則化方法的優(yōu)點,是學(xué)習(xí)理論當(dāng)前采用的一種新方法。本文基于核正則化方法,在最小平方損失下,對回歸學(xué)習(xí)和向量排序?qū)W習(xí)的收斂速度進(jìn)行研究。對算法的誤差上界進(jìn)行量化分析,以此來衡量根據(jù)訓(xùn)練樣本學(xué)習(xí)到的算法對未知數(shù)據(jù)的預(yù)測能力,探討算法的收斂速度是否受到再生核空間的凸性、逼近性能和容量的影響,這是學(xué)習(xí)理論中的一個焦點問題。本文的主要研究內(nèi)容和創(chuàng)新點體現(xiàn)在以下三個方面:1.近年來已經(jīng)有許多文獻(xiàn)對再生核Hilbert空間的正則化回歸學(xué)習(xí)算法的收斂速度進(jìn)行了研究。但是由于Hilbert空間的結(jié)構(gòu)簡單所以有局限性,實際上許多數(shù)據(jù)不滿足由Hilbert空間的內(nèi)積誘導(dǎo)的距離。因此有必要擴(kuò)大假設(shè)函數(shù)空間,Banach空間就是一個合理的選擇。對再生核Banach空間的正則化回歸學(xué)習(xí)算法的收斂性進(jìn)行分析,這是一個新的研究領(lǐng)域,一個關(guān)鍵的理論問題是Banach空間的幾何性質(zhì)如何影響收斂速度。論文的第三章在Banach空間B具有q-一致凸性(其中ql),有一致連續(xù)的再生核等假定下,對再生核Banach空間的正則回歸學(xué)習(xí)算法的收斂速度進(jìn)行了研究,分別推導(dǎo)出了以期望均值和經(jīng)驗均值表示的學(xué)習(xí)速度,結(jié)果表明Banach空間的一致凸性會影響核正則化回歸算法的學(xué)習(xí)速度,改進(jìn)了現(xiàn)有文獻(xiàn)中得到的學(xué)習(xí)速度。之后給出符合定理條件的再生核Banach空間的例子,說明了定理條件的合理性。2.對于Banach空間無凸性要求的情況(= l),目前尚未見到對此時再生核Banach空間的正則化回歸算法的收斂性進(jìn)行分析,論文的第四章展開了這方面的研究,以期望均值的形式推導(dǎo)出了該核正則化回歸算法的泛化誤差的概率上界。研究結(jié)果表明此時正則化回歸算法的期望誤差上界與樣本量、再生核Banach空間的復(fù)雜度、逼近誤差、輸出空間Y的取值上界M、再生核等有關(guān)。3.排序?qū)W習(xí)可以看作是特殊的回歸問題,但是也有它的不同之處。在排序問題中,通過學(xué)習(xí)一個實值函數(shù)用以對樣本進(jìn)行打分,但是得分本身并不重要,關(guān)鍵在于通過這些得分對研究對象進(jìn)行相對排序。近年來,將排序理論和機(jī)器學(xué)習(xí)結(jié)合起來,形成了核正則化排序方法。將一般的排序問題擴(kuò)展為向量排序問題,這是一個新的研究內(nèi)容。在論文第五章中,利用假設(shè)空間的覆蓋數(shù)、再生性等特點,對最小平方損失下再生核Hilbert空間的正則化向量排序算法的收斂速度進(jìn)行了定量研究,利用Gateaux導(dǎo)數(shù)給出了最優(yōu)解和未知分布之間的定性關(guān)系,從數(shù)量上分析了解的穩(wěn)定性問題。最后,根據(jù)再生核Hilbert空間的逼近性能和容量,推導(dǎo)出了向量排序?qū)W習(xí)算法的收斂速度。此外,蒙特卡洛數(shù)值模擬和經(jīng)濟(jì)預(yù)測的實證分析結(jié)果都表明,核正則化回歸方法是處理非線性回歸問題的一個有效途徑。
【學(xué)位授予單位】：浙江工商大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2018
【分類號】：F224
【圖文】：

邐４邐ｔ邐１邐３邐ｉ逡逑圖６－１邋；Ｌ邋＝邋０．０１，９＝１時的擬合曲線對比圖邐圖６－２邋；Ｌ邋＝邋０．０１，ｇ邋＝邋２時的擬合曲線對比圖逡逑邐？邐，邐１邐１一－＾＝Ｉ＝＝ｌ邐ｆ邐邐邐邐邐邐—￣邐．．．－－－了逡逑”■——邋———理邋＼邐邐邐邐邐邐邐邐邐邐邐邐邐邐—－邋邋邋■栜！■逡逑１４邋■邐１４邋‘邐ｒ—逡逑ｔ邋ｊ邋－邐＇，邐ｔｉ邋＜邐＾逡逑ｍ邋－邐１邐＼邐－邐ｍ邋■邐ｆ邋％邐－逡逑０４－邐ｊ邐＼邐．邐０４邋？邐，邐＼邐？逡逑ｍ－邐ｉ：邐＼邐你ｓ＇邐／邐＼邐－逡逑———／－－”邋…—一？：戶逡逑＾３％邐－２邐－１邐０邐１２邐３邐ｆ邐０邐１邐ｔ邐３逡逑圖６－３邋；ｌ邋＝邋０．０１，ｇ邋＝邋３時的擬合曲線對比圖邋圖６－４邋Ａ邋＝邋０．０１，ｇ邋＝邋４時的擬合曲線對比圖逡逑從以上四個對比圖可以發(fā)現(xiàn)，當(dāng)Ａ邋＝邋０．０１，邋９邋＝邋１，２，３，４時，利用核正則化方法逡逑得到的四條回歸曲線對理論曲線的擬合效果都非常好。而高斯核函數(shù)從表達(dá)式本逡逑身來看

邐４邐ｔ邐１邐３邐ｉ逡逑圖６－１邋；Ｌ邋＝邋０．０１，９＝１時的擬合曲線對比圖邐圖６－２邋；Ｌ邋＝邋０．０１，ｇ邋＝邋２時的擬合曲線對比圖逡逑邐？邐，邐１邐１一－＾＝Ｉ＝＝ｌ邐ｆ邐邐邐邐邐邐—￣邐．．．－－－了逡逑”■——邋———理邋＼邐邐邐邐邐邐邐邐邐邐邐邐邐邐—－邋邋邋■栜！■逡逑１４邋■邐１４邋‘邐ｒ—逡逑ｔ邋ｊ邋－邐＇，邐ｔｉ邋＜邐＾逡逑ｍ邋－邐１邐＼邐－邐ｍ邋■邐ｆ邋％邐－逡逑０４－邐ｊ邐＼邐．邐０４邋？邐，邐＼邐？逡逑ｍ－邐ｉ：邐＼邐你ｓ＇邐／邐＼邐－逡逑———／－－”邋…—一？：戶逡逑＾３％邐－２邐－１邐０邐１２邐３邐ｆ邐０邐１邐ｔ邐３逡逑圖６－３邋；ｌ邋＝邋０．０１，ｇ邋＝邋３時的擬合曲線對比圖邋圖６－４邋Ａ邋＝邋０．０１，ｇ邋＝邋４時的擬合曲線對比圖逡逑從以上四個對比圖可以發(fā)現(xiàn)，當(dāng)Ａ邋＝邋０．０１，邋９邋＝邋１，２，３，４時，利用核正則化方法逡逑得到的四條回歸曲線對理論曲線的擬合效果都非常好。而高斯核函數(shù)從表達(dá)式本逡逑身來看

邐４邐ｔ邐１邐３邐ｉ逡逑圖６－１邋；Ｌ邋＝邋０．０１，９＝１時的擬合曲線對比圖邐圖６－２邋；Ｌ邋＝邋０．０１，ｇ邋＝邋２時的擬合曲線對比圖逡逑邐？邐，邐１邐１一－＾＝Ｉ＝＝ｌ邐ｆ邐邐邐邐邐邐—￣邐．．．－－－了逡逑”■——邋———理邋＼邐邐邐邐邐邐邐邐邐邐邐邐邐邐—－邋邋邋■栜！■逡逑１４邋■邐１４邋‘邐ｒ—逡逑ｔ邋ｊ邋－邐＇，邐ｔｉ邋＜邐＾逡逑ｍ邋－邐１邐＼邐－邐ｍ邋■邐ｆ邋％邐－逡逑０４－邐ｊ邐＼邐．邐０４邋？邐，邐＼邐？逡逑ｍ－邐ｉ：邐＼邐你ｓ＇邐／邐＼邐－逡逑———／－－”邋…—一？：戶逡逑＾３％邐－２邐－１邐０邐１２邐３邐ｆ邐０邐１邐ｔ邐３逡逑圖６－３邋；ｌ邋＝邋０．０１，ｇ邋＝邋３時的擬合曲線對比圖邋圖６－４邋Ａ邋＝邋０．０１，ｇ邋＝邋４時的擬合曲線對比圖逡逑從以上四個對比圖可以發(fā)現(xiàn)，當(dāng)Ａ邋＝邋０．０１，邋９邋＝邋１，２，３，４時，利用核正則化方法逡逑得到的四條回歸曲線對理論曲線的擬合效果都非常好。而高斯核函數(shù)從表達(dá)式本逡逑身來看

【參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 陳賀;;基于多元線性回歸的山東省經(jīng)濟(jì)發(fā)展的影響因素分析[J];金融教育研究;2016年05期

2 韓紹庭;周雨欣;;多元線性回歸與ARIMA在中國人口預(yù)測中的比較研究[J];中國管理信息化;2014年22期

3 宋淑麗;齊偉娜;;基于多元線性回歸的農(nóng)村剩余勞動力轉(zhuǎn)移研究——以黑龍江省為例[J];農(nóng)業(yè)技術(shù)經(jīng)濟(jì);2014年04期

4 任慧;趙晨辰;白幃綺;;基于多元線性回歸分析方法的新股上市首日破發(fā)影響因素實證研究[J];內(nèi)蒙古工業(yè)大學(xué)學(xué)報(自然科學(xué)版);2013年01期

5 李菁;向玲;;財政農(nóng)業(yè)支出對農(nóng)村勞動力轉(zhuǎn)移的動態(tài)效應(yīng)研究:1978—2011年[J];經(jīng)濟(jì)問題探索;2013年02期

6 張仁壽;任曉怡;;基于RF的中國貿(mào)易收支非線性回歸模型研究[J];廣州大學(xué)學(xué)報(自然科學(xué)版);2012年04期

7 李磊;閆蕊;潘慧玲;;上海市工業(yè)廢水排放量的多元非線性回歸預(yù)測[J];數(shù)學(xué)的實踐與認(rèn)識;2011年21期

8 徐宗本,張茁生;L~p空間的另一組特征不等式[J];數(shù)學(xué)學(xué)報;1994年04期

本文編號：2772449