變量選擇和分類問題是統(tǒng)計分析和機器學習的熱點,二者廣泛應用于諸多科學研究和應用領域,諸如醫(yī)學診斷,基因組研究,金融風險和無線通信等.高維模型通常假設具有稀疏性,即只有少數(shù)預測變量對于響應變量有影響.變量選擇旨在選擇出重要的預測變量,并對相應的系數(shù)進行估計.分類方法是根據(jù)已知類別的歷史數(shù)據(jù)建立分類準則,用此對新的觀測值進行分類.盡管現(xiàn)如今存在許多變量選擇和分類的方法,但它們對于具有厚尾誤差,異常值和異分布的數(shù)據(jù)并不適用或者無效.此外,在實際應用中可能存在關于響應變量和預測變量之間關系的假設條件或者專業(yè)信息,可以利用這些先驗知識對回歸參數(shù)進行約束.本論文研究了兩類問題,一是針對厚尾分布數(shù)據(jù)的帶有參數(shù)線性約束的穩(wěn)健變量選擇;二是當一個類別中數(shù)據(jù)異分布時的分類問題.論文內容共分為五個章節(jié):第一章簡單介紹一些基礎知識,包括常用的變量選擇方法Lasso及其變型,自由度,分位數(shù)回歸,Huber回歸和經(jīng)典的分類方法.第二章和第三章討論帶有線性約束高維模型的穩(wěn)健變量選擇.其中,第二章介紹了線性約束的廣義l1-懲罰分位數(shù)回歸,第三章提出了線性約束的Huber正則化回歸.第四章研究了異分布數(shù)據(jù)的最小模糊度分... 

【文章來源】：山東大學山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：102 頁

【學位級別】：博士

【部分圖文】：

圖２．１：?ＡＳＡ汽車發(fā)動機輸出對燃油效率的函數(shù)．左圖：帶約束的ＢＰ估計，ＴＶ?＝?５．右??圖：無約束的ＢＰ估計，ｉＶ?＝?５．??

用訓練數(shù)據(jù)估計參數(shù)／５，并通過最小化ＣＶ，ＡＩＣ和ＢＩＣ來選擇最優(yōu)的調和參數(shù)．驗證集??用于選擇ＧＯＬＤ標準準則的調和參數(shù)，即最小化預測誤差－??圖３．１，３．２和３．３的左側分別展示誤差服從正態(tài)分布，混合正態(tài)分布和ｔ分布時，四??種不同模型選擇準則所選的最優(yōu)Ａ的密度，其中，密度曲線通過核密度估計獲得．從圖??像可以看出，通過ＡＩＣ，ＢＩＣ準則選擇的Ａ密度曲線的形狀和ＧＯＬＤ標準準則相似．相比??于ＣＶ，ＡＩＣ和ＧＯＬＤ標準準則，ＢＩＣ傾向于選擇更大的Ａ．通過ＣＶ選擇的Ａ的方差小??于ＡＩＣ，?ＢＩＣ和ＧＯＬＤ準則．??Ｎｏｒｍ?ｅｒｒｏｒ?Ｎｏｒｍ?ｅｒｒｏｒ??￥?－?Ｉ?ｂｙ?ＡＩＣ?°??ｆｉ?—?ｂｙ?ＢＩＣ?＾?＊?〇??ｗ?—?ｂｙＣＶ?０??Ｊ?？？？？?－?ｂｙ?ＧＯＬＤ?ｏ??５－?ｉ??ｆ?§?０??ｓ?２?——?二??ｕ＞?；?！??ｄ?－丄？？?？?－乂?＇＇?Ｔ＂－？：：一“?一－??￣Ｉ?Ｉ?Ｉ?Ｉ?Ｉ￣?Ｉ?Ｉ?Ｉ?Ｉ??０?２?４?６?８?ＡＩＣ?ＢＩＣ?ＣＶ?ＧＯＬＤ??ｌａｍｂｄａ??圖３．１：誤差服從正態(tài)分布時，左圖為由ＣＶ，?ＡＩＣ，?ＢＩＣ和ＧＯＬＤ準則選出的Ａ密度曲線．??右圖為由ＣＶ，?ＡＩＣ，?ＢＩＣ和ＧＯＬＤ準則選擇的模型的ＭＡＤ箱線圖．??我們從預測性質和變量選擇這兩個方面比較由不同模型選擇準則選出的Ａ和相應??的估計值．對于每一個數(shù)據(jù)集，用訓練數(shù)據(jù)估計出參數(shù)久然后用測試數(shù)據(jù)丨＃，＝??１

圖３．２：誤差服從混合正態(tài)分布時，左圖為由ＣＶ，?ＡＩＣ，?ＢＩＣ和ＧＯＬＤ準則選出的Ａ密度曲??線．右圖為由ＣＶ，?ＡＩＣ，?ＢＩＣ和ＧＯＬＤ準則選擇的模型的ＭＡＤ箱線圖．??圖３．１，?３．２和３．３的右側分別展示了誤差服從正態(tài)分布，混合正態(tài)分布和ｔ分布時，??由ＣＶ，ＡＩＣ，ＢＩＣ和ＧＯＬＤ準則選擇模型的ＭＡＤ箱線圖．如圖所示，由ＡＩＣ和ＢＩＣ準??則選擇模型的ＭＡＤ值與ＧＯＬＤ準則是可比的，并且都低于由ＣＶ準則選擇模型的ＭＡＤ值．??這說明了利用我們所提出的自由度公式構造的ＡＩＣ和ＢＩＣ準則具有很好的預測效率．同??時，由ＧＯＬＤ準則選擇的模型具有最小的ＭＡＤ值，因為它是標準的準則．??為了比較變量選擇的效果，我們在表格３．１中計算了?ＦＰＲ?（Ｆａｌｓｅ?Ｐｏｓｉｔｉｖｅ?Ｒａｔｅ），?ＦＮ－??Ｒ?（Ｆａｌｓｅ?Ｎｅｇａｔｉｖｅ?Ｒａｔｅ）和?ＳＥＲ?（Ｓｅｌｅｃｔｉｏｎ?Ｅｒｒｏｒ?Ｒａｔｅ）的平均值．其中，ＦＰＦｌ?是零系數(shù)估??計為非零的百分比，ＦＮＲ是非零系數(shù)估計為零的百分比，ＳＥＲ是所有估計錯誤的系數(shù)個??數(shù)除以Ｐ．表格３．１顯示，ＣＶ，ＡＩＣ，?ＢＩＣ和ＧＯＬＤ準則能包含所有的重要變量，因為它們??的ＦＮＲ近似為零．從表格中可以看出


本文編號：3122935