發(fā)布時間：2020-09-11 20:07

　　 由于目前數(shù)據(jù)呈爆炸性增長,原有的機器學習算法已無法應對新的挑戰(zhàn).然而,分布式算法是解決大數(shù)據(jù)問題的一個有效方法.因此,將分布式算法和傳統(tǒng)的機器學習算法結(jié)合是很有必要的.交替方向乘子法(ADMM)是一個優(yōu)秀的分布式算法,本文的研究正是基于ADMM的一些分布式算法,我們研究該算法針對l_1問題的最優(yōu)步長、分布式支持向量機的ADMM算法和在線的分布式支持向量機的ADMM算法.具體內(nèi)容如下:1.ADMM算法已經(jīng)成為求解大規(guī)模優(yōu)化問題的有效方法.盡管已經(jīng)有較多的關(guān)于該算法收斂性的研究,但關(guān)于該算法參數(shù)對收斂性的影響仍然需要進一步的研究,在實驗中參數(shù)通常是經(jīng)驗性的選擇.本文研究基于ADMM算法l_1正則最小問題的最優(yōu)步長.我們發(fā)現(xiàn)Lasso的解用軟閾值算子表示后,軟閾值的三種情況可以轉(zhuǎn)化為算法收斂因子的兩種情況,然后通過最小化收斂因子可以解出最優(yōu)步長.數(shù)值仿真實驗表明,應用該方法選出的步長,其算法的收斂速度明顯快于其它情況.此外,我們將該方法應用到壓縮感知問題,給出一個計算最優(yōu)步長的近似值策略,獲得了較好的實驗結(jié)果.2.眾所周知,支持向量機是一個有效的機器學習算法,針對大數(shù)據(jù),我們提出了master-slave網(wǎng)絡模型下的分布式SVM算法(MS-DSVM).該算法結(jié)合了分布式ADMM算法和SVM算法,該網(wǎng)絡結(jié)構(gòu)下master節(jié)點和slave節(jié)點相連,傳遞計算結(jié)果.分布式SVM可以看作是一個正則化優(yōu)化問題,ADMM算法把原問題分解成一系列的子問題求解,最后合并得到全局解.我們引入了過松弛技術(shù)增加所提出算法的收斂速度.理論分析顯示:本文提出的MS-DSVM算法具有線性收斂速率,這也是現(xiàn)有分布式ADMM算法中最好的結(jié)果.實驗結(jié)果也表明該算法的收斂速度和分類準確率都好于現(xiàn)有的方法.3.在現(xiàn)實世界中,很多任務是需要實時計算的,傳統(tǒng)的批量處理算法無法勝任.因此我們提出基于ADMM算法的在線分布式SVM算法,通過對數(shù)據(jù)矩陣引入時間參數(shù),對MS-DSVM算法做修改,得到在線的MS-DSVM算法.其中數(shù)據(jù)的流入隨時間變化,流入節(jié)點的方式也沒有限制,即任意節(jié)點在任意時間可以接受任意量的數(shù)據(jù),實驗顯示在線的算法對數(shù)據(jù)的變化做出了及時且正確的回應,對實時數(shù)據(jù)具有較好的分類結(jié)果.
【學位單位】：中國計量大學
【學位級別】：碩士
【學位年份】：2018
【中圖分類】：TP181;O224
【部分圖文】：

大數(shù)據(jù)已是研究熱點.圖1.1是百度指數(shù)中“big data”的熱搜趨勢圖,從中可以清楚的看到,人們對大數(shù)據(jù)的高關(guān)注度從未下降.圖1.1百度指數(shù)中Big Data的熱搜度.大數(shù)據(jù)的產(chǎn)生與存儲方式也給現(xiàn)有的機器學習方法帶來了巨大挑戰(zhàn),比如現(xiàn)在的數(shù)據(jù)規(guī)模遠遠超越了單機的容量.所以,數(shù)據(jù)往往采取分布式存儲的方式,而集中處理分布式數(shù)據(jù)會產(chǎn)生巨大的額外開銷,因此,傳統(tǒng)的算法不再適用.于是

大數(shù)據(jù)分析的一般框架.

礪圩鈑挪匠?此時迭代次數(shù)是13,實線是不同步長條件下,算法收斂時所需的迭代次數(shù),實線的最小值正好出現(xiàn)在理論最優(yōu)步長的位置,說明此時理論與實際相符合.圖3.2則是最優(yōu)步長時對應的收斂因子,縱坐標是原始誤差與對偶誤差之和.圖3.1正則化參數(shù) λ = 1 時的迭代結(jié)果. 圖 3.2 正則化參數(shù) λ = 1, 步長為最優(yōu)時的收斂情況.當選取最優(yōu)的步長時, ADMM算法迭代13次達到收斂,表3.1給出了迭代過程中z的值,此時向量z是3維的,迭代次數(shù)為1時z = 0 表示初始值選取零向量. 在后續(xù)整個迭代中,z1和z3都不等于零，說明它們是按照(3.15)式的第一種情況更新的, z2在整個迭代中幾乎都等于零，說明它是按照(3.15)式第二種更新的,只有一次迭代進行了變化,在如此極端的情況下,圖1中的理論最優(yōu)步長和實際結(jié)果也相符,這也基本驗證了上一節(jié)的理論的正確性.表3.1選取最優(yōu)步長時,迭代到收斂時的z的值迭代次數(shù)1 2 3 4 5 6 7 8z10 0

【相似文獻】

相關(guān)期刊論文 前10條

1 付強,劉長軍;交替方向隱式時域有限差分算法的應用與發(fā)展[J];成都信息工程學院學報;2005年01期

2 J.R.Bates,A.Mcdonald,楊世瑩;積分多層原始方程的半拉格朗日交替方向隱式法[J];海洋預報;1988年S1期

3 黃康樂;求解二維飽和-非飽和溶質(zhì)運移問題的交替方向特征有限單元法[J];水利學報;1988年07期

4 吳美娟,M.A.Letchziner;速度、壓力耦合方程組的塊隱式解[J];華東化工學院學報;1988年02期

5 黃偉祥;;一類非線性發(fā)展方程的交替方向格式[J];內(nèi)蒙古民族大學學報(自然科學版);2006年04期

6 孫敏;徐健騰;時貞軍;;一種新的投影型變分不等式交替方向方法[J];工程數(shù)學學報;2006年06期

7 劉波,高本慶,薛正輝,胡瀝;無條件穩(wěn)定的交替方向隱式FDTD算法[J];電波科學學報;2002年05期

8 黎麗梅;;交替方向隱式差分法在分數(shù)次微分方程中的應用[J];湖南理工學院學報(自然科學版);2012年03期

9 來翔;袁益讓;;一類三維擬線性雙曲型方程交替方向有限元法[J];計算數(shù)學;2010年01期

10 張爭茹;帶有遷移的瘧疾病與瘧蚊數(shù)學模型的交替方向有限元法及其數(shù)值分析[J];生物數(shù)學學報;2003年01期

相關(guān)會議論文 前10條

1 劉波;高本慶;薛正輝;胡瀝;;交替方向隱式FDTD法[A];全國電磁兼容學術(shù)會議論文集[C];2001年

2 張寶琳;;交替差分塊方法及其差分圖[A];中國工程物理研究院科技年報（1998）[C];1998年

3 楊義校;康學凈;陶然;;基于交替方向乘子法的分數(shù)傅里葉相位恢復算法[A];第十二屆全國信號和智能信息處理與應用學術(shù)會議論文集[C];2018年

4 張嬌嬌;叢爽;鄭凱;李克之;;進一步改進的交替方向乘子法及其在量子態(tài)估計的應用[A];第17屆中國系統(tǒng)仿真技術(shù)及其應用學術(shù)年會論文集（17th CCSSTA 2016）[C];2016年

5 宋萬均;張厚;;磁化等離子體ADE-ADI FDTD算法[A];2017年全國微波毫米波會議論文集（上冊）[C];2017年

6 張坤;叢爽;;基于交替方向乘子法的在線量子態(tài)估計算法[A];第二十屆中國系統(tǒng)仿真技術(shù)及其應用學術(shù)年會論文集（20th CCSSTA 2019）[C];2019年

7 鄭忠;胡燕;羅小剛;占賢輝;;基于交替方向隱式差分算法的連鑄坯凝固傳熱模型[A];2008年全國冶金物理化學學術(shù)會議論文集[C];2008年

8 王林年;褚慶昕;;二維ADI-FDTD算法的PML[A];2003'全國微波毫米波會議論文集[C];2003年

9 張良;韓立國;劉爭光;常傲;;基于壓縮感知的交替方向乘子算法恢復地震數(shù)據(jù)[A];2017中國地球科學聯(lián)合學術(shù)年會論文集（二十一）——專題44：深部資源探測技術(shù)與礦集區(qū)立體探測[C];2017年

10 王燕;田振夫;魏劍英;;Navier-Stokes方程組的一種四階緊致交替方向隱式差分方法[A];第七屆全國水動力學學術(shù)會議暨第十九屆全國水動力學研討會文集（上冊）[C];2005年

相關(guān)博士學位論文 前10條

1 馬寧;發(fā)展型方程的高階正交配置方法[D];山東大學;2006年

2 來翔;幾類雙曲型方程交替方向有限元分析[D];山東大學;2007年

3 鄧定文;高精度交替方向隱式差分法的理論與應用[D];華中科技大學;2012年

4 黎麗梅;分數(shù)階偏微分方程交替方向有限元誤差分析[D];湖南師范大學;2013年

5 王慧慧;分布式交替方向乘子法研究[D];南京大學;2017年

6 謝家新;稀疏信號恢復問題的幾類算法及應用研究[D];湖南大學;2017年

7 尤燕飛;鞍點問題和約束優(yōu)化的幾個一階算法[D];南京大學;2015年

8 馮民權(quán);大型湖泊水庫平面及垂向二維流場與水質(zhì)數(shù)值模擬[D];西安理工大學;2003年

9 楊曉波;稀疏信號的聯(lián)合恢復與低秩稀疏恢復的理論及數(shù)值方法[D];湖南大學;2017年

10 楊真真;壓縮感知重構(gòu)技術(shù)及其在圖像融合中的應用研究[D];南京郵電大學;2014年

相關(guān)碩士學位論文 前10條

1 王楠;求解多塊可分凸優(yōu)化問題的并行分裂法[D];南京師范大學;2019年

2 陳慶國;關(guān)于交替方向乘子法一些問題的研究[D];中國計量大學;2018年

3 李小玉;基于稀疏優(yōu)化方法的地鐵節(jié)能時刻表研究[D];北京交通大學;2019年

4 駱江耀;外逼近法和分布式交替方向乘子法在電力系統(tǒng)優(yōu)化調(diào)度中的應用研究[D];廣西大學;2019年

5 王吉;泊松噪聲下的低秩張量復原[D];電子科技大學;2019年

6 王曄濤;視頻去雨的模型和算法研究[D];電子科技大學;2019年

7 陸晨茜;計算幾何中經(jīng)典問題的交替方向乘子解法[D];南京大學;2019年

8 王朵;低秩矩陣優(yōu)化問題的算法研究[D];河南科技大學;2019年

9 解麗潔;基于交替方向乘子法的二階總廣義變分圖像去噪算法[D];吉林大學;2019年

10 徐秋云;分塊低秩矩陣回歸的線性化乘子交替方向算法[D];北京交通大學;2018年

本文編號：2817115