有向圖上去中心式一致優(yōu)化快速算法研究
發(fā)布時間:2020-07-02 03:44
【摘要】:隨著信息技術的迅猛發(fā)展,在通訊、控制、互聯網與物聯網等領域中的需求呈現出實時、高并發(fā)、大數據分布式存儲等特點。在這樣的時代背景下,去中心式一致優(yōu)化算法研究引起了廣泛的關注。去中心式優(yōu)化的基本思想是不借助網絡中心節(jié)點,而通過網絡節(jié)點的自主優(yōu)化和網絡節(jié)點間的相互通信來實現整網的最優(yōu)性和一致性。它通常具有更好的網絡魯棒性和可擴展性、通信及計算負載均衡、無多跳通信及隱私保護等優(yōu)點;诖,去中心式一致優(yōu)化在區(qū)塊鏈、車聯網和無人機協調控制、智能電網的資源調度,以及機器學習等領域中具有廣泛應用。目前,大多數去中心式一致優(yōu)化方面的研究都是針對無向圖,即雙向通信網絡的。然而,在實際應用(比如社交網絡)中,通常存在安全等級分級,或者信任機制等問題,導致實際網絡通常是有向圖。因此,研究有向圖上的去中心式一致優(yōu)化算法不僅具有重要的科學價值,而且對于當前大數據背景下的網絡應用具有重要的實際意義。本文聚焦于有向圖上的去中心一致優(yōu)化快速算法研究,主要工作歸納如下:1.針對有向圖上的去中心式光滑優(yōu)化模型,即目標函數連續(xù)可微,我們通過巧妙結合兩個已有的算法,即EXTRA和Subgradient-push算法,提出一個快速、有效的算法,稱為ExtraPush。從數值上,我們發(fā)現新算法能夠很好地保持EXTRA算法的線性收斂性,從而遠快于已有的Subgradient-push算法,其中Subgradient-push被證明僅具有亞線性收斂速率。理論上,我們在序列有界假設下給出了ExtraPush的收斂性。2.本文進一步考慮有向圖上的去中心式復合優(yōu)化模型,即目標函數具有“光滑+非光滑”結構。通過引入鄰近算子,本文把ExtraPush算法推廣到復合優(yōu)化模型求解,并提出了PG-ExtraPush算法。在強凸情形下,本文建立了PG-ExtraPush算法的線性收斂性。一系列的數值實驗驗證了算法的有效性。令人驚奇的是,在某些非凸的實驗例子中,我們同樣觀察到PG-ExtraPush算法具有線性收斂速度。針對這一點,我們將在未來工作中進一步研究。注意到本文所提的算法都要求同步,從而極大地造成了計算資源的浪費。因此,研究算法的異步版本將是我們未來研究的重要方向。
【學位授予單位】:江西師范大學
【學位級別】:碩士
【學位授予年份】:2018
【分類號】:O157.5;TP301.6
【圖文】:
圖 2-1.一個有向圖 (左) 以接下來,針對所研究的有向網絡,我們需假設 1:圖 是強連通的。在假設 1 下,我們羅列一些與有向網絡混1(1)和(4)可參見文獻[8]推論 2,性質 1(2)和性質 1:在假設 1 成立時,以下結論成立(1)令t=tA A A A 其中t Ν,則隨著tA 以指數的速度收斂其中 0i 為某個固定的分布向量,并且 ni i {1, , n},( )tijA 和i ,有|( ) | , t tij iA C (2) ( ) ( )Tn n nnull Ι 1 null Ι A。(3) A= 。
圖 3-1:實驗 3.3.1 的運行結果。記錄*2t‖ x x‖ 變化情況,*x 為極值點3.3.2 去中心式 Huber 回歸與最小二乘問題不同的是,本實驗是要使得 Huber 損失最小化。問題如下:*1argmin ( ) ( ),pnixix f x f x R(3-7)其中( ) ( )1( ) ( )imi i j i jjf x H B x b ,( i )jB 為矩陣( )im piB R的第j行,( i )jb 為向量( )imib R的第j項, i 1, ,n。Huber 損失函數定義如下:2 2211, for| | ( zone),2( )1(| | ), otherwise ( zone).a aH aa (3-8)
【學位授予單位】:江西師范大學
【學位級別】:碩士
【學位授予年份】:2018
【分類號】:O157.5;TP301.6
【圖文】:
圖 2-1.一個有向圖 (左) 以接下來,針對所研究的有向網絡,我們需假設 1:圖 是強連通的。在假設 1 下,我們羅列一些與有向網絡混1(1)和(4)可參見文獻[8]推論 2,性質 1(2)和性質 1:在假設 1 成立時,以下結論成立(1)令t=tA A A A 其中t Ν,則隨著tA 以指數的速度收斂其中 0i 為某個固定的分布向量,并且 ni i {1, , n},( )tijA 和i ,有|( ) | , t tij iA C (2) ( ) ( )Tn n nnull Ι 1 null Ι A。(3) A= 。
圖 3-1:實驗 3.3.1 的運行結果。記錄*2t‖ x x‖ 變化情況,*x 為極值點3.3.2 去中心式 Huber 回歸與最小二乘問題不同的是,本實驗是要使得 Huber 損失最小化。問題如下:*1argmin ( ) ( ),pnixix f x f x R(3-7)其中( ) ( )1( ) ( )imi i j i jjf x H B x b ,( i )jB 為矩陣( )im piB R的第j行,( i )jb 為向量( )imib R的第j項, i 1, ,n。Huber 損失函數定義如下:2 2211, for| | ( zone),2( )1(| | ), otherwise ( zone).a aH aa (3-8)
【相似文獻】
相關期刊論文 前10條
1 高學蓮;;家庭中心式護理在兒科護理中的應用效果研究[J];中國實用醫(yī)藥;2014年14期
2 謝e
本文編號:2737694
本文鏈接:http://www.sikaile.net/kejilunwen/yysx/2737694.html