本文選題：乘子交替方向法 + 全局收斂��； 參考：《哈爾濱工業(yè)大學(xué)》2016年博士論文

【摘要】：眾所周知,乘子交替方向法(ADMM)的直接推廣用于求解多塊可分凸優(yōu)化問題時,不一定具有收斂性。這一事實激勵學(xué)者們?nèi)ジ倪MADMM算法。他們大多采用兩種改進方式:第一種方式,在每一次迭代中通過簡單的校正ki對直接推廣的ADMM算法產(chǎn)生的輸出進行校正。另一種方式,通過在直接推廣的ADMM算法的每一個子問題中引入一個漸近項對其進行非精確求解。本文結(jié)合以上兩種方式提出兩個有效的求解多塊可分凸優(yōu)化問題的算法。此外,本文利用經(jīng)典梯度法的思想,設(shè)計出一個求解更一般的非凸非光滑復(fù)合優(yōu)化問題的有效算法,并且給出收斂性分析。最后,本文對漸近正則、次可微連續(xù)函數(shù)的二階增長條件給出了若干刻畫。本文主要內(nèi)容概括如下:1.本文提出兩個求解多塊可分凸優(yōu)化模型的有效方法。這兩個方法能夠簡化子問題的求解,并保證算法的收斂性。由于這兩個方法不需要等式約束中的矩陣具有列滿秩性質(zhì),因此,它的應(yīng)用范圍更廣。數(shù)值結(jié)果表明這兩個方法是數(shù)值有效的。2.本文證明了在一個弱于強凸性的條件下,直接推廣的乘子交替方向法用于求解三塊可分凸優(yōu)化問題具有收斂性。這很好地解釋了為什么三塊可分凸優(yōu)化問題的目標(biāo)函數(shù)中沒有強凸函數(shù),而乘子交替方向法卻有很好的數(shù)值表現(xiàn)。3.本文提出了一個求解非凸非光滑復(fù)合優(yōu)化問題的梯度算法。該算法通過引入復(fù)合梯度映射,構(gòu)造出一個輔助問題——其目標(biāo)函數(shù)是兩部分的和,第一部分是原目標(biāo)函數(shù)中光滑部分的線性化函數(shù),而第二部分是原目標(biāo)函數(shù)中的非光滑函數(shù),在算法的每次迭代中通過求解這一輔助問題得到算法新的迭代點。該算法具有理論上的收斂性。4.本文證明在一定的條件下,二階增長條件中非零常數(shù)的最緊上界可達,并且建立了漸近正則、次可微連續(xù)函數(shù)的二階增長條件與函數(shù)次微分的強度量正則性和強度量次正則性之間的等價刻畫。
[Abstract]:It is well known that the direct generalization of the multiplier alternating direction method (ADMMM) is not necessarily convergent when it is used to solve multi-block separable convex optimization problems.This fact encourages scholars to improve the ADMM algorithm.Most of them adopt two improved methods: the first way is to correct the output generated by the directly generalized ADMM algorithm through a simple correction Ki in each iteration.In another way, an asymptotic term is introduced into each subproblem of the directly generalized ADMM algorithm to solve the problem inaccurately.In this paper, two effective algorithms for solving multi-block separable convex optimization problems are proposed.In addition, using the idea of classical gradient method, this paper designs an effective algorithm for solving more general nonconvex nonsmooth composite optimization problems, and gives the convergence analysis.Finally, some characterizations of the second order growth conditions for asymptotically regular and subdifferentiable continuous functions are given.The main contents of this paper are summarized as follows: 1: 1.In this paper, two effective methods for solving multi-block separable convex optimization model are presented.These two methods can simplify the solution of the subproblem and ensure the convergence of the algorithm.Because these two methods do not require that the matrices in equality constraints have the property of full column rank, they are more widely used.The numerical results show that the two methods are numerically effective.In this paper, it is proved that under a condition that is weaker than that of strong convexity, the direct extension of the multiplier alternating direction method for solving three block separable convex optimization problems has convergence.This explains why there is no strong convex function in the objective function of the three separable convex optimization problems, but the multiplicator alternating direction method has a good numerical performance.In this paper, a gradient algorithm for nonconvex nonsmooth composite optimization problems is proposed.By introducing compound gradient mapping, the algorithm constructs an auxiliary problem-its objective function is the sum of two parts. The first part is the linearization function of the smooth part of the original objective function.The second part is the non-smooth function in the original objective function. The new iteration point of the algorithm is obtained by solving this auxiliary problem in each iteration of the algorithm.The algorithm has theoretical convergence. 4.In this paper, we prove that under certain conditions, the most compact upper bound of the nonzero constant of the second order growth condition is reachable, and the asymptotic regularity is established.The equivalent characterizations between the second-order growth conditions of subdifferentiable continuous functions and the intensity regularity and intensity subregularity of subdifferential functions.
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：O224

【相似文獻】

相關(guān)期刊論文 前10條

1 孫敏;;求解結(jié)構(gòu)型單調(diào)變分不等式的投影類交替方向法[J];安徽大學(xué)學(xué)報(自然科學(xué)版);2009年02期

2 曾文平;多維振動問題的交替方向法[J];福州大學(xué)學(xué)報;1982年04期

3 浦志勤;;解線性變分不等式問題的一個簡單交替方向法(英文)[J];南京師大學(xué)報(自然科學(xué)版);2007年03期

4 周瑾;交替方向法求解帶線性約束的變分不等式[J];高等學(xué)校計算數(shù)學(xué)學(xué)報;1999年02期

5 黎景;;求解一類非對稱單調(diào)變分不等式的非精確自適應(yīng)交替方向法[J];數(shù)學(xué)理論與應(yīng)用;2007年03期

6 胡伯霞;;一類非對稱單調(diào)變分不等式的自適應(yīng)交替方向法[J];衡陽師范學(xué)院學(xué)報;2008年03期

7 陶敏;唐誠;;缺失信息的主成份分析[J];南京郵電大學(xué)學(xué)報(自然科學(xué)版);2013年01期

8 藍健朋;樂仲;劉光泓;申呈潔;;基于交替方向法的混合l_(2,1)-正規(guī)化的組稀疏優(yōu)化算法[J];科技信息;2013年17期

9 李建宇;解非線性方程組的單調(diào)牛頓-交替方向法[J];高等學(xué)校計算數(shù)學(xué)學(xué)報;1982年02期

10 周叔子;胡伯霞;;一類非對稱變分不等式的非精確交替方向法[J];湖南大學(xué)學(xué)報(自然科學(xué)版);2007年04期

相關(guān)會議論文 前1條

1 李敏;何炳生;;求解帶約束的min-max問題的預(yù)測校正交替方向法[A];2006年中國運籌學(xué)會數(shù)學(xué)規(guī)劃分會代表會議暨第六屆學(xué)術(shù)會議論文集[C];2006年

相關(guān)博士學(xué)位論文 前2條

1 晁綿濤;帶回代乘子交替方向法與誤差界研究[D];北京工業(yè)大學(xué);2015年

2 王金江;乘子交替方向法與函數(shù)二階增長條件[D];哈爾濱工業(yè)大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 郭來鵬;求解H權(quán)重的最近相關(guān)系數(shù)矩陣問題的交替方向法[D];大連理工大學(xué);2015年

2 竇莉峰;用交替方向法求解離散線性二次最優(yōu)控制問題[D];河北工業(yè)大學(xué);2015年

3 宋永存;求解帶Stokes方程約束最優(yōu)控制問題的交替方向法[D];吉林大學(xué);2016年

4 王艷艷;交替方向法及其改進算法的研究[D];重慶大學(xué);2013年

5 黎蕾;求解凸最優(yōu)化問題的近似交替方向法[D];重慶師范大學(xué);2013年

6 黎景;求解一類單調(diào)變分不等式的交替方向法[D];湖南大學(xué);2008年

7 李玉勝;交替方向法及其應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2015年

8 胡伯霞;求解一類非對稱單調(diào)變分不等式的交替方向法[D];湖南大學(xué);2006年

9 靳正芬;求解矩陣核范數(shù)極小化問題的交替方向法[D];河南大學(xué);2012年

10 萬里;解可分離結(jié)構(gòu)變分不等式的投影收縮交替方向法[D];南開大學(xué);2012年

，

本文編號：1761702