大數(shù)據(jù)時代,許多工業(yè)應(yīng)用需要經(jīng)常處理大量實體及其對應(yīng)的高維關(guān)系,其中涉及的實體數(shù)量呈爆炸式增長,由于它們之間的關(guān)系不能完全被觀察到,在實際中人們常采用高維稀疏矩陣來描述這種關(guān)系。雖然高維稀疏矩陣極度稀疏,但是它們包含了大量非常有價值的知識,為了從中提取出這些有價值的知識,研究者們提出了快速非負(fù)隱特征分析模型。快速非負(fù)隱特征分析模型在非負(fù)乘法更新算法的基礎(chǔ)上兼容了推廣動量方法,較非負(fù)隱特征分析模型,它能更快地從高維稀疏矩陣中抽取隱特征,具有較好的收斂效果。但是,推廣動量方法加速非負(fù)隱特征分析模型的收斂性能的機制尚未明確。因此,本文旨在揭示推廣動量方法如何加速非負(fù)隱特征分析模型的收斂性能。主要工作和創(chuàng)新點如下:（1）類比快速隱特征分析模型的單元素隱特征依賴非負(fù)乘法更新兼容動量算法和牛頓方程,證明了其動量項等效于牛頓方程中的質(zhì)量項。對牛頓方程粒子化,然后對比分析有質(zhì)量粒子和無質(zhì)量粒子的兩種情況,類比分析無質(zhì)量粒子的牛頓方程與采用梯度下降方法的附加梯度下降算法,進一步推導(dǎo)出了學(xué)習(xí)率η_u,k與摩擦系數(shù)m和質(zhì)量m的關(guān)系。（2）根據(jù)李雅普諾夫函數(shù)的定義,明確了通過能量守恒定律建... 

【文章來源】：西華師范大學(xué)四川省

【文章頁數(shù)】：65 頁

【學(xué)位級別】：碩士

【部分圖文】：

HiDS矩陣示意圖

推廣動量加速非負(fù)隱特征分析模型概述8由此，我們得到其LFA模型的原理如下圖2.2所示：圖2-2隱特征分析模型原理示意圖Fig.2-2Schematicdiagramoflatentfactormodelanalysismodel在定義2.2中，f代表HiDS矩陣映射在隱特征空間的維度，X和Y分別表示基于HiDS矩陣的已知數(shù)據(jù)集Λ構(gòu)建的反映了用戶集（U）和項目集（I）的LF矩陣。為了獲得LF矩陣X和Y，基于HiDS矩陣中的已知數(shù)據(jù)集Λ構(gòu)建了目標(biāo)函數(shù)來衡量原始數(shù)據(jù)Z和由兩個LF矩陣X、Y低秩近似得到的之間的差值。在抽取HiDS矩陣的LFs時，常采用歐氏距離[35][36][37]作為判斷真實值與預(yù)測值之間誤差的度量方法，由此得到LFA模型的目標(biāo)函數(shù)如下：,2,,,,11argmin,,2..,,{1,2,...,}uifuiukikXYzkXYzxystuUiIkf(2-1)其中，zu,i表示HiDS矩陣Z中第u行第i列的值，例如在推薦系統(tǒng)中，用戶u對項目i的評分值zu,i。xu,k和yi,k分別表示兩個實體集U和I對應(yīng)的LF矩陣X和Y的隱特征值，其中k{1-f}。根據(jù)定義2.2可知：,,,1fuiukikkzxyt”(2-2)其中，u,i為原始數(shù)據(jù)中真實值zu,i對應(yīng)的預(yù)測值，表示由相應(yīng)的兩個隱特征矩陣X和Y中的第u行和第i行相乘得到的預(yù)測值。因為工業(yè)數(shù)據(jù)集稀的疏度不同，直接最小化目標(biāo)函數(shù)式（2-1）常常會遇見過擬合現(xiàn)象，為防止模型過擬合，常采用Tikhonov正則化方法[38][39][40]約束目標(biāo)函數(shù)。結(jié)合式（2-1）和式（2-2）與Tikhonov正則化方法，得到目標(biāo)函數(shù)：,,222,,,.,.22,222,,,,111argmin,21,2..,,{1,2,...,}uiuiuiuiXuYiXYzffuiuiXukYikzkkXYzzXYzzxystuUiIkf(2-3)

推廣動量加速非負(fù)隱特征分析模型概述13圖2-3梯度下降算法算法的原理示意圖Fig.2-3Schematicdiagramoftheadditivegradientdescentalgorithm隨著AGD算法的盛行，許多學(xué)者針對AGD算法作出了優(yōu)化[46][47][48]。經(jīng)典動量方法至1962年提出以來，成為了AGD算法的一種重要的擴展算法�！皠恿俊钡母拍钇鹪从谖锢韺W(xué)[50][51]，是一個與物理概念中質(zhì)量和速度相關(guān)的物理量，通常指在運動時物體的作用效果。在經(jīng)典動量方法中可以將“動量”理解為“慣性”，由于慣性的存在，當(dāng)人們跑起來時會比剛開始加速起跑時更為輕松，同樣地，當(dāng)人們跑過頭了，想調(diào)頭往回跑時，慣性會阻礙你，減小你回跑速度。所以，加入經(jīng)典動量方法的AGD算法，當(dāng)它們方向相同時，動量會加速梯度的下降速度，相反則減速。動量減少了AGD算法收斂過程的震蕩，提高了其收斂速度和精度。如經(jīng)典動量梯度下降算法的原理示意圖（圖2-4）所示，同樣假設(shè)一個場景以便于解釋經(jīng)典動量梯度下降算法算法：AGD算法是一個人走下山，他沿著最陡的方向下山，雖然他的步調(diào)很慢，但是很穩(wěn)定；而動量是一個沉重的球從同一座山滾下來，增加的慣性既起到了平滑的作用，又起到了加速器的作用，抑制了振蕩，使他穿過狹窄的山谷、山區(qū)的隆起部分和局部極小值。圖2-4經(jīng)典動量方法的原理示意圖Fig.2-4Schematicdiagramoftheclassicalmomentummethod因此引入經(jīng)典動量方法的后，AGD算法的更新規(guī)則如下：01110,,.ttttttvvvv(2-11)

【參考文獻(xiàn)】：
期刊論文
[1]基于自適應(yīng)動量因子的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化方法研究[J]. 王錦,趙德群,鄧錢華,宋瑞祥.  現(xiàn)代信息科技. 2019(07)
[2]Sigma-Pi-Sigma神經(jīng)網(wǎng)絡(luò)的帶動量項梯度算法的收斂性[J]. 張迅.  溫州大學(xué)學(xué)報(自然科學(xué)版). 2018(02)
[3]集值隱函數(shù)的似-Lipschitz性和相依導(dǎo)數(shù)[J]. 王麗娜,方志苗,李明華.  華東師范大學(xué)學(xué)報(自然科學(xué)版). 2018(01)
[4]基于自適應(yīng)動量因子的區(qū)間神經(jīng)網(wǎng)絡(luò)建模方法[J]. 陳實,易軍,李倩,黃迪,李太福.  四川大學(xué)學(xué)報(自然科學(xué)版). 2017(05)
[5]淺議:動量守恒定律的應(yīng)用[J]. 范圣泰.  中學(xué)生數(shù)理化(學(xué)習(xí)研究). 2016(07)
[6]基于改進LSH的協(xié)同過濾推薦算法[J]. 李紅梅,郝文寧,陳剛.  計算機科學(xué). 2015(10)
[7]基于差異合并的分布式隨機梯度下降算法[J]. 陳振宏,蘭艷艷,郭嘉豐,程學(xué)旗.  計算機學(xué)報. 2015(10)
[8]Liapunov第二方法的應(yīng)用[J]. 臧子龍.  甘肅高師學(xué)報. 2014(02)
[9]動量守恒定律與能量守恒定律的適用范圍研究[J]. 韓曉霞.  濟南職業(yè)學(xué)院學(xué)報. 2013(04)
[10]P與NP問題研究[J]. 杜立智,符海東,張鴻,黃遠(yuǎn)林.  計算機技術(shù)與發(fā)展. 2013(01)

博士論文
[1]面向大規(guī)模數(shù)據(jù)分析與分類的正則化回歸算法[D]. 徐曉琳.安徽大學(xué) 2017

碩士論文
[1]多機器人并聯(lián)繩牽引系統(tǒng)動力學(xué)建模及分析[D]. 李巍.蘭州交通大學(xué) 2016
[2]基于商品關(guān)系改進的協(xié)同過濾推薦算法[D]. 孫竹.燕山大學(xué) 2016
[3]基于稀疏子空間的高維數(shù)據(jù)聚類關(guān)鍵技術(shù)研究與應(yīng)用[D]. 黃青君.電子科技大學(xué) 2016
[4]基于矩陣分解的推薦系統(tǒng)算法研究[D]. 王鵬.北京交通大學(xué) 2015
[5]牛頓方程周期解的研究[D]. 杜然.揚州大學(xué) 2013



本文編號：3108372