本文選題：深度學(xué)習(xí) + 受限玻爾茲曼機�。� 參考：《自動化學(xué)報》2017年05期

【摘要】：目前受限玻爾茲曼機網(wǎng)絡(luò)訓(xùn)練算法主要是基于采樣的算法.當用采樣算法進行梯度計算時,得到的采樣梯度是真實梯度的近似值,采樣梯度和真實梯度之間存在較大的誤差,這嚴重影響了網(wǎng)絡(luò)的訓(xùn)練效果.針對該問題,本文首先分析了采樣梯度和真實梯度之間的數(shù)值誤差和方向誤差,以及它們對網(wǎng)絡(luò)訓(xùn)練性能的影響,然后從馬爾科夫采樣的角度對以上問題進行了理論分析,并建立了梯度修正模型,通過修正梯度對采樣梯度進行數(shù)值和方向的調(diào)節(jié),并提出了基于改進并行回火算法的訓(xùn)練算法,即GFPT(Gradient fixing parallel tempering)算法.最后給出GFPT算法與現(xiàn)有算法的對比實驗,仿真結(jié)果表明,GFPT算法可以極大地減小采樣梯度和真實梯度之間的誤差,大幅度提升受限玻爾茲曼機網(wǎng)絡(luò)的訓(xùn)練效果.
[Abstract]:At present, the restricted Boltzmann network training algorithm is mainly based on the sampling algorithm. When using the sampling algorithm to calculate the gradient, the sampling gradient is the approximate value of the real gradient, and there is a large error between the sampling gradient and the real gradient. This seriously affects the training effect of the network. The numerical error and the direction error between the sampling gradient and the real gradient and their influence on the performance of the network training are analyzed. Then the above problems are theoretically analyzed from the angle of Markoff sampling, and the gradient correction model is established, and the improvement of the gradient is adjusted to the value and direction of the sampling gradient, and the improvement is proposed. The training algorithm of parallel backfire algorithm is GFPT (Gradient fixing parallel tempering) algorithm. Finally, the comparison experiment of GFPT algorithm and existing algorithm is given. The simulation results show that the GFPT algorithm can greatly reduce the error between the sampling gradient and the real gradient, and greatly lift the training effect of the limited Boltzmann network.
【作者單位】： 西北工業(yè)大學(xué)電子信息學(xué)院;
【基金】：國家自然科學(xué)基金(61573285,61305133) 中央高�；究蒲袠I(yè)務(wù)費專項基金(3102015BJ(Ⅱ)GH01)資助~~
【分類號】：TP18

【相似文獻】

相關(guān)期刊論文 前2條

1 劉來福，，唐志宇，匡錦瑜;向量玻爾茲曼機[J];北京師范大學(xué)學(xué)報(自然科學(xué)版);1996年04期

2 ;[J];;年期

相關(guān)碩士學(xué)位論文 前6條

1 李娟;基于RBM的小分子活性及選擇性研究[D];蘭州大學(xué);2015年

2 萬程;自適應(yīng)基數(shù)受限玻爾茲曼機[D];清華大學(xué);2015年

3 張艷霞;基于受限玻爾茲曼機的深度學(xué)習(xí)模型及其應(yīng)用[D];電子科技大學(xué);2016年

4 朱常寶;基于深度玻爾茲曼機的特征學(xué)習(xí)算法研究[D];北京化工大學(xué);2016年

5 張怡康;基于受限玻爾茲曼機的深度學(xué)習(xí)方法研究[D];北京化工大學(xué);2016年

6 王海麟;通過信息幾何方法挖掘玻爾茲曼機的不變性[D];天津大學(xué);2014年

本文編號：1925218