深度學(xué)習(xí)已成為當(dāng)前人工智能領(lǐng)域的研究熱點。受限Boltzmann機(jī)（Restricted Boltzmann Machine,RBM）是深度學(xué)習(xí)模型之一,它將數(shù)據(jù)圖像拉成一維向量來處理,能夠?qū)W習(xí)到輸入數(shù)據(jù)的概率分布。因其表示能力強(qiáng)、是個很好的生成模型等優(yōu)點被廣泛用于深度神經(jīng)網(wǎng)絡(luò)。RBM訓(xùn)練優(yōu)劣將直接影響整個深度網(wǎng)絡(luò)的性能。因此,如何優(yōu)化RBM算法以提高網(wǎng)絡(luò)泛化能力和魯棒性,是網(wǎng)絡(luò)應(yīng)用中的重要問題。本文主要針對RBM梯度近似算法、動量算法、正則化方法三個方面存在的算法性能問題、動量加速受限、正則化方法計算效率及泛化能力受限等問題展開研究及其在圖像識別和地震數(shù)據(jù)去噪中的應(yīng)用,主要工作如下:（1）提出一種基于RBM專家乘積系統(tǒng)的改進(jìn)方法。將專家乘積系統(tǒng)原理與RBM算法相結(jié)合,采用全是真實概率值的參數(shù)更新方式會引起模型識別效果不理想和帶來密度問題,為此將其更新方式進(jìn)行改進(jìn);為加快網(wǎng)絡(luò)收斂和提高模型識別能力,采取在RBM預(yù)訓(xùn)練階段和微調(diào)階段引入不同組合方式動量項的一種改進(jìn)算法。通過對MNIST數(shù)據(jù)庫中0-9手寫數(shù)字體的圖像識別,Extended Yale B和CMU-PIE數(shù)據(jù)庫的人臉識別實驗,... 

【文章來源】：中國地質(zhì)大學(xué)湖北省 211工程院校 教育部直屬院校

【文章頁數(shù)】：151 頁

【學(xué)位級別】：博士

【文章目錄】：
作者簡歷
摘要
abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 神經(jīng)網(wǎng)絡(luò)發(fā)展歷史
        1.2.2 受限Boltzmann機(jī)算法的發(fā)展現(xiàn)狀
    1.3 本文研究內(nèi)容及章節(jié)安排
第二章 受限Boltzmann機(jī)模型及算法概述
    2.1 受限Boltzmann機(jī)模型
        2.1.1 Ising模型
        2.1.2 Hopfield網(wǎng)絡(luò)
        2.1.3 Boltzmann分布
        2.1.4 受限Boltzmann機(jī)模型求解
    2.2 受限Boltzmann機(jī)采樣算法
        2.2.1 Gibbs采樣
        2.2.2 平行退火采樣
        2.2.3 重要性采樣
    2.3 動量算法
    2.4 RBM正則化方法
        2.4.1 誤差平方和稀疏懲罰因子
        2.4.2 對數(shù)和正則化
    本章小結(jié)
第三章 基于RBM的專家乘積系統(tǒng)的改進(jìn)算法
    3.1 引言
    3.2 專家乘積系統(tǒng)
        3.2.1 專家乘積系統(tǒng)的學(xué)習(xí)算法
        3.2.2 RBM學(xué)習(xí)算法與專家乘積系統(tǒng)
    3.3 改進(jìn)動量算法
    3.4 圖像識別的應(yīng)用
        3.4.1 MNIST數(shù)據(jù)庫手寫體識別
        3.4.2 Extended Yale B數(shù)據(jù)庫人臉識別
        3.4.3 CMU-PIE數(shù)據(jù)庫人臉識別
    3.5 地震數(shù)據(jù)去噪的應(yīng)用
        3.5.1 人工合成數(shù)據(jù)去噪
        3.5.2 真實地震數(shù)據(jù)去噪
    本章小結(jié)
第四章 基于動量方法的RBM兩種不同梯度近似算法
    4.1 引言
    4.2 受限Boltzmann機(jī)模型的梯度
        4.2.1 RBM第一種梯度近似方法
        4.2.2 RBM第二種梯度近似方法
    4.3 改進(jìn)的動量算法
    4.4 修正的動量算法
    4.5 改進(jìn)動量算法的分析及應(yīng)用
        4.5.1 MNIST數(shù)據(jù)庫手寫體識別
        4.5.2 Extended Yale B數(shù)據(jù)庫人臉識別
        4.5.3 CMU-PIE數(shù)據(jù)庫人臉識別
    4.6 修正動量算法的分析及應(yīng)用
        4.6.1 MNIST數(shù)據(jù)庫手寫體識別
        4.6.2 Extended Yale B數(shù)據(jù)庫人臉識別
        4.6.3 CMU-PIE數(shù)據(jù)庫人臉識別
    本章小結(jié)
第五章 基于權(quán)衰減動量RBM的平均對比散度算法
    5.1 引言
    5.2 RBM梯度近似方法
    5.3 改進(jìn)的ACD算法
        5.3.1 平均對比散度算法
        5.3.2 改進(jìn)的權(quán)衰減動量算法
        5.3.3 修正隱單元偏置
    5.4 圖像識別的應(yīng)用
        5.4.1 MNIST數(shù)據(jù)庫手寫體識別
        5.4.2 Extended Yale B數(shù)據(jù)庫人臉識別
        5.4.3 CMU-PIE數(shù)據(jù)庫人臉識別
    5.5 地震數(shù)據(jù)去噪的應(yīng)用
        5.5.1 人工合成數(shù)據(jù)去噪
        5.5.2 真實地震數(shù)據(jù)去噪
    本章小結(jié)
第六章 基于梯度改進(jìn)和動量結(jié)合的Logsum RBM方法
    6.1 引言
    6.2 RBM優(yōu)化方法
    6.3 改進(jìn)的Logsum RBM方法
        6.3.1 RBM梯度近似
        6.3.2 Logsum正則化稀疏約束RBM
        6.3.3 修正動量方法
    6.4 圖像識別的應(yīng)用
        6.4.1 MNIST數(shù)據(jù)庫手寫體識別
        6.4.2 Extended Yale B數(shù)據(jù)庫人臉識別
        6.4.3 CMU-PIE數(shù)據(jù)庫人臉識別
    本章小結(jié)
第七章 總結(jié)與展望
    7.1 論文的主要工作總結(jié)
    7.2 論文的創(chuàng)新點
    7.3 研究展望
致謝
參考文獻(xiàn)


【參考文獻(xiàn)】：
期刊論文
[1]基于多隱層Gibbs采樣的深度信念網(wǎng)絡(luò)訓(xùn)練方法[J]. 史科,陸陽,劉廣亮,畢翔,王輝.  自動化學(xué)報. 2019(05)
[2]基于特征聚類的稀疏自編碼快速算法[J]. 付曉,沈遠(yuǎn)彤,付麗華,楊迪威.  電子學(xué)報. 2018(05)
[3]基于深度學(xué)習(xí)的測井巖性識別方法研究與應(yīng)用[J]. 安鵬,曹丹平.  地球物理學(xué)進(jìn)展. 2018(03)
[4]基于權(quán)值動量的RBM加速學(xué)習(xí)算法研究[J]. 李飛,高曉光,萬開方.  自動化學(xué)報. 2017(07)
[5]基于改進(jìn)并行回火算法的RBM網(wǎng)絡(luò)訓(xùn)練研究[J]. 李飛,高曉光,萬開方.  自動化學(xué)報. 2017(05)
[6]基于改進(jìn)深層網(wǎng)絡(luò)的人臉識別算法[J]. 李倩玉,蔣建國,齊美彬.  電子學(xué)報. 2017(03)
[7]基于Fisher約束和字典對的圖像分類[J]. 郭繼昌,張帆,王楠.  電子與信息學(xué)報. 2017(02)
[8]神經(jīng)采樣[J]. 蕭子豪,朱軍.  計算機(jī)學(xué)報. 2017(06)
[9]DLPF:基于異構(gòu)體系結(jié)構(gòu)的并行深度學(xué)習(xí)編程框架[J]. 王岳青,竇勇,呂啟,李寶峰,李騰.  計算機(jī)研究與發(fā)展. 2016(06)
[10]基于動態(tài)Gibbs采樣的RBM訓(xùn)練算法研究[J]. 李飛,高曉光,萬開方.  自動化學(xué)報. 2016(06)



本文編號：3147521