突觸可塑性（synaptic plasticity,SP）與內(nèi)源可塑性（intrinsic plasticity,IP）是生物腦學習的重要法則。目前,人工神經(jīng)網(wǎng)絡通過借鑒SP的原理引入了權重的概念。盡管少數(shù)研究也考慮了IP,但兩者協(xié)同工作對人工神經(jīng)網(wǎng)絡的影響尚不完全清楚。目前,協(xié)同學習的研究都是基于信息熵的淺層網(wǎng)絡,且只研究過在數(shù)據(jù)擬合上的應用。具有抗噪能力的小體量神經(jīng)網(wǎng)絡是當前神經(jīng)網(wǎng)絡領域研究的重要方向,而大腦正是高效節(jié)能且抗噪的典范,據(jù)推測兩類可塑性的協(xié)作可能為大腦中高效而復雜的信息處理提供了神經(jīng)基礎。本論文中,我們探究了SP和IP在神經(jīng)網(wǎng)絡中的協(xié)同學習情況,對比了基于信息熵和非信息熵的損失函數(shù)下的協(xié)同作用效果,并在數(shù)據(jù)擬合、多分類任務、抗噪能力等多種應用上進行了實驗。主要研究結果如下:（1）數(shù)據(jù)擬合應用中,協(xié)同學習算法能加快網(wǎng)絡的學習速度并提高網(wǎng)絡擬合的質量。采用局部信息最大化所代表的IP規(guī)則與誤差熵最小化算法的突觸學習規(guī)則結合使用,提高了網(wǎng)絡學習的速度,和質量。探討了隱藏層和輸出層每個神經(jīng)元激活函數(shù)斜率和偏移的變化,IP規(guī)則增加了激活函數(shù)斜率的平均值。（2）在一定條件下,協(xié)同學... 

【文章來源】：電子科技大學四川省211工程院校985工程院校教育部直屬院校

【文章頁數(shù)】：69 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景及研究意義
    1.2 生物神經(jīng)系統(tǒng)可塑性
        1.2.1 突觸可塑性
        1.2.2 內(nèi)源可塑性
    1.3 人工神經(jīng)網(wǎng)絡及其研究進展
        1.3.1 人工神經(jīng)網(wǎng)絡的發(fā)展歷程
        1.3.2 人工神經(jīng)網(wǎng)絡訓練方法
        1.3.3 內(nèi)源可塑性的研究進展
        1.3.4 協(xié)同學習的研究進展
    1.4 本文研究內(nèi)容與結構安排
        1.4.1 研究內(nèi)容
        1.4.2 結構安排
第二章 基于信息論的神經(jīng)網(wǎng)絡協(xié)同學習算法設計
    2.1 神經(jīng)元內(nèi)源可塑性數(shù)學模型
        2.1.1 基于放電率神經(jīng)元模型的內(nèi)源可塑性規(guī)則
        2.1.2 基于脈沖神經(jīng)元模型的內(nèi)源可塑性規(guī)則
    2.2 神經(jīng)網(wǎng)絡突觸可塑性規(guī)則
        2.2.1 人工神經(jīng)網(wǎng)絡中的權重調整方法
        2.2.2 誤差熵最小化算法
    2.3 神經(jīng)網(wǎng)絡協(xié)同學習算法設計
        2.3.1 信息論前饋神經(jīng)網(wǎng)絡協(xié)同學習算法
        2.3.2 IP與突觸學習的關系
    2.4 本章小結
第三章 基于協(xié)同學習的神經(jīng)網(wǎng)絡應用研究
    3.1 IP-ANN在數(shù)據(jù)擬合上的實驗
        3.1.1 數(shù)據(jù)集及網(wǎng)絡結構
        3.1.2 實驗結果與分析
    3.2 IP-ANN在多分類任務上的實驗
        3.2.1 實驗數(shù)據(jù)集及網(wǎng)絡結構
        3.2.2 實驗結果及分析
    3.3 IP-ANN在噪聲環(huán)境下的實驗
        3.3.1 噪聲的說明
        3.3.2 實驗結果及分析
    3.4 基于非信息熵損失函數(shù)的協(xié)同學習方法
        3.4.1 損失函數(shù)的介紹
        3.4.2 數(shù)據(jù)集介紹及網(wǎng)絡結構
        3.4.3 實驗結果及分析
    3.5 本章小結
第四章 總結與展望
    4.1 總結
    4.2 展望
致謝
參考文獻
攻碩期間取得的成果


【參考文獻】：
博士論文
[1]神經(jīng)網(wǎng)絡協(xié)同學習理論及應用研究[D]. 李雨珂.浙江大學 2015



本文編號：3630200