當(dāng)前,隨著人工智能技術(shù)的不斷發(fā)展,深度人工神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于人類社會(huì)的各個(gè)領(lǐng)域。特別地,前饋型深度卷積神經(jīng)網(wǎng)絡(luò)（CNNs）在各種計(jì)算機(jī)視覺任務(wù)上已經(jīng)取得了巨大成功。然而,隨著應(yīng)用需求的不斷增加,視覺處理任務(wù)復(fù)雜度不斷提高,依靠簡單前饋方式工作的卷積神經(jīng)網(wǎng)絡(luò)開始滿足不了人們的需求,探索更加類似人類視覺系統(tǒng)的新一代視覺信息處理神經(jīng)網(wǎng)絡(luò)顯得迫在眉睫。來自認(rèn)知神經(jīng)科學(xué)的研究表明,人類的視覺系統(tǒng)由大量的前饋連接、反饋連接和側(cè)向連接構(gòu)成,而反饋連接和側(cè)向連接的數(shù)量遠(yuǎn)遠(yuǎn)大于前饋連接。因此,基于前饋網(wǎng)絡(luò)構(gòu)建有效的反饋機(jī)制具有重要的研究價(jià)值。本文受人類視皮質(zhì)層反饋機(jī)制的啟發(fā),對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)中如何構(gòu)建反饋機(jī)制進(jìn)行了深入的研究,提出了有效的反饋機(jī)制計(jì)算模型和運(yùn)行框架,充分?jǐn)U展了深度卷積神經(jīng)網(wǎng)絡(luò)的功能,并成功運(yùn)用于多項(xiàng)計(jì)算視覺任務(wù)中。本文的主要研究工作和貢獻(xiàn)歸納如下:1.在深度卷積神經(jīng)網(wǎng)絡(luò)中,針對(duì)反饋機(jī)制的構(gòu)建問題,本文在理論上提出了有效的反饋機(jī)制計(jì)算模型。在面向目標(biāo)識(shí)別的深度卷積神經(jīng)網(wǎng)絡(luò)中,本文給出了反饋機(jī)制的具體數(shù)學(xué)定義,并將反饋機(jī)制建模成一個(gè)優(yōu)化問題,確定了反饋機(jī)制工作運(yùn)行的基本框架。2.針對(duì)提出... 

【文章來源】：中國科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁數(shù)】：117 頁

【學(xué)位級(jí)別】：博士

【部分圖文】：

HopBeld神經(jīng)網(wǎng)絡(luò)塞本結(jié)構(gòu)

的輸出：＾都會(huì)通過反饋連接（權(quán)重為作為其他神經(jīng)元輸入，即神經(jīng)元的輸出都會(huì)受到所有其他神經(jīng)元輸出的調(diào)節(jié)，所有神經(jīng)元的輸制約相互影響的。ＤＨＮＮ的工作過程從初始狀態(tài)開始隨著外界的輸入演變的過程，可以想象，所有神經(jīng)元的狀態(tài)在這個(gè)動(dòng)態(tài)演變的過程中將不斷調(diào)整，而最終網(wǎng)絡(luò)穩(wěn)定收斂時(shí)，所有神經(jīng)元的狀態(tài)將不再改變。Ｈｏｐ一種非線性的動(dòng)力學(xué)系統(tǒng)，它能夠?qū)崿F(xiàn)存儲(chǔ)預(yù)設(shè)穩(wěn)定點(diǎn)的功能，而其動(dòng)體現(xiàn)在它能夠進(jìn)行穩(wěn)定性分析，具有有限環(huán)和混沌等狀態(tài)。??我們通過Ｈｏｐｆｉｅｌｄ網(wǎng)絡(luò)可以實(shí)現(xiàn)簡單的聯(lián)想記憶功能【２８＞２９］。如果我ｆｉｅｌｄ網(wǎng)絡(luò)的穩(wěn)態(tài)表７Ｆ成一■種模式，那么這種模式能夠通過Ｈｏｐｆｉｅｌｄ網(wǎng)絡(luò)化過程從初始的部分模式信息恢復(fù)出完整的模式信息，這便實(shí)現(xiàn)了該想記憶。另外，我們也可以通過Ｈｏｐｆｉｅｌｄ網(wǎng)絡(luò)實(shí)現(xiàn)優(yōu)化問題的求解，這用Ｈｏｐｆｉｅｌｄ網(wǎng)絡(luò)的能量函數(shù)來實(shí)現(xiàn)。具體來講，我們可以將優(yōu)化問題的轉(zhuǎn)化為Ｈｏｐｆｉｅｌｄ網(wǎng)絡(luò)的能量函數(shù)，網(wǎng)絡(luò)的初始狀態(tài)對(duì)應(yīng)成優(yōu)化問題的優(yōu)空間的起始點(diǎn)，而當(dāng)網(wǎng)絡(luò)能量不斷減小并收斂時(shí)，網(wǎng)絡(luò)的輸出就成了的一個(gè)解。??ｙ（ｔ）輸出層??

簡單的拼圖任務(wù)等，這時(shí)就需要雙向＿下疊加在一起組成的。輸出由這兩個(gè)ＲＮＮ的同時(shí)提供給兩個(gè)方向相反的＿，而輸出則是來獲得。前面介紹的ＲＮＮｓ和雙向ＲＮＮｓ都是網(wǎng)絡(luò)只有一個(gè)隱層的情況，如果我們?cè)O(shè)置網(wǎng)絡(luò)個(gè)隱層，這樣便能形成深度循環(huán)網(wǎng)絡(luò)。??間的反向傳播（ＢＰＴＴ）［３６】算法來訓(xùn)練網(wǎng)絡(luò)權(quán)向，從網(wǎng)絡(luò)的輸出反向推導(dǎo)每一個(gè)可學(xué)習(xí)參數(shù)梯度更新每個(gè)可學(xué)習(xí)參數(shù)。淺層＿３在采用的成功，然而，ＲＮＮｓ在處理長期依賴時(shí)會(huì)遇回傳過程中，距離較遠(yuǎn)的節(jié)點(diǎn)之間在計(jì)算梯度時(shí)容易出現(xiàn)梯度消失的問題。許多研究者參與出解決方案，例如ＥＳＮ?（Ｅｃｈｏ?Ｓｔａｔｅ?Ｎｅｔｗｏｒｋ＾?（ＧａｔｅｄＲＮＮ［３９］）等等。長短期記憶網(wǎng)絡(luò)ＬＳＴ。??

【參考文獻(xiàn)】：
期刊論文
[1]人工智能各國戰(zhàn)略解讀:美國推進(jìn)創(chuàng)新腦神經(jīng)技術(shù)腦研究計(jì)劃[J]. 倫一.  電信網(wǎng)技術(shù). 2017(02)
[2]劉成林:從模式識(shí)別到類腦研究[J]. 祝葉華.  科技導(dǎo)報(bào). 2016(07)
[3]世界科技創(chuàng)新趨勢(shì)與啟示[J]. 白春禮.  科學(xué)發(fā)展. 2014(03)



本文編號(hào)：3091693