【摘要】：近年來神經(jīng)網(wǎng)絡(luò)算法的發(fā)展和進(jìn)步推動著人工智能領(lǐng)域的興起和發(fā)展。神經(jīng)網(wǎng)絡(luò)算法在計算機視覺、自然語言處理等領(lǐng)域取得了巨大成功,能夠出色的完成圖像識別、目標(biāo)檢測、語音識別、機器翻譯等各種任務(wù)。神經(jīng)網(wǎng)絡(luò)算法由于其算法結(jié)構(gòu)計算量大,為了滿足對數(shù)據(jù)的快速處理和實時應(yīng)用的要求,需要對神經(jīng)網(wǎng)絡(luò)算法進(jìn)行加速。對神經(jīng)網(wǎng)絡(luò)算法的加速主要有三種平臺,分別為GPU、ASIC和FPGA。GPU有出色的計算性能,但是GPU的功耗較高,主要應(yīng)用于神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練加速。ASIC能達(dá)到較高能效比,但是ASIC的開發(fā)周期長、研發(fā)成本高,而且靈活性差。FPGA相比于GPU能達(dá)到更高的能效比,相比于ASIC更加靈活可以進(jìn)行重構(gòu),實現(xiàn)不同算法的硬件加速。因此,本文采用FPGA來進(jìn)行神經(jīng)網(wǎng)絡(luò)算法的硬件加速研究。另外,由于HLS技術(shù)的發(fā)展和成熟,使得FPGA的開發(fā)變得更加便捷。本文采用了OpenCL進(jìn)行FPGA開發(fā),相比于傳統(tǒng)Verilog的硬件描述語言的開發(fā),大大減少的開發(fā)周期,能更加容易的完成神經(jīng)網(wǎng)絡(luò)算法的FPGA實現(xiàn)。本文對神經(jīng)網(wǎng)絡(luò)算法的FPGA加速研究主要在兩個方面,分別是卷積神經(jīng)網(wǎng)絡(luò)和LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)。針對卷積神經(jīng)網(wǎng)絡(luò),從優(yōu)化內(nèi)存訪問和提高并行計算程度兩方面對不同的功能層進(jìn)行設(shè)計。通過設(shè)計矩陣乘法模塊完成對卷積層和全連接層的并行計算加速,設(shè)計線性緩沖結(jié)構(gòu)使池化層流水線處理,提出并行流水線執(zhí)行策略提高各功能模塊的使用效率提升系統(tǒng)整體性能。本文的設(shè)計方案在Stratix-V GXA7 FPGA上卷積神經(jīng)網(wǎng)絡(luò)可以達(dá)到73.26GOPS的吞吐量。對于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的FPGA加速研究,本文不僅進(jìn)行了LSTM網(wǎng)絡(luò)的FPGA硬件加速設(shè)計,還提出了硬件設(shè)計友好的結(jié)構(gòu)化剪枝算法。本文針對LSTM網(wǎng)絡(luò)提出的結(jié)構(gòu)化剪枝算法可以實現(xiàn)對權(quán)值矩陣的列方向的剪枝,不僅可以達(dá)到很好的模型剪枝壓縮效果,還可以消除由于稀疏性帶來的不規(guī)則內(nèi)存訪問和計算。然后,本文對LSTM網(wǎng)絡(luò)進(jìn)行了大量并行計算單元設(shè)計并進(jìn)行了粗粒度的層級流水線優(yōu)化,提高了整體的計算效率,實現(xiàn)了對LSTM網(wǎng)絡(luò)的加速。最后,在語言模型和聲學(xué)模型的FPGA加速上,本文的設(shè)計方法達(dá)到了非常好的加速效果。在8倍壓縮的語言模型上可以達(dá)到681.6GOPS的有效計算吞吐量和946.63%的計算效率,在4倍壓縮的聲學(xué)模型上也能達(dá)到339.7GOPS的有效計算吞吐量和482.61%的計算效率。
【圖文】：

ifN 幅輸入特征圖中相應(yīng)區(qū)域和卷積核進(jìn)行乘加累加得到。下圖2-1展示的是卷積層計算一幅輸出特征圖的過程，，每幅輸入特征圖對應(yīng)一個卷積核，輸入圖中不同顏色的虛線框?qū)?yīng)著不同的輸出，每一個輸出是由不同輸入圖相同位置和卷積核乘積累加而得到。每一個輸出是輸入的局部信息處理結(jié)果，反映了局部的特征信息，同一輸入特征圖使用相同卷積核進(jìn)行特征處理，這是卷積網(wǎng)絡(luò)中的權(quán)重共享機制。卷積層計算過程和圖像處理中的濾波處理是相似的，卷積核對應(yīng)著濾波算子，只是在圖像處理中濾波算子通常是預(yù)先設(shè)置好的，而在卷積神經(jīng)網(wǎng)絡(luò)中卷積核是要通過訓(xùn)練后得到。通過構(gòu)建多層卷積網(wǎng)絡(luò)，然后進(jìn)行網(wǎng)絡(luò)訓(xùn)練得到不同的卷積核

池化計算示意圖
【學(xué)位授予單位】：武漢大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TN791;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李維斌;;神經(jīng)網(wǎng)絡(luò)算法在水泥生產(chǎn)線中的優(yōu)化分析[J];四川水泥;2018年08期

2 劉念;王楓;;深度神經(jīng)網(wǎng)絡(luò)算法研究及應(yīng)用[J];科技資訊;2017年27期

3 袁冬;林勇;;采用GA-BP神經(jīng)網(wǎng)絡(luò)算法改善壓力傳感器的穩(wěn)定性[J];化工自動化及儀表;2015年11期

4 謝清秀;;計算機網(wǎng)絡(luò)連接增強優(yōu)化中的均場神經(jīng)網(wǎng)絡(luò)算法[J];數(shù)碼世界;2017年02期

5 許炎駿;陳端端;;人工智能藝術(shù)領(lǐng)域階段性應(yīng)用調(diào)研報告[J];藝術(shù)學(xué)界;2017年01期

6 劉愛江;黃長慧;胡光俊;;基于改進(jìn)神經(jīng)網(wǎng)絡(luò)算法的木馬控制域名檢測方法[J];電信科學(xué);2014年07期

7 高堅;計算機網(wǎng)絡(luò)連接增強優(yōu)化中的均場神經(jīng)網(wǎng)絡(luò)算法[J];計算機工程;2003年09期

8 汪永元;;基于BP神經(jīng)網(wǎng)絡(luò)算法的超高電梯投資分析[J];鐵道勘測與設(shè)計;2017年02期

9 趙健;陶元芳;王愛紅;許增杰;;BP神經(jīng)網(wǎng)絡(luò)算法用于專業(yè)機械快速設(shè)計[J];機械設(shè)計與制造;2019年07期

10 方芳;;基于神經(jīng)網(wǎng)絡(luò)算法的大數(shù)據(jù)分析方法研究[J];軟件工程;2018年09期

相關(guān)會議論文 前10條

1 邱永紅;潘亞漢;;基于神經(jīng)網(wǎng)絡(luò)算法的自適應(yīng)數(shù)字波束形成技術(shù)[A];'99系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會論文集[C];1999年

2 陳玉敏;萬幼川;;結(jié)合矢量的神經(jīng)網(wǎng)絡(luò)算法用于遙感影像分類研究[A];2003年中國智能自動化會議論文集（上冊）[C];2003年

3 蔡冰清;徐思雅;亓峰;葛維春;周桂平;于波濤;;基于SA-BP神經(jīng)網(wǎng)絡(luò)算法的光接入網(wǎng)絡(luò)通道質(zhì)量評估方法[A];2017電力行業(yè)信息化年會論文集[C];2017年

4 熱合木江;艾尼瓦爾·吐爾地;尼加提·吐爾遜;古麗·吐爾遜;胡得來提;;一種遺傳神經(jīng)網(wǎng)絡(luò)算法及其在石油資源預(yù)測中的應(yīng)用[A];全國第十五屆計算機科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會議論文集[C];2003年

5 耿兆豐;吳永敢;;基于神經(jīng)網(wǎng)絡(luò)算法的路經(jīng)規(guī)劃[A];1992年中國控制與決策學(xué)術(shù)年會論文集[C];1992年

6 嚴(yán)雋薇;朱柳明;蕭蘊詩;;高階關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)算法研究[A];1996年中國智能自動化學(xué)術(shù)會議論文集（上冊）[C];1996年

7 李勇剛;桂衛(wèi)華;陽春華;蔡自興;;基于神經(jīng)網(wǎng)絡(luò)算法的鋅電解過程分時供電優(yōu)化調(diào)度系統(tǒng)的研究[A];第二十屆中國控制會議論文集（下）[C];2001年

8 朱喜林;孫海濱;;機械加工參數(shù)的模糊神經(jīng)網(wǎng)絡(luò)算法[A];面向制造業(yè)的自動化與信息化技術(shù)創(chuàng)新設(shè)計的基礎(chǔ)技術(shù)——2001年中國機械工程學(xué)會年會暨第九屆全國特種加工學(xué)術(shù)年會論文集[C];2001年

9 渠展展;王偉;劉峗甲;劉家亮;;改進(jìn)粒子群-神經(jīng)網(wǎng)絡(luò)算法在中長期電力負(fù)荷預(yù)測中的應(yīng)用[A];2017智能電網(wǎng)信息化建設(shè)研討會論文集[C];2017年

10 劉慧;許曉鳴;張鐘俊;;CMAC神經(jīng)網(wǎng)絡(luò)算法的研究[A];1995中國控制與決策學(xué)術(shù)年會論文集[C];1995年

相關(guān)重要報紙文章 前4條

1 科大訊飛股份有限公司市場部總經(jīng)理 任萍萍;人工智能將在三大領(lǐng)域替代人類[N];經(jīng)濟參考報;2016年

2 黃魚 遙歌 曉中 叢文 蘇曉;細(xì)數(shù)人工智能的“新身份”[N];人民郵電;2017年

3 王浩;為藥店追趕人工智能潮獻(xiàn)策[N];醫(yī)藥經(jīng)濟報;2017年

4 郝卡倫;如何用神經(jīng)網(wǎng)絡(luò)算法開發(fā)人工智能軟件[N];人民郵電;2019年

相關(guān)博士學(xué)位論文 前9條

1 曾U喺

本文編號：2615948