FPGA加速卷積神經(jīng)網(wǎng)絡訓練的研究與實現(xiàn)
發(fā)布時間:2021-05-06 01:24
卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)是一種具有多層結構的深度學習模型,通過大規(guī)模的訓練學習從高維度的數(shù)據(jù)中提取復雜的特征。卷積神經(jīng)網(wǎng)絡的訓練過程具有處理流程復雜,計算量龐大的特點,同時涉及大量數(shù)據(jù)的傳輸以及隱層數(shù)據(jù)的緩存。為了解決更抽象和復雜的問題,卷積神經(jīng)網(wǎng)絡的規(guī)模越來越大,傳統(tǒng)通用計算機平臺的串行操作模式已經(jīng)很難滿足網(wǎng)絡訓練的需求。而具有大量邏輯、運算單元的現(xiàn)場可編程邏輯門陣列(Field Programmable Gate Array,FPGA)在性能、并行運算、功耗和尺寸等諸多方面具有突出的優(yōu)勢,很適合用于加速卷積神經(jīng)網(wǎng)絡的訓練過程。論文對卷積神經(jīng)網(wǎng)絡的訓練過程進行了深入的研究,分析了訓練過程的并行性和現(xiàn)有的FPGA硬件加速架構。在此基礎上,本文提出了一種全新的基于Zynq系列FPGA架構的硬件訓練框架,用于加速卷積神經(jīng)網(wǎng)絡的訓練過程。Zynq芯片的PS(Processing System)作為整個框架的控制中心,PL(Programmable Logic)被設計成訓練計算核心負責訓練過程的計算加速,由前向引擎、反向引擎和隱層數(shù)據(jù)隊列...
【文章來源】:西安電子科技大學陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:79 頁
【學位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
符號對照表
縮略語對照表
第一章 緒論
1.1 課題背景及意義
1.2 國內(nèi)外研究現(xiàn)狀
1.2.1 卷積神經(jīng)網(wǎng)絡的應用
1.2.2 卷積神經(jīng)網(wǎng)絡的硬件加速
1.3 研究內(nèi)容與章節(jié)安排
第二章 卷積神經(jīng)網(wǎng)絡訓練的理論基礎
2.1 卷積神經(jīng)網(wǎng)絡的基本模型
2.1.1 卷積神經(jīng)網(wǎng)絡的簡介與特性
2.1.2 卷積神經(jīng)網(wǎng)絡的典型結構
2.2 卷積神經(jīng)網(wǎng)絡訓練過程的分析
2.2.1 訓練的前向傳播階段
2.2.2 訓練的反向傳播階段
2.3 FPGA加速訓練過程的分析
2.3.1 訓練過程的層內(nèi)并行性
2.3.2 訓練過程的層間并行性
2.4 本章小結
第三章 基于FPGA的訓練框架設計與優(yōu)化
3.1 訓練框架的整體結構
3.2 前向引擎和反向引擎中模塊的設計
3.2.1 前向引擎中模塊的設計
3.2.2 反向引擎中模塊的設計
3.2.3 計算單元的實現(xiàn)
3.3 訓練框架的性能優(yōu)化
3.3.1 優(yōu)化數(shù)據(jù)傳輸形式
3.3.2 改進卷積計算方式
3.3.3 壓縮編碼隱層數(shù)據(jù)
3.3.4 縮減反向傳播計算量
3.4 本章小結
第四章 訓練框架的實現(xiàn)與加速性能的測試
4.1 訓練框架的實現(xiàn)
4.1.1 FPGA實現(xiàn)平臺與開發(fā)工具
4.1.2 LeNet-5訓練模型的實現(xiàn)
4.2 加速性能的測試
4.2.1 MNIST訓練集
4.2.2 訓練框架的性能測試
4.3 本章小結
第五章 總結與展望
5.1 總結
5.2 展望
參考文獻
致謝
作者簡介
【參考文獻】:
碩士論文
[1]基于FPGA的卷積神經(jīng)網(wǎng)絡應用研究[D]. 王羽.華南理工大學 2016
本文編號:3170966
【文章來源】:西安電子科技大學陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:79 頁
【學位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
符號對照表
縮略語對照表
第一章 緒論
1.1 課題背景及意義
1.2 國內(nèi)外研究現(xiàn)狀
1.2.1 卷積神經(jīng)網(wǎng)絡的應用
1.2.2 卷積神經(jīng)網(wǎng)絡的硬件加速
1.3 研究內(nèi)容與章節(jié)安排
第二章 卷積神經(jīng)網(wǎng)絡訓練的理論基礎
2.1 卷積神經(jīng)網(wǎng)絡的基本模型
2.1.1 卷積神經(jīng)網(wǎng)絡的簡介與特性
2.1.2 卷積神經(jīng)網(wǎng)絡的典型結構
2.2 卷積神經(jīng)網(wǎng)絡訓練過程的分析
2.2.1 訓練的前向傳播階段
2.2.2 訓練的反向傳播階段
2.3 FPGA加速訓練過程的分析
2.3.1 訓練過程的層內(nèi)并行性
2.3.2 訓練過程的層間并行性
2.4 本章小結
第三章 基于FPGA的訓練框架設計與優(yōu)化
3.1 訓練框架的整體結構
3.2 前向引擎和反向引擎中模塊的設計
3.2.1 前向引擎中模塊的設計
3.2.2 反向引擎中模塊的設計
3.2.3 計算單元的實現(xiàn)
3.3 訓練框架的性能優(yōu)化
3.3.1 優(yōu)化數(shù)據(jù)傳輸形式
3.3.2 改進卷積計算方式
3.3.3 壓縮編碼隱層數(shù)據(jù)
3.3.4 縮減反向傳播計算量
3.4 本章小結
第四章 訓練框架的實現(xiàn)與加速性能的測試
4.1 訓練框架的實現(xiàn)
4.1.1 FPGA實現(xiàn)平臺與開發(fā)工具
4.1.2 LeNet-5訓練模型的實現(xiàn)
4.2 加速性能的測試
4.2.1 MNIST訓練集
4.2.2 訓練框架的性能測試
4.3 本章小結
第五章 總結與展望
5.1 總結
5.2 展望
參考文獻
致謝
作者簡介
【參考文獻】:
碩士論文
[1]基于FPGA的卷積神經(jīng)網(wǎng)絡應用研究[D]. 王羽.華南理工大學 2016
本文編號:3170966
本文鏈接:http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/3170966.html
最近更新
教材專著