如何減少面向物聯(lián)網(wǎng)設(shè)備(如可穿戴健康監(jiān)測(cè)設(shè)備、微型智能感知設(shè)備等)的神經(jīng)網(wǎng)絡(luò)處理器的功耗與成本,是實(shí)現(xiàn)人工智能物聯(lián)網(wǎng)(AIoT)技術(shù)的關(guān)鍵問題。采用二值神經(jīng)網(wǎng)絡(luò)、新型存儲(chǔ)器(如憶阻器RRAM、近閾值SRAM)等近似計(jì)算技術(shù),可以大幅降低神經(jīng)網(wǎng)絡(luò)處理器的功耗與成本。然而,RRAM或近閾值SRAM存在較大電路參數(shù)偏差,導(dǎo)致神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度下降較大。如何解決以上近似計(jì)算技術(shù)的問題,在降低神經(jīng)網(wǎng)絡(luò)處理器功耗與成本的同時(shí),保證較高的準(zhǔn)確度,是本工作的主要研究目標(biāo)。針對(duì)以上問題,本文開展了如下研究工作:(1)通過模擬RRAM/近閾值SRAM的電路參數(shù)偏差,對(duì)二值神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣及準(zhǔn)確度進(jìn)行了大量實(shí)驗(yàn),發(fā)現(xiàn)經(jīng)過二值量化后的神經(jīng)網(wǎng)絡(luò)具有一定的容錯(cuò)能力,并且不同權(quán)值矩陣對(duì)神經(jīng)網(wǎng)絡(luò)準(zhǔn)確度的影響不同。(2)通過分析新型存儲(chǔ)器技術(shù)(包括RRAM和近閾值SRAM)與傳統(tǒng)SRAM存儲(chǔ)技術(shù)的優(yōu)缺點(diǎn),利用二值神經(jīng)網(wǎng)絡(luò)具有一定容錯(cuò)能力的特性,提出一種混合權(quán)值存儲(chǔ)機(jī)制,將非關(guān)鍵權(quán)值矩陣映射到RRAM/近閾值SRAM,關(guān)鍵權(quán)值矩陣映射到傳統(tǒng)SRAM,大幅降低了硬件功耗與成本,同時(shí)保證了足夠的準(zhǔn)確度。(3)針對(duì)如何搜索二值...

【文章頁數(shù)】：73 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

電子科技大學(xué)碩士學(xué)位論文8第二章神經(jīng)網(wǎng)絡(luò)處理器近似計(jì)算技術(shù)介紹因?yàn)槟壳按罅垦芯亢捅疚姆治鰧?duì)象都主要是基于DCNN，因此本章首先介紹DCNN的結(jié)構(gòu)和原理。接著，從神經(jīng)網(wǎng)絡(luò)算法和硬件電路實(shí)現(xiàn)兩個(gè)方面，介紹面向低功耗低成本神經(jīng)網(wǎng)絡(luò)處理器的相關(guān)近似計(jì)算技術(shù)。在神經(jīng)網(wǎng)絡(luò)算法上，介紹網(wǎng)絡(luò)剪枝....

圖2-2卷積計(jì)算過程原理圖

第二章神經(jīng)網(wǎng)絡(luò)處理器近似計(jì)算技術(shù)介紹92.1.1卷積層卷積層是DCNN的核心，每個(gè)卷積層包含多個(gè)卷積核，通過與輸入圖像的卷積運(yùn)算進(jìn)行相關(guān)特征提齲每一個(gè)卷積層涉及4個(gè)超參數(shù)：輸入通道、輸出通道、卷積核的長(zhǎng)與寬。輸入通道數(shù)與該層的輸入數(shù)據(jù)通道數(shù)相對(duì)應(yīng)，輸出通道數(shù)由網(wǎng)絡(luò)結(jié)構(gòu)決定，卷積核....

圖2-3網(wǎng)絡(luò)剪枝示意圖

電子科技大學(xué)碩士學(xué)位論文102.1.2全連接層全連接層通常位于卷積層之后，一般用于對(duì)提取特征進(jìn)行分類或者回歸。經(jīng)過卷積層輸出的多通道特征圖將展開成一維向量，作為全連接層的輸入，輸入向量與對(duì)應(yīng)權(quán)值向量進(jìn)行點(diǎn)積運(yùn)算，計(jì)算結(jié)果再加上偏置b，并經(jīng)過激活函數(shù)σ激活得到輸出神經(jīng)元的結(jié)果，計(jì)算....

圖2-4“迭代剪枝”過程

??繾既?度的重要程度，最常用的方式是根據(jù)權(quán)值的L1/L2范數(shù)進(jìn)行排序，按照一定的剪枝率修剪權(quán)值。修剪后的網(wǎng)絡(luò)準(zhǔn)確度可能會(huì)有下降，可通過重訓(xùn)練（重訓(xùn)練一般只進(jìn)行幾次迭代訓(xùn)練，迭代次數(shù)遠(yuǎn)小于第一次網(wǎng)絡(luò)訓(xùn)練，也稱為微調(diào)）恢復(fù)準(zhǔn)確度。由于剪枝率是一個(gè)超參數(shù)，如果一開始設(shè)置過大，可能直接....

本文編號(hào)：3951689