深度神經(jīng)網(wǎng)絡(luò)近年來普遍應(yīng)用在圖像分類、物體檢測、目標跟蹤等計算機視覺任務(wù)中,已逐步成為研究熱點。不過因為參數(shù)數(shù)目巨大、存儲空間有限和計算資源代價高昂的限制,在移動設(shè)備上的存儲和計算已經(jīng)阻礙了深度學(xué)習(xí)的發(fā)展。為此,本論文開展了深度學(xué)習(xí)網(wǎng)絡(luò)的快速計算技術(shù)研究,主要工作如下:論文首先分析了目前主流的幾種深度學(xué)習(xí)網(wǎng)絡(luò)的快速計算技術(shù),包括參數(shù)修剪與共享、低秩分解、緊性卷積核的設(shè)計以及知識蒸餾等等。在參數(shù)修剪與共享的基礎(chǔ)上,尋找并消除網(wǎng)絡(luò)中存在的冗余,但會因為精度的損失而造成準確率的降低;在低秩分解的基礎(chǔ)上,利用向量分解對卷積網(wǎng)絡(luò)里信息量大的參數(shù)進行估計,但是低秩方法真正實施起來特別困難,涉及到計算成本昂貴的分解操作;在緊性卷積核的基礎(chǔ)上,使用特殊濾波器對網(wǎng)絡(luò)參數(shù)進行估計,設(shè)計特殊的卷積模塊結(jié)構(gòu),能大大改善網(wǎng)絡(luò)性能;知識蒸餾提煉出一個小模型來再現(xiàn)大型網(wǎng)絡(luò)的輸出,雖然能減少計算成本但是適用范圍比較局限。然后,論文提出了基于激活函數(shù)的快速計算算法,即設(shè)計了基于SELUs的自歸一化分段線性激活函數(shù)SPeLUs。該激活函數(shù)的實現(xiàn)流程如下:用分段線性函數(shù)PeLUs去擬合ELUs;用參數(shù)λ與PeLUs相乘得到... 

【文章來源】：南京郵電大學(xué)江蘇省

【文章頁數(shù)】：79 頁

【學(xué)位級別】：碩士

【部分圖文】：

ELU和PeLU的曲線圖

SELU和SPeLU的曲線圖

南京郵電大學(xué)碩士研究生學(xué)位論文 第三章 基于激活函數(shù)的快速計算算法3.3 實驗及分析3.3.1 數(shù)據(jù)集及實驗環(huán)境介紹這一部分先對實驗所用到的數(shù)據(jù)集和實驗環(huán)境作個總體的介紹。（1） 數(shù)據(jù)集先對實驗所用到的三種數(shù)據(jù)集進行簡單介紹。（a）MNISTMNIST 數(shù)據(jù)集由訓(xùn)練集和測試集構(gòu)成。訓(xùn)練集中有 60000 張圖片，測試集中有 10000 張圖片。每張圖片的尺寸都是 28× 28，而且都是純黑白。所有圖片全都是各種人手寫的數(shù)字，范圍均是從 0 至 9。下圖 3.12 就是 10 張 MNIST 圖片。


本文編號：3614304