面向計(jì)算機(jī)視覺的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型優(yōu)化研究
發(fā)布時(shí)間:2022-12-24 08:35
近年來,以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型極大的推動(dòng)了計(jì)算機(jī)視覺研究的發(fā)展。然而,隨著網(wǎng)絡(luò)模型準(zhǔn)確率的提升,這些網(wǎng)絡(luò)模型的規(guī)模和計(jì)算開銷也越來越大。這使得這些深度神經(jīng)網(wǎng)絡(luò)模型在一些計(jì)算資源有限的移動(dòng)端應(yīng)用場(chǎng)景中的部署難以實(shí)現(xiàn)。為此,研究者們提出了輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型,使得在移動(dòng)應(yīng)用場(chǎng)景下部署性能較高的實(shí)時(shí)CNN模型成為了可能。但是,輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型的研究仍面臨著諸多問題與挑戰(zhàn)。首先,輕量級(jí)網(wǎng)絡(luò)模型設(shè)計(jì)空間較小,特征表示能力不足。其次,輕量級(jí)網(wǎng)絡(luò)模型信息容量較小,提取到的特征信息較少。這些問題導(dǎo)致其精度與大型網(wǎng)絡(luò)模型有較大的差距。另外,在復(fù)雜計(jì)算機(jī)視覺任務(wù)中,輕量級(jí)網(wǎng)絡(luò)模型較弱的特征表示能力導(dǎo)致其精度難以滿足實(shí)際應(yīng)用的需求。本文針對(duì)上述問題進(jìn)行了研究,主要工作如下:第一,本文對(duì)輕量級(jí)網(wǎng)絡(luò)模型中常用的“稀疏連接”卷積操作進(jìn)行了分析,并提出了一種輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型MENet。首先,本文設(shè)計(jì)了 Merging操作和Evolution操作以促進(jìn)通道分組間的特征融合。然后,利用這兩種操作,本文構(gòu)建了一種輕量級(jí)的基礎(chǔ)網(wǎng)絡(luò)模塊,稱為ME模塊。最后,以ME模塊為基礎(chǔ),本文設(shè)計(jì)了 MENet網(wǎng)...
【文章頁數(shù)】:102 頁
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第一章 緒論
1.1 研究背景
1.1.1 深度學(xué)習(xí)與計(jì)算機(jī)視覺
1.1.2 移動(dòng)應(yīng)用場(chǎng)景的實(shí)時(shí)性要求
1.1.3 深度神經(jīng)網(wǎng)絡(luò)模型的壓縮與加速
1.1.4 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型
1.2 問題與挑戰(zhàn)
1.2.1 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型表示能力不足的挑戰(zhàn)
1.2.2 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型信息容量不足的挑戰(zhàn)
1.2.3 輕量級(jí)目標(biāo)檢測(cè)模型檢測(cè)精度不足的挑戰(zhàn)
1.3 本文的主要研究工作
1.3.1 面向移動(dòng)視覺應(yīng)用的MENet網(wǎng)絡(luò)模型
1.3.2 基于快速下采樣策略的FD-MobileNet網(wǎng)絡(luò)模型
1.3.3 Mobile Light-Head R-CNN輕量級(jí)目標(biāo)檢測(cè)模型
1.4 論文結(jié)構(gòu)
第二章 相關(guān)研究
2.1 卷積與深度卷積神經(jīng)網(wǎng)絡(luò)模型
2.1.1 卷積層及其變種
2.1.2 深度卷積神經(jīng)網(wǎng)絡(luò)模型
2.1.3 卷積神經(jīng)網(wǎng)絡(luò)模型的計(jì)算開銷
2.2 基于CNN的目標(biāo)檢測(cè)模型
2.2.1 基于區(qū)域的兩階段目標(biāo)檢測(cè)模型
2.2.2 單一流程的一階段目標(biāo)檢測(cè)模型
2.2.3 目標(biāo)檢測(cè)模型中的特征提取網(wǎng)絡(luò)
2.3 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型
2.3.1 面向圖像分類的輕量級(jí)網(wǎng)絡(luò)模型
2.3.2 基于CNN的實(shí)時(shí)目標(biāo)檢測(cè)模型
2.4 數(shù)據(jù)集
2.5 本章小結(jié)
第三章 面向移動(dòng)視覺應(yīng)用的MENet網(wǎng)絡(luò)模型
3.1 引言
3.2 現(xiàn)有的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型分析
3.3 面向移動(dòng)視覺應(yīng)用的MENet網(wǎng)絡(luò)模型
3.3.1 Merging操作和Evolution操作設(shè)計(jì)
3.3.2 Merging-and-Evolution基礎(chǔ)網(wǎng)絡(luò)模塊設(shè)計(jì)
3.3.3 MENet網(wǎng)絡(luò)模型設(shè)計(jì)
3.3.4 使用深度卷積的融合分支模型結(jié)構(gòu)
3.4 實(shí)驗(yàn)結(jié)果及分析
3.4.1 CIFAR和SVHN數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
3.4.2 ILSVRC 2012數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
3.4.3 不同模型選擇對(duì)模型精度的影響
3.4.4 PASCAL VOC數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
3.4.5 實(shí)際預(yù)測(cè)時(shí)間分析
3.5 本章小結(jié)
第四章 基于快速下采樣策略的FD-MobileNet網(wǎng)絡(luò)模型
4.1 引言
4.2 現(xiàn)有的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型分析
4.3 基于快速下采樣策略的FD-MobileNet網(wǎng)絡(luò)模型
4.3.1 快速下采樣策略
4.3.2 FD-MobileNet網(wǎng)絡(luò)模型設(shè)計(jì)
4.4 實(shí)驗(yàn)結(jié)果及分析
4.4.1 ILSVRC 2012數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
4.4.2 PASCAL VOC數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
4.4.3 實(shí)際預(yù)測(cè)時(shí)間分析
4.5 本章小結(jié)
第五章 Mobile Light-Head R-CNN輕量級(jí)目標(biāo)檢測(cè)模型
5.1 引言
5.2 現(xiàn)有的輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)模型分析
5.3 Mobile Light-Head R-CNN輕量級(jí)目標(biāo)檢測(cè)模型
5.3.1 特征提取網(wǎng)絡(luò)設(shè)計(jì)
5.3.2 上下文增強(qiáng)模塊設(shè)計(jì)
5.3.3 候選區(qū)域生成網(wǎng)絡(luò)設(shè)計(jì)
5.3.4 空間注意力模塊設(shè)計(jì)
5.3.5 檢測(cè)器頭部設(shè)計(jì)
5.4 實(shí)驗(yàn)結(jié)果及分析
5.4.1 實(shí)現(xiàn)細(xì)節(jié)
5.4.2 PASCAL VOC數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
5.4.3 MS COCO數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
5.4.4 分解實(shí)驗(yàn)結(jié)果分析
5.4.5 實(shí)際預(yù)測(cè)速度
5.5 本章小結(jié)
第六章 結(jié)束語
6.1 工作總結(jié)
6.2 工作展望
致謝
參考文獻(xiàn)
作者在學(xué)期間取得的學(xué)術(shù)成果
本文編號(hào):3725865
【文章頁數(shù)】:102 頁
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第一章 緒論
1.1 研究背景
1.1.1 深度學(xué)習(xí)與計(jì)算機(jī)視覺
1.1.2 移動(dòng)應(yīng)用場(chǎng)景的實(shí)時(shí)性要求
1.1.3 深度神經(jīng)網(wǎng)絡(luò)模型的壓縮與加速
1.1.4 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型
1.2 問題與挑戰(zhàn)
1.2.1 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型表示能力不足的挑戰(zhàn)
1.2.2 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型信息容量不足的挑戰(zhàn)
1.2.3 輕量級(jí)目標(biāo)檢測(cè)模型檢測(cè)精度不足的挑戰(zhàn)
1.3 本文的主要研究工作
1.3.1 面向移動(dòng)視覺應(yīng)用的MENet網(wǎng)絡(luò)模型
1.3.2 基于快速下采樣策略的FD-MobileNet網(wǎng)絡(luò)模型
1.3.3 Mobile Light-Head R-CNN輕量級(jí)目標(biāo)檢測(cè)模型
1.4 論文結(jié)構(gòu)
第二章 相關(guān)研究
2.1 卷積與深度卷積神經(jīng)網(wǎng)絡(luò)模型
2.1.1 卷積層及其變種
2.1.2 深度卷積神經(jīng)網(wǎng)絡(luò)模型
2.1.3 卷積神經(jīng)網(wǎng)絡(luò)模型的計(jì)算開銷
2.2 基于CNN的目標(biāo)檢測(cè)模型
2.2.1 基于區(qū)域的兩階段目標(biāo)檢測(cè)模型
2.2.2 單一流程的一階段目標(biāo)檢測(cè)模型
2.2.3 目標(biāo)檢測(cè)模型中的特征提取網(wǎng)絡(luò)
2.3 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型
2.3.1 面向圖像分類的輕量級(jí)網(wǎng)絡(luò)模型
2.3.2 基于CNN的實(shí)時(shí)目標(biāo)檢測(cè)模型
2.4 數(shù)據(jù)集
2.5 本章小結(jié)
第三章 面向移動(dòng)視覺應(yīng)用的MENet網(wǎng)絡(luò)模型
3.1 引言
3.2 現(xiàn)有的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型分析
3.3 面向移動(dòng)視覺應(yīng)用的MENet網(wǎng)絡(luò)模型
3.3.1 Merging操作和Evolution操作設(shè)計(jì)
3.3.2 Merging-and-Evolution基礎(chǔ)網(wǎng)絡(luò)模塊設(shè)計(jì)
3.3.3 MENet網(wǎng)絡(luò)模型設(shè)計(jì)
3.3.4 使用深度卷積的融合分支模型結(jié)構(gòu)
3.4 實(shí)驗(yàn)結(jié)果及分析
3.4.1 CIFAR和SVHN數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
3.4.2 ILSVRC 2012數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
3.4.3 不同模型選擇對(duì)模型精度的影響
3.4.4 PASCAL VOC數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
3.4.5 實(shí)際預(yù)測(cè)時(shí)間分析
3.5 本章小結(jié)
第四章 基于快速下采樣策略的FD-MobileNet網(wǎng)絡(luò)模型
4.1 引言
4.2 現(xiàn)有的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型分析
4.3 基于快速下采樣策略的FD-MobileNet網(wǎng)絡(luò)模型
4.3.1 快速下采樣策略
4.3.2 FD-MobileNet網(wǎng)絡(luò)模型設(shè)計(jì)
4.4 實(shí)驗(yàn)結(jié)果及分析
4.4.1 ILSVRC 2012數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
4.4.2 PASCAL VOC數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
4.4.3 實(shí)際預(yù)測(cè)時(shí)間分析
4.5 本章小結(jié)
第五章 Mobile Light-Head R-CNN輕量級(jí)目標(biāo)檢測(cè)模型
5.1 引言
5.2 現(xiàn)有的輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)模型分析
5.3 Mobile Light-Head R-CNN輕量級(jí)目標(biāo)檢測(cè)模型
5.3.1 特征提取網(wǎng)絡(luò)設(shè)計(jì)
5.3.2 上下文增強(qiáng)模塊設(shè)計(jì)
5.3.3 候選區(qū)域生成網(wǎng)絡(luò)設(shè)計(jì)
5.3.4 空間注意力模塊設(shè)計(jì)
5.3.5 檢測(cè)器頭部設(shè)計(jì)
5.4 實(shí)驗(yàn)結(jié)果及分析
5.4.1 實(shí)現(xiàn)細(xì)節(jié)
5.4.2 PASCAL VOC數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
5.4.3 MS COCO數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果分析
5.4.4 分解實(shí)驗(yàn)結(jié)果分析
5.4.5 實(shí)際預(yù)測(cè)速度
5.5 本章小結(jié)
第六章 結(jié)束語
6.1 工作總結(jié)
6.2 工作展望
致謝
參考文獻(xiàn)
作者在學(xué)期間取得的學(xué)術(shù)成果
本文編號(hào):3725865
本文鏈接:http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/3725865.html
最近更新
教材專著