注意力引導(dǎo)的深度學(xué)習(xí)算法在胸部X光肺結(jié)核檢測中的應(yīng)用研究
發(fā)布時間:2021-08-08 00:30
肺結(jié)核病是世界上死亡率最高的傳染病之一,早期的發(fā)現(xiàn)和診斷是治療結(jié)核病的關(guān)鍵步驟。為了使快速準(zhǔn)確的自動診斷成為可能,大量研究人員致力于開發(fā)智能化的計算機(jī)輔助檢測系統(tǒng)幫助醫(yī)生進(jìn)行胸部X光片對肺結(jié)核病的診斷工作。這深度學(xué)習(xí)中的注意力機(jī)制仿照人類獲取信息的原理,對無關(guān)信息進(jìn)行了過濾,能夠很好地提升網(wǎng)絡(luò)的性能。本文針對胸部X光片,提出了改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò),引入了注意力機(jī)制并研究了肺結(jié)核病的病灶檢測及分類算法。主要工作如下:(1)收集了來自吉林、廣州以及上海三家不同醫(yī)院門診的4990張胸部正位X光片肺結(jié)核數(shù)據(jù)集,其中不包含疾病的健康對照者圖像有1500張,感染肺結(jié)核病的圖像有2506張,非肺結(jié)核但可能患有其他肺部疾病的圖像有984張。預(yù)處理時進(jìn)行圖像通道改變、醫(yī)學(xué)圖像的格式轉(zhuǎn)換等操作以適應(yīng)后續(xù)運(yùn)算的輸入要求,最后采用雙線性插值算法統(tǒng)一圖像尺寸,以方便實(shí)驗和對照。(2)對CNN的結(jié)構(gòu)、注意力機(jī)制的原理以及基準(zhǔn)網(wǎng)絡(luò)ResNet進(jìn)行了研究,針對肺結(jié)核檢測任務(wù),構(gòu)建了一種基于注意力機(jī)制的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型,并對注意力模塊進(jìn)行改進(jìn),使得模塊能夠很好地融合空間和通道間的特征。(3)將基于注意力機(jī)制的...
【文章來源】:山東師范大學(xué)山東省
【文章頁數(shù)】:47 頁
【學(xué)位級別】:碩士
【部分圖文】:
人工智能概念中的卷積神經(jīng)網(wǎng)絡(luò)的維恩圖表示
山東師范大學(xué)碩士學(xué)位論文8構(gòu)有利于分層提取特征。即圖像經(jīng)過第一層卷積后可以提取到某些邊緣或顏色特征,經(jīng)過第二層卷積后可以得到某些形狀特征圖,不同層的卷積可以學(xué)習(xí)一部分圖像特征,最后一層卷積可輸出一定的概率或分?jǐn)?shù)。由于卷積神經(jīng)網(wǎng)絡(luò)可將網(wǎng)絡(luò)結(jié)構(gòu)堆疊的很深、結(jié)構(gòu)設(shè)計上更復(fù)雜,近年來的研究主要集中在提升模型的泛化性能和計算速度上,致力于設(shè)計能夠保證模型性能的輕量級的網(wǎng)絡(luò)。2.1.1卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)[27],包括一系列將圖像轉(zhuǎn)換為輸出類別分?jǐn)?shù)的層序列(圖2-2)。在計算時,兩層相鄰的神經(jīng)元以一定的方式相連接進(jìn)行信息的傳遞,而在同一層神經(jīng)元之間則是各自獨(dú)立的不存在連接途徑。構(gòu)建CNN層的主要類型有四種:卷積(Conv)層,池化(Pool)層,非線性層(ReLU)和完全連接(FC)層[28]。圖2-2用于圖像分類的典型卷積神經(jīng)網(wǎng)絡(luò)(CNN)架構(gòu)(1)卷積層。卷積層是卷積神經(jīng)網(wǎng)絡(luò)的基本組成單位,是由一系列神經(jīng)元排列組合而成的,它可以通過卷積運(yùn)算對輸入信息進(jìn)行一系列操作。卷積操作主要有三個獨(dú)特性質(zhì)幫助網(wǎng)絡(luò)進(jìn)行分析計算,即稀疏交互(sparseinteractions)、參數(shù)共享(parametersharing)和平移等變表示(equivariance)[29]。在深度卷積網(wǎng)絡(luò)中,輸入的信息可能通過多個傳播路徑、以不同的特征圖形式傳播到網(wǎng)絡(luò)深處的神經(jīng)元中,而稀疏連接體系結(jié)構(gòu)能夠有效地描述這種間接的多變量復(fù)雜交互。權(quán)重共享是卷積神經(jīng)網(wǎng)絡(luò)與常規(guī)人工神經(jīng)網(wǎng)絡(luò)的主要區(qū)別[30]。圖像是非常大的像素矩陣,如果參數(shù)共享的,那么網(wǎng)絡(luò)就只需學(xué)習(xí)一套參數(shù)集就可以將其用于圖像中的每一個像素的卷積運(yùn)算,從而減小網(wǎng)絡(luò)的計算量。從卷積層的角度出發(fā),共享權(quán)重和偏置使得卷積計算的結(jié)果不受卷積層平移的影響。
山東師范大學(xué)碩士學(xué)位論文9網(wǎng)絡(luò)中的每一層卷積都由權(quán)重矩陣組成,也稱為濾波器[31]。在前向傳播期間,每個過濾器都沿著圖像系統(tǒng)地移動,以便在圖像的每個區(qū)域中,在像素和權(quán)重之間形成點(diǎn)積(圖2-3)。CNN可以快速學(xué)習(xí)這些濾波器,當(dāng)過濾器觀察到輸入的某些空間位置處的特定類型的要素時會激活。圖2-3從輸入到輸出的卷積示意圖(2)池化層。池化層也稱為下采樣層,它利用卷積層的特征進(jìn)行采樣,可幫助最小化網(wǎng)絡(luò)中的參數(shù)和計算量,保留圖像的整體結(jié)構(gòu)信息并控制過度擬合。一些常見的池化操作是最大池化、平均池化、隨機(jī)池化[32]、頻譜池化[33]、空間金字塔池化[34]和多尺度無序池化[35]等。對于隨機(jī)池化來說,需要先對各合并區(qū)域進(jìn)行概率計算:jRkkiiaaP(2-1)然后我們從基于P的多項式分布中抽樣,以確認(rèn)j內(nèi)的位置l。然后,合并的激活就是la:),...,(~where1jRljslppPa(2-2)圖2-4具有空間金字塔池化層的網(wǎng)絡(luò)結(jié)構(gòu)
【參考文獻(xiàn)】:
期刊論文
[1]大數(shù)據(jù)技術(shù)進(jìn)展與發(fā)展趨勢[J]. 宋雪豐,唐國宇,孫戌杰. 電子技術(shù)與軟件工程. 2018(21)
[2]大數(shù)據(jù)技術(shù)進(jìn)展與發(fā)展趨勢[J]. 程學(xué)旗,靳小龍,楊婧,徐君. 科技導(dǎo)報. 2016(14)
[3]大數(shù)據(jù)技術(shù)研究綜述[J]. 劉智慧,張泉靈. 浙江大學(xué)學(xué)報(工學(xué)版). 2014(06)
碩士論文
[1]基于深度卷積神經(jīng)網(wǎng)絡(luò)的X光片肺結(jié)核檢測和分類[D]. 毋一帆.西北大學(xué) 2019
[2]基于注意力機(jī)制的圖像分類深度學(xué)習(xí)方法研究[D]. 王培森.中國科學(xué)技術(shù)大學(xué) 2018
本文編號:3328839
【文章來源】:山東師范大學(xué)山東省
【文章頁數(shù)】:47 頁
【學(xué)位級別】:碩士
【部分圖文】:
人工智能概念中的卷積神經(jīng)網(wǎng)絡(luò)的維恩圖表示
山東師范大學(xué)碩士學(xué)位論文8構(gòu)有利于分層提取特征。即圖像經(jīng)過第一層卷積后可以提取到某些邊緣或顏色特征,經(jīng)過第二層卷積后可以得到某些形狀特征圖,不同層的卷積可以學(xué)習(xí)一部分圖像特征,最后一層卷積可輸出一定的概率或分?jǐn)?shù)。由于卷積神經(jīng)網(wǎng)絡(luò)可將網(wǎng)絡(luò)結(jié)構(gòu)堆疊的很深、結(jié)構(gòu)設(shè)計上更復(fù)雜,近年來的研究主要集中在提升模型的泛化性能和計算速度上,致力于設(shè)計能夠保證模型性能的輕量級的網(wǎng)絡(luò)。2.1.1卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)[27],包括一系列將圖像轉(zhuǎn)換為輸出類別分?jǐn)?shù)的層序列(圖2-2)。在計算時,兩層相鄰的神經(jīng)元以一定的方式相連接進(jìn)行信息的傳遞,而在同一層神經(jīng)元之間則是各自獨(dú)立的不存在連接途徑。構(gòu)建CNN層的主要類型有四種:卷積(Conv)層,池化(Pool)層,非線性層(ReLU)和完全連接(FC)層[28]。圖2-2用于圖像分類的典型卷積神經(jīng)網(wǎng)絡(luò)(CNN)架構(gòu)(1)卷積層。卷積層是卷積神經(jīng)網(wǎng)絡(luò)的基本組成單位,是由一系列神經(jīng)元排列組合而成的,它可以通過卷積運(yùn)算對輸入信息進(jìn)行一系列操作。卷積操作主要有三個獨(dú)特性質(zhì)幫助網(wǎng)絡(luò)進(jìn)行分析計算,即稀疏交互(sparseinteractions)、參數(shù)共享(parametersharing)和平移等變表示(equivariance)[29]。在深度卷積網(wǎng)絡(luò)中,輸入的信息可能通過多個傳播路徑、以不同的特征圖形式傳播到網(wǎng)絡(luò)深處的神經(jīng)元中,而稀疏連接體系結(jié)構(gòu)能夠有效地描述這種間接的多變量復(fù)雜交互。權(quán)重共享是卷積神經(jīng)網(wǎng)絡(luò)與常規(guī)人工神經(jīng)網(wǎng)絡(luò)的主要區(qū)別[30]。圖像是非常大的像素矩陣,如果參數(shù)共享的,那么網(wǎng)絡(luò)就只需學(xué)習(xí)一套參數(shù)集就可以將其用于圖像中的每一個像素的卷積運(yùn)算,從而減小網(wǎng)絡(luò)的計算量。從卷積層的角度出發(fā),共享權(quán)重和偏置使得卷積計算的結(jié)果不受卷積層平移的影響。
山東師范大學(xué)碩士學(xué)位論文9網(wǎng)絡(luò)中的每一層卷積都由權(quán)重矩陣組成,也稱為濾波器[31]。在前向傳播期間,每個過濾器都沿著圖像系統(tǒng)地移動,以便在圖像的每個區(qū)域中,在像素和權(quán)重之間形成點(diǎn)積(圖2-3)。CNN可以快速學(xué)習(xí)這些濾波器,當(dāng)過濾器觀察到輸入的某些空間位置處的特定類型的要素時會激活。圖2-3從輸入到輸出的卷積示意圖(2)池化層。池化層也稱為下采樣層,它利用卷積層的特征進(jìn)行采樣,可幫助最小化網(wǎng)絡(luò)中的參數(shù)和計算量,保留圖像的整體結(jié)構(gòu)信息并控制過度擬合。一些常見的池化操作是最大池化、平均池化、隨機(jī)池化[32]、頻譜池化[33]、空間金字塔池化[34]和多尺度無序池化[35]等。對于隨機(jī)池化來說,需要先對各合并區(qū)域進(jìn)行概率計算:jRkkiiaaP(2-1)然后我們從基于P的多項式分布中抽樣,以確認(rèn)j內(nèi)的位置l。然后,合并的激活就是la:),...,(~where1jRljslppPa(2-2)圖2-4具有空間金字塔池化層的網(wǎng)絡(luò)結(jié)構(gòu)
【參考文獻(xiàn)】:
期刊論文
[1]大數(shù)據(jù)技術(shù)進(jìn)展與發(fā)展趨勢[J]. 宋雪豐,唐國宇,孫戌杰. 電子技術(shù)與軟件工程. 2018(21)
[2]大數(shù)據(jù)技術(shù)進(jìn)展與發(fā)展趨勢[J]. 程學(xué)旗,靳小龍,楊婧,徐君. 科技導(dǎo)報. 2016(14)
[3]大數(shù)據(jù)技術(shù)研究綜述[J]. 劉智慧,張泉靈. 浙江大學(xué)學(xué)報(工學(xué)版). 2014(06)
碩士論文
[1]基于深度卷積神經(jīng)網(wǎng)絡(luò)的X光片肺結(jié)核檢測和分類[D]. 毋一帆.西北大學(xué) 2019
[2]基于注意力機(jī)制的圖像分類深度學(xué)習(xí)方法研究[D]. 王培森.中國科學(xué)技術(shù)大學(xué) 2018
本文編號:3328839
本文鏈接:http://www.sikaile.net/yixuelunwen/chuanranbingxuelunwen/3328839.html
最近更新
教材專著