基于深度學(xué)習(xí)的跨模態(tài)醫(yī)學(xué)圖像轉(zhuǎn)換
發(fā)布時間:2021-08-24 16:45
運(yùn)用深度學(xué)習(xí)的方法基于腦部CT掃描圖像合成相應(yīng)的MRI。將28例患者進(jìn)行顱腦CT和MRI掃描得到的CT和MRI的斷層圖像進(jìn)行剛性配準(zhǔn),隨機(jī)選取20例患者的圖像輸入U-Net卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,利用訓(xùn)練好的網(wǎng)絡(luò)對未參與訓(xùn)練的8例患者的CT圖像進(jìn)行預(yù)測,得到合成的MRI。研究結(jié)果顯示:通過對合成的MRI進(jìn)行定量分析,利用基于L2損失函數(shù)構(gòu)建的U-Net網(wǎng)絡(luò)合成MRI效果良好,平均絕對平均誤差(MAE)為47.81,平均結(jié)構(gòu)相似性指數(shù)(SSIM)為0.91。本研究表明可以利用深度學(xué)習(xí)方法對CT圖像進(jìn)行轉(zhuǎn)換,獲得合成MRI,現(xiàn)階段可以達(dá)到擴(kuò)充MRI醫(yī)學(xué)圖像數(shù)據(jù)庫的目的,隨著合成圖像精度的提高,可以用于幫助診斷等臨床應(yīng)用。
【文章來源】:中國醫(yī)學(xué)物理學(xué)雜志. 2020,37(10)CSCD
【文章頁數(shù)】:5 頁
【部分圖文】:
合成MRI流程圖
U-Net的設(shè)計結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)總共包含9部分,其中前5部分用于特征提取,后4部分設(shè)計為上采樣。為了增加模型的非線性,提取數(shù)據(jù)更高維度的特征,在特征提取和上采樣過程中,每一部分U-Net結(jié)構(gòu)中卷積設(shè)計均采用兩個卷積計算連用的形式。最后一部分設(shè)計略有不同,增加了一步卷積核長度為1卷積計算。具體卷積計算設(shè)計如下:在特征提取部分采用3×3卷積核,卷積步長為1,池化層步長為2進(jìn)行特征提。簧喜蓸硬糠譃榱嘶謴(fù)圖像尺寸采用2×2卷積核,卷積步長為1進(jìn)行逆卷積計算。第一部分是兩個卷積連用提取特征,其他部分是步長為2的池化層后面連續(xù)進(jìn)行兩個卷積計算。網(wǎng)絡(luò)均基于Py Torch[15]庫設(shè)計,采用內(nèi)存為12 GB的NVIDIA TITAN X進(jìn)行訓(xùn)練。在U-Net訓(xùn)練過程中使用采用均方損失(MSE Loss)函數(shù)驗證準(zhǔn)確率,使用ADAM梯度下降算法[16],隨著訓(xùn)練周期降低學(xué)習(xí)率。為了加快訓(xùn)練速度,通過4進(jìn)程來導(dǎo)入數(shù)據(jù)。訓(xùn)練批處理參數(shù)設(shè)置為16,測試批處理參數(shù)設(shè)置為1。
對測試結(jié)果與標(biāo)準(zhǔn)圖像成像分析如圖3所示,從左至右為輸入的標(biāo)準(zhǔn)CT圖像、標(biāo)準(zhǔn)MRI、合成MRI和標(biāo)準(zhǔn)MRI與合成MRI之間的差值。將合成MRI與標(biāo)準(zhǔn)CT圖像對比,觀察顱內(nèi)軟組織區(qū)域可以看出所設(shè)計的U-Net網(wǎng)絡(luò)能夠做到在CT圖像中區(qū)分具有相似像素強(qiáng)度的不同解剖結(jié)構(gòu),如骨骼、腦回和腦部軟組織。2.2 定量結(jié)果
【參考文獻(xiàn)】:
期刊論文
[1]多模態(tài)深度學(xué)習(xí)綜述[J]. 劉建偉,丁熙浩,羅雄麟. 計算機(jī)應(yīng)用研究. 2020(06)
[2]跨模態(tài)醫(yī)學(xué)圖像預(yù)測綜述[J]. 周沛,陳后金,于澤寬,彭亞輝,李艷鳳,楊帆. 電子學(xué)報. 2019(01)
本文編號:3360356
【文章來源】:中國醫(yī)學(xué)物理學(xué)雜志. 2020,37(10)CSCD
【文章頁數(shù)】:5 頁
【部分圖文】:
合成MRI流程圖
U-Net的設(shè)計結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)總共包含9部分,其中前5部分用于特征提取,后4部分設(shè)計為上采樣。為了增加模型的非線性,提取數(shù)據(jù)更高維度的特征,在特征提取和上采樣過程中,每一部分U-Net結(jié)構(gòu)中卷積設(shè)計均采用兩個卷積計算連用的形式。最后一部分設(shè)計略有不同,增加了一步卷積核長度為1卷積計算。具體卷積計算設(shè)計如下:在特征提取部分采用3×3卷積核,卷積步長為1,池化層步長為2進(jìn)行特征提。簧喜蓸硬糠譃榱嘶謴(fù)圖像尺寸采用2×2卷積核,卷積步長為1進(jìn)行逆卷積計算。第一部分是兩個卷積連用提取特征,其他部分是步長為2的池化層后面連續(xù)進(jìn)行兩個卷積計算。網(wǎng)絡(luò)均基于Py Torch[15]庫設(shè)計,采用內(nèi)存為12 GB的NVIDIA TITAN X進(jìn)行訓(xùn)練。在U-Net訓(xùn)練過程中使用采用均方損失(MSE Loss)函數(shù)驗證準(zhǔn)確率,使用ADAM梯度下降算法[16],隨著訓(xùn)練周期降低學(xué)習(xí)率。為了加快訓(xùn)練速度,通過4進(jìn)程來導(dǎo)入數(shù)據(jù)。訓(xùn)練批處理參數(shù)設(shè)置為16,測試批處理參數(shù)設(shè)置為1。
對測試結(jié)果與標(biāo)準(zhǔn)圖像成像分析如圖3所示,從左至右為輸入的標(biāo)準(zhǔn)CT圖像、標(biāo)準(zhǔn)MRI、合成MRI和標(biāo)準(zhǔn)MRI與合成MRI之間的差值。將合成MRI與標(biāo)準(zhǔn)CT圖像對比,觀察顱內(nèi)軟組織區(qū)域可以看出所設(shè)計的U-Net網(wǎng)絡(luò)能夠做到在CT圖像中區(qū)分具有相似像素強(qiáng)度的不同解剖結(jié)構(gòu),如骨骼、腦回和腦部軟組織。2.2 定量結(jié)果
【參考文獻(xiàn)】:
期刊論文
[1]多模態(tài)深度學(xué)習(xí)綜述[J]. 劉建偉,丁熙浩,羅雄麟. 計算機(jī)應(yīng)用研究. 2020(06)
[2]跨模態(tài)醫(yī)學(xué)圖像預(yù)測綜述[J]. 周沛,陳后金,于澤寬,彭亞輝,李艷鳳,楊帆. 電子學(xué)報. 2019(01)
本文編號:3360356
本文鏈接:http://www.sikaile.net/yixuelunwen/swyx/3360356.html
最近更新
教材專著