研究了一種將遷移學(xué)習(xí)引入到地基云圖自動(dòng)識(shí)別深度學(xué)習(xí)網(wǎng)絡(luò)中的學(xué)習(xí)過程,其中深度學(xué)習(xí)網(wǎng)絡(luò)采用AlexNet經(jīng)典網(wǎng)絡(luò)模型,數(shù)據(jù)集采用ImageNet樣本庫進(jìn)行預(yù)訓(xùn)練,學(xué)習(xí)過程中采用微調(diào)操作對(duì)網(wǎng)絡(luò)的權(quán)值進(jìn)行最佳調(diào)整。通過對(duì)10類地基云圖的仿真實(shí)驗(yàn),可以看出,由于云圖類別較多,分類任務(wù)較難,將遷移學(xué)習(xí)和微調(diào)方法引入到深度學(xué)習(xí)地基云圖自動(dòng)識(shí)別中,是可行和有效的。該方法的有效實(shí)施,為深度學(xué)習(xí)在高精度的地基云圖分類以及其他領(lǐng)域圖像識(shí)別奠定了技術(shù)基礎(chǔ)。 

【文章來源】：電子器件. 2020,43(06)北大核心

【文章頁數(shù)】：5 頁

【部分圖文】：

AlexNet網(wǎng)絡(luò)

檢驗(yàn)網(wǎng)絡(luò)預(yù)訓(xùn)練模型樣例

如果訓(xùn)練精度較高,則考慮測試精度。如果測試精度也很高,則可以接受超參數(shù)的選擇,或者可以對(duì)超參數(shù)進(jìn)行更多的調(diào)整,以確定達(dá)到更高更滿意的精度。當(dāng)訓(xùn)練精度較高而測試精度較低時(shí),則模型很可能存在過擬合。處理過擬合采用增加樣本數(shù)、增加模型中的正則化量和減少模型中的參數(shù)個(gè)數(shù)。增加正則化的數(shù)量包括增加L2正則化對(duì)權(quán)重的影響、增加隨機(jī)失活或添加批標(biāo)準(zhǔn)化;減少參數(shù)的數(shù)量則可以通過減少神經(jīng)元層的數(shù)量或減少層的數(shù)量來實(shí)現(xiàn)。一般情況下,當(dāng)增加正則化不能提高驗(yàn)證精度時(shí),可以減少模型參數(shù),以避免降低模型的表達(dá)能力。但如果模型對(duì)訓(xùn)練數(shù)據(jù)執(zhí)行得近乎完美,而對(duì)驗(yàn)證數(shù)據(jù)執(zhí)行得很差,那么在樣本充足的前提下,減少參數(shù)的數(shù)量可以對(duì)超參數(shù)有效調(diào)整。實(shí)驗(yàn)中批處理大小設(shè)置為32,訓(xùn)練在180個(gè)epoch處停止。使用Adam優(yōu)化器[9],微調(diào)層的學(xué)習(xí)率為0.000 1,學(xué)習(xí)率[10]衰減為0.99,凍結(jié)層的學(xué)習(xí)率為0。訓(xùn)練通過權(quán)重衰減來正則化(L2正則化系數(shù)設(shè)置為0.001),前兩個(gè)全連接層則通過隨機(jī)失活進(jìn)行正則化(隨機(jī)失活比例默認(rèn)設(shè)置為0.5)。

【參考文獻(xiàn)】：
期刊論文
[1]基于遷移學(xué)習(xí)的水產(chǎn)動(dòng)物圖像識(shí)別方法[J]. 王柯力,袁紅春.  計(jì)算機(jī)應(yīng)用. 2018(05)
[2]遷移學(xué)習(xí)研究綜述[J]. 王惠.  電腦知識(shí)與技術(shù). 2017(32)



本文編號(hào)：3068258