恰當(dāng)?shù)某瑓?shù)設(shè)置是決定深度模型性能的關(guān)鍵因素,實現(xiàn)優(yōu)秀高效的超參數(shù)優(yōu)化算法能夠提高深度學(xué)習(xí)模型的效果,提升模型超參數(shù)搜索調(diào)優(yōu)的效率和速度,降低深度學(xué)習(xí)模型的應(yīng)用門檻。超參數(shù)優(yōu)化算法的典型代表是貝葉斯優(yōu)化算法（BOA）,此類基于代理模型的全局優(yōu)化算法,相對隨機(jī)搜索、網(wǎng)格搜索等簡單算法理論上具備更好的優(yōu)化效率。本文提出基于超限學(xué)習(xí)機(jī)（ELM）對超參數(shù)空間建立確定性代理模型,并改進(jìn)隨機(jī)響應(yīng)面方法,實現(xiàn)了一種針對深度學(xué)習(xí)模型的超參數(shù)優(yōu)化算法SurroOpt1。實驗表明,本文提出的算法,在深度卷積網(wǎng)絡(luò)模型超參數(shù)優(yōu)化任務(wù)中,相對貝葉斯優(yōu)化和TPE算法這2種最先進(jìn)的已知算法,在函數(shù)求解次數(shù)相同的情況下,具備更好的模型優(yōu)化效果。 

【文章來源】：高技術(shù)通訊. 2019,29(12)北大核心

【文章頁數(shù)】：10 頁

【部分圖文】：

超限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)

得到輸入層和輸出層的權(quán)重后,即可根據(jù)式(1)獲得對參數(shù)空間的各點預(yù)測。本文所用超限學(xué)習(xí)機(jī)模型的激活函數(shù)為三角激活函數(shù)。圖2為超限學(xué)習(xí)機(jī)對1維函數(shù)y=xsin(x)+xcos(2x), x∈[0,5]基于采樣點對一維參數(shù)空間的擬合,及其與RBF插值模型的對比。3 基于隨機(jī)響應(yīng)面方法的超參數(shù)優(yōu)化算法

3種算法在實驗1上的效率比較

【參考文獻(xiàn)】：
期刊論文
[1]一種基于改進(jìn)KELM的在線狀態(tài)預(yù)測方法[J]. 朱敏,許愛強(qiáng),陳強(qiáng)強(qiáng),李睿峰.  北京航空航天大學(xué)學(xué)報. 2019(07)
[2]滾子包絡(luò)端面嚙合蝸桿傳動參數(shù)優(yōu)化[J]. 王凱,王玨翎,劉文革,黃清宇,夏至東.  高技術(shù)通訊. 2018(07)



本文編號：3558610