近年來,機(jī)器學(xué)習(xí)算法廣泛應(yīng)用于多個(gè)領(lǐng)域.超參數(shù)的選擇直接影響了算法模型的性能,然而超參數(shù)優(yōu)化過程往往依賴于專業(yè)知識(shí)和長(zhǎng)期經(jīng)驗(yàn)的積累.為了解決上述問題,本文提出了一種基于強(qiáng)化學(xué)習(xí)的自動(dòng)超參數(shù)優(yōu)化方法.該方法將超參數(shù)優(yōu)化問題作為序列決策問題并建模為馬爾科夫決策過程,通過使用一個(gè)強(qiáng)化學(xué)習(xí)智能體（agent）,自動(dòng)為機(jī)器學(xué)習(xí)算法選擇超參數(shù).該智能體以最大化待優(yōu)化模型在驗(yàn)證數(shù)據(jù)集上的準(zhǔn)確率為目標(biāo),將模型在驗(yàn)證數(shù)據(jù)集上的準(zhǔn)確率作為獎(jiǎng)賞值（reward）,通過策略梯度算法訓(xùn)練智能體.為了減小訓(xùn)練過程中的方差,我們?cè)O(shè)計(jì)了數(shù)據(jù)引導(dǎo)池模塊.實(shí)驗(yàn)將隨機(jī)森林和XGBoost算法作為優(yōu)化對(duì)象,在五個(gè)數(shù)據(jù)集上與隨機(jī)搜索、貝葉斯優(yōu)化、TPE、CM-AES和SMAC五種優(yōu)化方法進(jìn)行了對(duì)比.實(shí)驗(yàn)結(jié)果顯示,本文所提出的方法在90%的優(yōu)化任務(wù)上表現(xiàn)出更優(yōu)的性能.同時(shí),我們通過執(zhí)行一系列消融實(shí)驗(yàn)驗(yàn)證了agent結(jié)構(gòu)和數(shù)據(jù)引導(dǎo)池的有效性. 

【文章來源】：小型微型計(jì)算機(jī)系統(tǒng). 2020,41(04)北大核心CSCD

【文章頁數(shù)】：6 頁

【文章目錄】：
1 引言
2背景及相關(guān)工作
3 基于強(qiáng)化學(xué)習(xí)的超參數(shù)優(yōu)化方法
    3.1 整體結(jié)構(gòu)
    3.2 詳細(xì)設(shè)計(jì)
        3.2.1 Agent結(jié)構(gòu)設(shè)計(jì)
        3.2.2 Agent訓(xùn)練
        3.2.3 數(shù)據(jù)引導(dǎo)池(Boot Pool)模塊
4 實(shí)驗(yàn)結(jié)果及分析
    4.1 實(shí)驗(yàn)細(xì)節(jié)
    4.2 Agent結(jié)構(gòu)的有效性
    4.3 數(shù)據(jù)引導(dǎo)池模塊對(duì)優(yōu)化結(jié)果的影響
    4.4 對(duì)比BP-Agent方法與其他優(yōu)化方法
    4.5 討論與分析
5 結(jié)束語



本文編號(hào)：3205347