隨著硬件計算能力特別是大規(guī)模分布式并行計算的飛速發(fā)展,機器學習領域得到了長足的發(fā)展。在訓練數(shù)據(jù)足夠充分的前提下,機器學習算法的超參數(shù)配置問題是其取得較好效果的關鍵。超參數(shù)是在某個機器學習算法運行之前,首先需要選取的參數(shù),例如深度學習算法中的,控制神經(jīng)網(wǎng)絡學習速度的學習率。超參數(shù)搜索的目的是為某個應用的算法選擇一組好的超參數(shù),使此算法性能達到最佳。在以往機器學習超參數(shù)選擇問題中,領域內(nèi)研究者一般都是基于個人經(jīng)驗對超參數(shù)進行人工選擇。隨著數(shù)據(jù)規(guī)模指數(shù)級上升,雖然大規(guī)模計算加速設備的飛速進展使得深度學習特別是深度強化學習算法在處理海量的圖片等數(shù)據(jù)方面顯示出強大的優(yōu)勢,但是在超參數(shù)選擇問題上仍然是一個未解決的難題。近年來隨著深度學習模型的不斷增大,其訓練成本即超參數(shù)的搜索空間也在不斷變大,然而傳統(tǒng)超參數(shù)搜索算法大部分是基于順序執(zhí)行訓練,往往需要等待數(shù)周甚至數(shù)月才有可能找到較優(yōu)的超參數(shù)配置。為解決深度學習超參數(shù)搜索時間長和難以找到較優(yōu)超參數(shù)配置問題,本文提出一種新的超參數(shù)搜索算法——基于種群演化的超參數(shù)異步并行搜索（PEHS）。算法結合演化算法思想,利用固定資源預算異步并行搜索種群模型及其超參數(shù)... 

【文章來源】：浙江師范大學浙江省

【文章頁數(shù)】：64 頁

【學位級別】：碩士

【部分圖文】：

逆強化學習示例圖

3基于種群演化的超參數(shù)異步并行搜索算法24圖3.1算法結構流程圖數(shù)。在利用和探索之后，停止性能差的成員，重新生成一個新的成員，其余成員迭代訓練像以前一樣繼續(xù)進行演化。通過局部迭代訓練和運用種群進行利用和探索的循環(huán)，直到模型收斂。算法1是基于種群演化的超參數(shù)異步并行搜索算法的偽代碼形式，圖3.1是其算法流程圖。具體流程如下：step1：通過隨機采樣的方法隨機選擇超參數(shù)配置，初始化種群P中的成員

3基于種群演化的超參數(shù)異步并行搜索算法29動性較大，Hyperband的訓練時間最長，但其波動性高于Random；說明PEHS優(yōu)化算法訓練收斂速度最快。由（3）四種算法達到最大精確度的平均迭代次數(shù)圖3.2PEHS，Hyperband，AsyHyperband，Random四種超參數(shù)搜索算法最優(yōu)實驗精確度折線圖。圖3.3PEHS，Hyperband，AsyHyperband，Random四種超參數(shù)搜索算法達到最大訓練精度的平均迭代次數(shù)折線圖。柱狀圖（圖3.3）可知，PEHS的平均迭代次數(shù)最小，性能最優(yōu)，AsyHyperband次之，Random最差。表3.4深度學習實驗結果分析通過數(shù)字的形式展示了PEHS算法最先找到最優(yōu)的超參數(shù)模型，且找到超參數(shù)模型的平均迭代時間也是最短。綜合以上圖表的分析可知，PEHS算法在深度學習超參數(shù)搜索上相對于

【參考文獻】：
期刊論文
[1]基于交叉熵優(yōu)化的高斯混合模型運動編碼[J]. 張會文,張偉,周維佳.  機器人. 2018(04)
[2]馬爾科夫決策過程在多路徑冗余傳輸調度算法中的應用[J]. 于波,于東,孫建偉.  小型微型計算機系統(tǒng). 2012(04)



本文編號：3137256