本文介紹近年逐漸興起的自動化機器學(xué)習(xí)框架,著重討論其中頗具挑戰(zhàn)的超參調(diào)優(yōu)問題.常用的調(diào)參方法有格子點法、隨機搜索等批量抽樣策略,還包括Bayes優(yōu)化、群體搜索算法和強化學(xué)習(xí)等序貫策略.由方開泰和王元早在1990年提出的貫序數(shù)論優(yōu)化算法,利用序貫均勻設(shè)計對復(fù)雜響應(yīng)曲面尋求全局最優(yōu)值,同樣適用于超參調(diào)優(yōu).本文以支持向量機和極限梯度推進機這兩種常用的機器學(xué)習(xí)模型為例,結(jié)合兩組典型的二分類數(shù)據(jù)集,對多種超參調(diào)優(yōu)方法進行測試.通過比較分析發(fā)現(xiàn)一種改進的貫序數(shù)論優(yōu)化算法,對解決自動化機器學(xué)習(xí)中的調(diào)參問題,頗具潛力.

【文章頁數(shù)】：16 頁

【部分圖文】：

圖1(網(wǎng)絡(luò)版彩圖)自動化機器學(xué)習(xí)框架

自動化機器學(xué)習(xí)(automatedmachinelearning,AutoML),旨在實現(xiàn)機器學(xué)習(xí)實踐中涉及的一系列步驟的自動化,包括數(shù)據(jù)預(yù)處理、特征工程、模型選擇和超參優(yōu)化等.圖1勾勒了目前常用的一種AutoML框架,其中超參優(yōu)化是最重要的一個環(huán)節(jié).自動化超參調(diào)優(yōu)相較于手工....

圖2(網(wǎng)絡(luò)版彩圖)4種方法的比較:在2維空間生成25個試驗點.(a)格子點法;(b)隨機搜索;(c)超拉丁方抽樣;(d)Sobol序列

格子點法預(yù)先將每一維超參劃分成多個格點,然后對所有維度的格點組合進行窮舉搜索.這種方法由于其簡單、易操作的特性,在實踐中被廣泛使用.假設(shè)超參維度為s,每個超參可以選取的格點數(shù)相同且均為g,窮舉搜索的總次數(shù)即為gs.因為格子點數(shù)量會隨著超參維度的增加呈幾何級數(shù)增加所以對于高維超參優(yōu)....

圖3(網(wǎng)絡(luò)版彩圖)Bayes優(yōu)化示例

由Hutter等[6]提出的SMAC方法是另一種經(jīng)典的Bayes優(yōu)化方法.與GP-EI方法類似,SMAC方法將期望提升作為采集函數(shù),并使用隨機森林作為代理模型來擬合潛在的響應(yīng)曲面.隨機森林模型最早由Breiman[8]提出,本質(zhì)上是一組并行化的決策樹集成模型,具有較強的非線性擬合....

圖4(網(wǎng)絡(luò)版彩圖)SNTO與SNTO-New示意圖.(a)均勻設(shè)計U20(202);(b)SNTO;(c)SNTO-New

然后,判斷新的邊界是否超出原始[0,1]s區(qū)間.如果超出,則將縮放空間后的子空間向內(nèi)平移,直到子空間完全處于邊界之內(nèi).(2)在每次生成新的子空間均勻設(shè)計時,對每個試驗點的所有因子各自添加一個隨機擾動:

本文編號：3938194