學(xué)習(xí)自動(dòng)機(jī),是一種借助與環(huán)境的不斷交互調(diào)整自身的學(xué)習(xí)機(jī)制,其理論模型隸屬于機(jī)器學(xué)習(xí)中強(qiáng)化學(xué)習(xí)的范疇。學(xué)習(xí)自動(dòng)機(jī)由于其所具有的快速收斂、全局優(yōu)化、抗噪能力和完備理論等特點(diǎn),已受到了相當(dāng)程度的關(guān)注,并且已在模式識(shí)別、函數(shù)優(yōu)化、路徑規(guī)劃等領(lǐng)域得到了初步應(yīng)用。然而,目前學(xué)習(xí)自動(dòng)機(jī)算法的性能在很大程度上受超參數(shù)設(shè)置的影響。為獲得合適的超參數(shù)取值,需要尋優(yōu)以調(diào)節(jié)參數(shù)設(shè)置,而參數(shù)調(diào)節(jié)通常會(huì)帶來(lái)大量的計(jì)算開(kāi)銷。特別地,在與環(huán)境交互代價(jià)大的場(chǎng)景下,超參數(shù)調(diào)節(jié)可能會(huì)帶來(lái)高昂甚至毀滅性的損失,從而成為學(xué)習(xí)自動(dòng)機(jī)發(fā)展的一大瓶頸。因此,從免參數(shù)調(diào)節(jié)的角度拓展其理論使之適用于應(yīng)用場(chǎng)景已經(jīng)成為學(xué)習(xí)自動(dòng)機(jī)領(lǐng)域的發(fā)展趨勢(shì)。有鑒于此,本文深入研究了學(xué)習(xí)自動(dòng)機(jī)算法的免參數(shù)調(diào)節(jié)機(jī)制,在有限與連續(xù)行為集合、平穩(wěn)與非平穩(wěn)環(huán)境下的免參數(shù)調(diào)節(jié)機(jī)制方面豐富和完善了目前的學(xué)習(xí)自動(dòng)機(jī)理論,創(chuàng)新性工作歸納如下:第一,針對(duì)平穩(wěn)環(huán)境下有限行為集合學(xué)習(xí)自動(dòng)機(jī)(FALA)理論,本文分析了現(xiàn)有絕大多數(shù)含超參數(shù)算法對(duì)參數(shù)的依賴和尋參代價(jià)、以及唯一不含超參數(shù)算法無(wú)法擺脫概率向量的局限性,設(shè)計(jì)了使得采樣策略和終止條件不依賴于概率向量的免參數(shù)調(diào)節(jié)思路,分別從損...

【文章頁(yè)數(shù)】：179 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖1–1論文組織結(jié)構(gòu)

圖1–1展示了后續(xù)各章節(jié)的組織結(jié)構(gòu)安排情況,具體如下:第一章介紹了論文的研究背景和意義、國(guó)內(nèi)外研究現(xiàn)狀以及本文的研究?jī)?nèi)容。

圖2–1學(xué)習(xí)自動(dòng)機(jī)與隨機(jī)環(huán)境的交互框架

數(shù)學(xué)上描述的學(xué)習(xí)自動(dòng)機(jī)模型通常包含了學(xué)習(xí)自動(dòng)機(jī)與隨機(jī)環(huán)境兩大實(shí)體,通過(guò)行為和反饋形成了一個(gè)閉環(huán)循環(huán)。學(xué)習(xí)自動(dòng)機(jī)與隨機(jī)環(huán)境的交互示意如下圖2–1[76]所示,以下是其簡(jiǎn)要的運(yùn)作流程:在t時(shí)刻,學(xué)習(xí)自動(dòng)機(jī)從行為集合中選擇一個(gè)行為α(t)并輸送給隨機(jī)環(huán)境。隨機(jī)環(huán)境收到行為后響應(yīng)一個(gè)反饋....

圖3–1當(dāng)前含超參數(shù)學(xué)習(xí)自動(dòng)機(jī)與不含超參數(shù)學(xué)習(xí)自動(dòng)機(jī)的算法框架圖

事實(shí)上,雖然該算法通過(guò)去掉行為選擇概率向量的方式達(dá)成了免參數(shù)調(diào)節(jié)的效果,但取代行為選擇概率向量功能的變量是對(duì)每個(gè)行為好壞性能的假設(shè),本質(zhì)上也是一個(gè)概率向量。如圖3–1所示,在學(xué)習(xí)自動(dòng)機(jī)算法的行為選擇、狀態(tài)更新和終止判定的依據(jù)選取上,PFLA實(shí)現(xiàn)了從P=[p1,p2···pr]到P....

圖3–2在環(huán)境E1-E5中LFPLAmulti相對(duì)于對(duì)比算法的性能

更進(jìn)一步,表3–14給出了LFPLAmulti與一些經(jīng)典FALA算法的準(zhǔn)確率對(duì)比結(jié)果,表3–15給出了LFPLAmulti與一些經(jīng)典FALA算法的迭代數(shù)對(duì)比結(jié)果,圖3–2以圖形方式以圖形方式給出了本節(jié)算法在迭代數(shù)角度的提升性能,其中,LFPLAmulti采用了最好的采樣策略即湯普....

本文編號(hào)：4022200