一種不穩(wěn)定環(huán)境下的策略搜索及遷移方法
發(fā)布時間：2019-09-26 18:30
【摘要】：強化學(xué)習(xí)是一種Agent在與環(huán)境交互過程中,通過累計獎賞最大化來尋求最優(yōu)策略的在線學(xué)習(xí)方法.由于在不穩(wěn)定環(huán)境中,某一時刻的MDP模型在與Agent交互之后就發(fā)生了變化,導(dǎo)致基于穩(wěn)定MDP模型傳統(tǒng)的強化學(xué)習(xí)方法無法完成不穩(wěn)定環(huán)境下的最優(yōu)策略求解問題.針對不穩(wěn)定環(huán)境下的策略求解問題,利用MDP分布對不穩(wěn)定環(huán)境進行建模,提出一種基于公式集的策略搜索算法——FSPS.FSPS算法在學(xué)習(xí)過程中搜集所獲得的歷史樣本信息,并對其進行特征信息的提取,利用這些特征信息來構(gòu)造不同的用于動作選擇的公式,采取策略搜索算法求解最優(yōu)公式.在此基礎(chǔ)之上,給出所求解策略的最優(yōu)性邊界,并從理論上證明了遷移到新MDP分布中策略的最優(yōu)性主要依賴于MDP分布之間的距離以及所求解策略在原始MDP分布中的性能.最后,將FSPS算法用于經(jīng)典的Markov Chain問題,實驗結(jié)果表明,所求解的策略具有較好的性能.
【圖文】：
２６４邐電子學(xué)邋報邐２０１７年逡逑右１邋－的概座儲彳曰Ｉ邋－嚴．Ｉ邐Ｒ、＿尺＂，…邐＇邋用于求解最優(yōu)策略，而戶，，用于遷移所學(xué)習(xí)的最優(yōu)策略’逡逑’邋－Ｔ日、］慨半守心“＋邐，邋＿ｒ邐并測試所遷移策略的性能？在解決其他問題時，可以根據(jù)實逡逑／邋＾邋＿２＿邐際情況設(shè)置為其他概率分布，如泊松分布（Ｐｏｉｓｓｏｎ邋ｄｉｓｔｒｉｂｕ－逡逑／邐—邋＋邋Ｓ邋（邋ｈ邋＊邋ｈ＊邋）成立邐ｌｉｏｎ）、高斯分布（Ｇａｕｓｓｉａｎ邋ｄｉｓｔｒｉｂｕｔｉｏｎ）等．逡逑＾邋ｎ邋，，ｕ邐＇邋Ａ，＂邐在實驗過程中，設(shè)定每個ＭＤＰ分布包含２００個子逡逑根據(jù)定理３，我們可以發(fā)現(xiàn)策略／！；．從／＼（邋？）遷移邋ＭＤＰ，即《＝２００；ＭＤＰ分布之間距離的閾值（＝０．０１，折扣逡逑到￣（邋？）后，當ＭＤＰ樣本足夠大時，其性能主要依賴因子ｙ＝０．９，Ｔ＝０．０丨，ＣＲ＝０．３，Ｃｐ＝０．７，，ｅ—貪心策略中＾逡逑于Ｐ？，（邋？）和Ｐ，，：（邋？）之間的距離，？）以及Ｗ邋０．７；從ＭＤＰ分布中采樣得到的子ＭＤＰ的數(shù)量默認是２００；逡逑在Ｐ？，（邋？）中的，／ｉ；邋）？因此，如果當兩個ＭＤＰ分邐根據(jù)算法２，求解Ｐ，，和之間的距離是３４．５４．逡逑布足夠接近時，我們可以直接將策略從一個ＭＤＰ分布邐在不穩(wěn)定ＭＤＰ環(huán)境下，包括貪心策略（Ｇｒｅｅｄｙ邋Ｐｏｌｉ－逡逑直接遷移到另一個ＭＤＰ分布，實現(xiàn)策略的遷移，并保證邐ｃｙ）、＆貪心策略或者模擬退火策略等在內(nèi)的傳統(tǒng)強化逡逑所遷移策略在新分布中具有較好的性能．另外，當我們邐學(xué)習(xí)無法很好地平衡算法執(zhí)行過程中的探索和利用問逡逑固定ｔ的值，邐題＿例如，貪心策略在算法執(zhí)行過程中僅利用Ａｇｅｍ已逡逑＾２９邐邐邋／Ｉｎ２（２／ｒ）邐
第２期邐朱斐：一種不穩(wěn)定環(huán)境下的策略搜索及遷移方法邐２６５逡逑接著，我們通過實驗比較各策略在不同ＭＤＰ樣本邐邐逡逑數(shù)量下的性能．在實驗中，我們設(shè)定ＭＤＰ樣本的數(shù)量分逡逑趙邋４００邋－邋＼逡逑另丨丨是丨0、２０、４０、８０、１５０以及２００．圖２是在不同吣叩采邋ｇ邐邐邐邐邐逡逑樣情況下，與各策略的性目匕比較圖．從圖２中１丨丨以行出邐２０００邋５００邋１０００邋１５００邋２０００邋２５００邋３０００邋３５００邋４０００邋４５００邋５０００逡逑在不同ＭＤＰ樣本情況下，相比與貪心策略、心貪心策略邐ｉ９0｜邐逡逑，邐邋蝴丨８０－逡逑以及隨機策略，１３邋－、／ｐＵ，ｕ）邋Ｉ對應(yīng)的策略始終能夠取邐趣？－邐＾＿＿＿＿＿逡逑Ｓ邋１６０－邐邐逡逑得較優(yōu)的實驗結(jié)果．同時，觀察ｉ３邋＿邋／ｐｕ，“）Ｉ在同邐邐逡逑ＭＤＰ樣本情況下累計獎賞值，可以發(fā)現(xiàn)丨３邋－邐１４0。５。。丨＿邋＿邋：漂。的＾恀循棚５＿逡逑的曲線相對是比較穩(wěn)定的，這也是由于該策略能夠較邐圖３不同ＭＤＰ樣本數(shù)《下遷移策略的最優(yōu)性邊界逡逑好的平衡學(xué)習(xí)過程中的探索和利用問題．另外，相對于邐７邋結(jié)束語逡逑基于制數(shù)的３作選．擇【策略，？二￥（二Ｕ加ｆ易邐＊文主要針對傳統(tǒng)強化學(xué)習(xí)算法無法求解非穩(wěn)定逡逑計界，這也可財栛」’加Pㄓ剩眨輳ⅲ停模衻w下灥測及控}碧�，提出灀ＤＰ分布来脴E義希常擔埃危卞問霾晃榷ǎ停模謝肪常⑸杓屏艘恢只詮郊牟唄運彥義細猓
本文編號：2542285
【圖文】：
２６４邐電子學(xué)邋報邐２０１７年逡逑右１邋－的概座儲彳曰Ｉ邋－嚴．Ｉ邐Ｒ、＿尺＂，…邐＇邋用于求解最優(yōu)策略，而戶，，用于遷移所學(xué)習(xí)的最優(yōu)策略’逡逑’邋－Ｔ日、］慨半守心“＋邐，邋＿ｒ邐并測試所遷移策略的性能？在解決其他問題時，可以根據(jù)實逡逑／邋＾邋＿２＿邐際情況設(shè)置為其他概率分布，如泊松分布（Ｐｏｉｓｓｏｎ邋ｄｉｓｔｒｉｂｕ－逡逑／邐—邋＋邋Ｓ邋（邋ｈ邋＊邋ｈ＊邋）成立邐ｌｉｏｎ）、高斯分布（Ｇａｕｓｓｉａｎ邋ｄｉｓｔｒｉｂｕｔｉｏｎ）等．逡逑＾邋ｎ邋，，ｕ邐＇邋Ａ，＂邐在實驗過程中，設(shè)定每個ＭＤＰ分布包含２００個子逡逑根據(jù)定理３，我們可以發(fā)現(xiàn)策略／！；．從／＼（邋？）遷移邋ＭＤＰ，即《＝２００；ＭＤＰ分布之間距離的閾值（＝０．０１，折扣逡逑到￣（邋？）后，當ＭＤＰ樣本足夠大時，其性能主要依賴因子ｙ＝０．９，Ｔ＝０．０丨，ＣＲ＝０．３，Ｃｐ＝０．７，，ｅ—貪心策略中＾逡逑于Ｐ？，（邋？）和Ｐ，，：（邋？）之間的距離，？）以及Ｗ邋０．７；從ＭＤＰ分布中采樣得到的子ＭＤＰ的數(shù)量默認是２００；逡逑在Ｐ？，（邋？）中的，／ｉ；邋）？因此，如果當兩個ＭＤＰ分邐根據(jù)算法２，求解Ｐ，，和之間的距離是３４．５４．逡逑布足夠接近時，我們可以直接將策略從一個ＭＤＰ分布邐在不穩(wěn)定ＭＤＰ環(huán)境下，包括貪心策略（Ｇｒｅｅｄｙ邋Ｐｏｌｉ－逡逑直接遷移到另一個ＭＤＰ分布，實現(xiàn)策略的遷移，并保證邐ｃｙ）、＆貪心策略或者模擬退火策略等在內(nèi)的傳統(tǒng)強化逡逑所遷移策略在新分布中具有較好的性能．另外，當我們邐學(xué)習(xí)無法很好地平衡算法執(zhí)行過程中的探索和利用問逡逑固定ｔ的值，邐題＿例如，貪心策略在算法執(zhí)行過程中僅利用Ａｇｅｍ已逡逑＾２９邐邐邋／Ｉｎ２（２／ｒ）邐
第２期邐朱斐：一種不穩(wěn)定環(huán)境下的策略搜索及遷移方法邐２６５逡逑接著，我們通過實驗比較各策略在不同ＭＤＰ樣本邐邐逡逑數(shù)量下的性能．在實驗中，我們設(shè)定ＭＤＰ樣本的數(shù)量分逡逑趙邋４００邋－邋＼逡逑另丨丨是丨0、２０、４０、８０、１５０以及２００．圖２是在不同吣叩采邋ｇ邐邐邐邐邐逡逑樣情況下，與各策略的性目匕比較圖．從圖２中１丨丨以行出邐２０００邋５００邋１０００邋１５００邋２０００邋２５００邋３０００邋３５００邋４０００邋４５００邋５０００逡逑在不同ＭＤＰ樣本情況下，相比與貪心策略、心貪心策略邐ｉ９0｜邐逡逑，邐邋蝴丨８０－逡逑以及隨機策略，１３邋－、／ｐＵ，ｕ）邋Ｉ對應(yīng)的策略始終能夠取邐趣？－邐＾＿＿＿＿＿逡逑Ｓ邋１６０－邐邐逡逑得較優(yōu)的實驗結(jié)果．同時，觀察ｉ３邋＿邋／ｐｕ，“）Ｉ在同邐邐逡逑ＭＤＰ樣本情況下累計獎賞值，可以發(fā)現(xiàn)丨３邋－邐１４0。５。。丨＿邋＿邋：漂。的＾恀循棚５＿逡逑的曲線相對是比較穩(wěn)定的，這也是由于該策略能夠較邐圖３不同ＭＤＰ樣本數(shù)《下遷移策略的最優(yōu)性邊界逡逑好的平衡學(xué)習(xí)過程中的探索和利用問題．另外，相對于邐７邋結(jié)束語逡逑基于制數(shù)的３作選．擇【策略，？二￥（二Ｕ加ｆ易邐＊文主要針對傳統(tǒng)強化學(xué)習(xí)算法無法求解非穩(wěn)定逡逑計界，這也可財栛」’加Pㄓ剩眨輳ⅲ停模衻w下灥測及控}碧�，提出灀ＤＰ分布来脴E義希常擔埃危卞問霾晃榷ǎ停模謝肪常⑸杓屏艘恢只詮郊牟唄運彥義細猓
本文編號：2542285
本文鏈接：http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/2542285.html
最近更新
教材專著
