發(fā)布時間：2019-06-13 09:38

【摘要】：建立了以平均排隊長度差最小為優(yōu)化目標的在線Q學(xué)習(xí)模型.針對控制性能指標相對于臨近的配時方案不敏感的特點,提出了以平均排隊長度差作為基本單位重新構(gòu)造獎勵函數(shù),目的是拉大各行為對應(yīng)的Q值差距,提高模型的收斂速度和魯棒性.集成Excel VBA、Vissim、Matlab建立了在線仿真平臺,作為計算環(huán)境對模型進行了計算.利用GPS數(shù)據(jù)對Vissim軟件中車輛加減速度曲線進行了標定.計算結(jié)果表明以平均排隊長度差作為優(yōu)化目標能夠優(yōu)化整個交叉口的時空資源,本文建立的在線Q學(xué)習(xí)模型具有較快的收斂速度和魯棒性,通過學(xué)習(xí)能夠?qū)崿F(xiàn)優(yōu)化目標.
[Abstract]:An online Q learning model with the optimization goal of minimizing the average queue length difference is established. In view of the fact that the control performance index is insensitive to the adjacent timing scheme, this paper proposes to reconstruct the reward function with the average queue length difference as the basic unit, in order to widen the Q value gap corresponding to each behavior and improve the convergence speed and robustness of the model. The online simulation platform is established by integrating Excel VBA,Vissim,Matlab, and the model is calculated as a computing environment. The acceleration and deceleration curve of vehicle in Vissim software is calibrated by using GPS data. The calculation results show that the space-time resources of the whole intersection can be optimized with the average queue length difference as the optimization objective. The online Q learning model established in this paper has fast convergence speed and robustness, and the optimization goal can be achieved through learning.
【作者單位】： 長沙理工大學(xué)交通運輸工程學(xué)院;
【基金】：湖南省自然科學(xué)基金重點項目(12JJ2025) 長沙市科技局重點項目(K1106004-11)
【分類號】：U491

【參考文獻】

相關(guān)期刊論文 前2條

1 馬壽峰,李英,劉豹;一種基于Agent的單路口交通信號學(xué)習(xí)控制方法[J];系統(tǒng)工程學(xué)報;2002年06期

2 承向軍;常歆識;楊肇夏;;基于Q-學(xué)習(xí)的交通信號控制方法[J];系統(tǒng)工程理論與實踐;2006年08期

【共引文獻】

相關(guān)期刊論文 前10條

1 趙曉華;李振龍;于泉;張杰;;基于切換模型的兩交叉口信號燈Q學(xué)習(xí)協(xié)調(diào)控制[J];北京工業(yè)大學(xué)學(xué)報;2007年11期

2 別一鳴;王殿海;馬東方;朱自博;;基于車隊離散模型的分布式多智能體信號協(xié)調(diào)控制算法(英文)[J];Journal of Southeast University(English Edition);2011年03期

3 陳陽舟;張輝;楊玉珍;胡全連;;基于Q學(xué)習(xí)的Agent在單路口交通控制中的應(yīng)用[J];公路交通科技;2007年05期

4 趙曉華;石建軍;李振龍;趙國勇;;基于Q-learning和BP神經(jīng)元網(wǎng)絡(luò)的交叉口信號燈控制[J];公路交通科技;2007年07期

5 黃艷國;唐軍;許倫輝;;基于Agent的城市道路交通信號控制方法[J];公路交通科技;2009年10期

6 李春貴;陽樹洪;王萌;張增芳;;基于SARSA(λ)算法的單路口交通信號學(xué)習(xí)控制[J];廣西工學(xué)院學(xué)報;2008年02期

7 陳若航;;基于agent的城市過境交通流模型[J];廣西物理;2007年02期

8 盧守峰;邵維;韋欽平;劉喜敏;;基于綠燈時間等飽和度的離線Q學(xué)習(xí)配時優(yōu)化模型[J];系統(tǒng)工程;2012年07期

9 曹潔;王艷雨;;基于Q學(xué)習(xí)的交通信號自學(xué)習(xí)控制方法的研究[J];工業(yè)儀表與自動化裝置;2013年04期

10 盧守峰;張術(shù);劉喜敏;;單交叉口多相位在線Q學(xué)習(xí)交通控制模型[J];交通科學(xué)與工程;2014年01期

相關(guān)博士學(xué)位論文 前8條

1 聞育;復(fù)雜多階段動態(tài)決策的蟻群優(yōu)化方法及其在交通系統(tǒng)控制中的應(yīng)用[D];浙江大學(xué);2004年

2 朱文興;城市交通系統(tǒng)智能優(yōu)化控制研究[D];山東大學(xué);2006年

3 郭海鋒;局部擁擠條件下城市道路交通信號控制方法研究[D];吉林大學(xué);2008年

4 于萬霞;基于流量預(yù)測的城市單交叉路口多相位交通信號的控制技術(shù)[D];河北工業(yè)大學(xué);2008年

5 田翠華;基于WSRF的交通信息服務(wù)網(wǎng)格的研究[D];東北大學(xué);2008年

6 張良智;城市區(qū)域交通控制技術(shù)研究[D];山東大學(xué);2013年

7 丁建梅;基于交通組成的干道交通系統(tǒng)信號控制方法研究[D];哈爾濱工業(yè)大學(xué);2009年

8 夏新海;面向城市自適應(yīng)交通信號控制的強化學(xué)習(xí)方法研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 李志強;Q學(xué)習(xí)在單路口交通信號控制中的應(yīng)用研究[D];長沙理工大學(xué);2010年

2 閆向磊;基于近似動態(tài)規(guī)劃的城市交通信號優(yōu)化控制算法研究[D];廣西工學(xué)院;2011年

3 趙雅秀;公交信號優(yōu)先控制理論與方法研究[D];重慶交通大學(xué);2011年

4 張輝;區(qū)域交通信號網(wǎng)絡(luò)協(xié)調(diào)控制的研究[D];北京工業(yè)大學(xué);2006年

5 於蓓蓓;溪洛渡水電站場內(nèi)交通系統(tǒng)層次多代理系統(tǒng)及其決策問題的研究[D];天津大學(xué);2006年

6 江岸;基于多Agent的城市交通控制與誘導(dǎo)系統(tǒng)協(xié)作研究[D];長沙理工大學(xué);2007年

7 王陽;基于云模型的交通信號自適應(yīng)控制系統(tǒng)研究[D];北京交通大學(xué);2008年

8 劉虹秀;基于Multi-Agent的城市交通信號控制研究[D];長沙理工大學(xué);2008年

9 高麗穎;基于Agent的城市交通信號控制方法研究[D];北京工業(yè)大學(xué);2008年

10 封晨;基于Q-學(xué)習(xí)的單路口智能信號控制研究[D];昆明理工大學(xué);2008年

【二級參考文獻】

相關(guān)期刊論文 前5條

1 馬壽峰,李英,劉豹;一種基于Agent的單路口交通信號學(xué)習(xí)控制方法[J];系統(tǒng)工程學(xué)報;2002年06期

2 馬壽峰,賀國光,劉豹;一種通用的城市道路交通流微觀仿真系統(tǒng)的研究[J];系統(tǒng)工程學(xué)報;1998年04期

3 承向軍,賀振歡,楊肇夏;基于遺傳算法的交通信號機器學(xué)習(xí)控制方法[J];系統(tǒng)工程理論與實踐;2004年08期

4 陳洪,陳森發(fā);單路口交通實時模糊控制的一種方法[J];信息與控制;1997年03期

5 俞星星,閻平凡;強化學(xué)習(xí)系統(tǒng)及其基于可靠度最優(yōu)的學(xué)習(xí)算法[J];信息與控制;1997年05期

【相似文獻】

相關(guān)期刊論文 前10條

1 聞育,吳鐵軍;基于蟻群算法的城域交通控制實時滾動優(yōu)化[J];控制與決策;2004年09期

2 聞育,吳鐵軍;基于蟻群算法的交通控制降階滾動優(yōu)化[J];浙江大學(xué)學(xué)報(工學(xué)版);2005年06期

3 陳峰;賈元華;李健;郝琪;;結(jié)合部區(qū)域入口匝道協(xié)調(diào)控制模型[J];北京交通大學(xué)學(xué)報;2010年06期

4 陳峰;賈元華;牛忠海;易惠欣;宋惠娟;;基于模糊神經(jīng)網(wǎng)絡(luò)的結(jié)合部匝道控制方法研究[J];交通運輸系統(tǒng)工程與信息;2011年01期

5 段源華，陳洪仁，，李元誠;干道交通控制的子系統(tǒng)比擬方法及控制時段確定[J];哈爾濱建筑大學(xué)學(xué)報;1995年02期

6 王金艷,劉鐵成;高速公路交通控制策略[J];河南交通科技;1998年03期

7 周彤梅,冶文斌;道路交通控制的發(fā)展趨勢研究[J];公安大學(xué)學(xué)報(自然科學(xué)版);2002年06期

8 于萬霞;杜太行;鄭宏興;;基于粒子群的模糊神經(jīng)網(wǎng)絡(luò)交通信號控制[J];微計算機信息;2008年07期

9 毛漢穎;楊鋼鋒;黃振峰;;交通信號機基于DSP的方案設(shè)計[J];廣西工學(xué)院學(xué)報;2008年03期

10 白小雷;;UTC交通信號機流量數(shù)據(jù)報告的實現(xiàn)[J];電腦編程技巧與維護;2010年20期

相關(guān)會議論文 前10條

1 黎冬平;陳峻;;路段人行橫道信號控制方式研究[A];2007第三屆中國智能交通年會論文集[C];2007年

2 秦鐘;王法勝;;交叉口排隊長度的視頻檢測[A];第二十九屆中國控制會議論文集[C];2010年

3 成衛(wèi);李學(xué)敏;陳昱光;袁滿榮;;過飽和交叉口單點信號配時方法研究[A];2008第四屆中國智能交通年會論文集[C];2008年

4 張國伍;;關(guān)于發(fā)展我國智能交通系統(tǒng)的幾個問題[A];系統(tǒng)工程與可持續(xù)發(fā)展戰(zhàn)略——中國系統(tǒng)工程學(xué)會第十屆年會論文集[C];1998年

5 于泉;榮建;張金喜;;交通控制課程設(shè)計理論與實踐平行建設(shè)探討[A];土木建筑教育改革理論與實踐[C];2009年

6 巨永鋒;劉新華;;平面交叉口交通控制計算機仿真系統(tǒng)研究[A];2003年全國系統(tǒng)仿真學(xué)術(shù)年會論文集[C];2003年

7 徐欣;徐立鴻;;城市單交叉口兩級加權(quán)神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)設(shè)計與應(yīng)用[A];'2008系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2008年

8 吳德志;劉志榮;林淑芬;;城市道路交通控制系統(tǒng)的發(fā)展趨勢[A];福建省科協(xié)第四屆學(xué)術(shù)年會——提升福建制造業(yè)競爭力的戰(zhàn)略思考專題學(xué)術(shù)年會論文集[C];2004年

9 李強偉;;信號控制交叉口最佳周期計算方法的比較分析[A];中國儀器儀表學(xué)會第九屆青年學(xué)術(shù)會議論文集[C];2007年

10 張鵬;常玉林;;信號交叉口機動車飽和度配時方法研究[A];2007第三屆中國智能交通年會論文集[C];2007年

相關(guān)重要報紙文章 前10條

1 王典麗;H3C關(guān)注國家軌道交通信息化建設(shè)[N];人民鐵道;2008年

2 洪濤、張洋、志新、立輝，記者 賈建勇;我市引進西門子高科技交通控制系統(tǒng)項目在京簽約[N];承德日報;2005年

3 工宣　;煙臺建成交通控制系統(tǒng)集成平臺[N];人民公安報;2005年

4 李進勝 記者　 盧軍 邵晶巖;個體車成為交通事故多發(fā)群體[N];黑龍江日報;2006年

5 劉長林;北京軌道交通控制“心臟”年底竣工[N];中華建筑報;2007年

6 本報記者　 潘強;峰會交通：彰顯政府軟實力[N];中國改革報;2006年

7 夏丹邋通訊員 劉新海 岳川東;煙臺蓄勢城區(qū)立體大交通[N];煙臺日報;2007年

8 譚富仁;白山黑水共建平安和諧校園[N];北方法制報;2008年

9 科左后旗公安交通警察大隊 楊溢;環(huán)形交叉路口交通控制模式初探[N];通遼日報;2011年

10 羅瞻;確保高速公路平安高效運行[N];政府采購信息報;2007年

相關(guān)博士學(xué)位論文 前10條

1 李健;結(jié)合部路網(wǎng)匝道系統(tǒng)結(jié)構(gòu)分解與協(xié)同控制方法研究[D];北京交通大學(xué);2012年

2 袁滿榮;昆明市主城區(qū)交通控制關(guān)鍵技術(shù)研究[D];吉林大學(xué);2011年

3 王亮;城市快速路交通流采集與控制相關(guān)問題研究[D];天津大學(xué);2005年

4 保麗霞;基于信息集成的城市交通流誘導(dǎo)與交通控制協(xié)同的關(guān)鍵理論及技術(shù)研究[D];吉林大學(xué);2006年

5 楊立才;城市道路交通智能控制策略的研究[D];山東大學(xué);2005年

6 譚滿春;面向ITS的高速公路網(wǎng)交通分配與入口匝道控制方法研究[D];華南理工大學(xué);2000年

7 李鳳;公交信號優(yōu)先協(xié)調(diào)控制理論與方法研究[D];吉林大學(xué);2009年

8 彭博;大范圍交通控制與交通流誘導(dǎo)協(xié)同關(guān)鍵技術(shù)研究[D];吉林大學(xué);2011年

9 王富;城市事故災(zāi)難道路交通應(yīng)急組織理論與方法研究[D];華中科技大學(xué);2011年

10 姚榮涵;車輛排隊模型研究[D];吉林大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 仕小偉;城市主干路交通溢流建模及其仿真研究[D];山東大學(xué);2013年

2 李鳳;過飽和狀態(tài)下交叉口車輛延誤和排隊長度模型研究[D];吉林大學(xué);2006年

3 陳斌;基于大系統(tǒng)遞階優(yōu)化的交通控制與誘導(dǎo)協(xié)同方法研究[D];長安大學(xué);2012年

4 張潔彬;基于車輛間通信的智能十字路口交通控制系統(tǒng)設(shè)計與實現(xiàn)[D];中山大學(xué);2013年

5 謝穎;交通控制子區(qū)動態(tài)劃分和信號協(xié)調(diào)優(yōu)化控制[D];廣西工學(xué)院;2011年

6 陳昱光;城市道路交通瓶頸信號控制方法研究[D];吉林大學(xué);2008年

7 于晨牧;基于時序規(guī)劃的交通信號區(qū)域協(xié)調(diào)控制方法研究[D];東北師范大學(xué);2009年

8 李艷君;基于博弈論的交通控制與誘導(dǎo)一體化模型的研究[D];天津大學(xué);2003年

9 梁瀟;信號交叉口渠化區(qū)可變車道設(shè)計原理研究[D];吉林大學(xué);2008年

10 唐磊;基于MapX的交通控制仿真系統(tǒng)的研究[D];南京理工大學(xué);2010年

本文編號：2498434