基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型
發(fā)布時(shí)間:2021-06-24 03:06
對(duì)股票價(jià)格的準(zhǔn)確預(yù)測(cè)一方面有助于決策者判斷當(dāng)前的經(jīng)濟(jì)形勢(shì),另一方面有助于投資者獲取收益。但是對(duì)股票價(jià)格進(jìn)行準(zhǔn)確預(yù)測(cè)是非常困難的,因?yàn)楣善眱r(jià)格是非平穩(wěn)、非線性且隨機(jī)游走的時(shí)間序列,難以用傳統(tǒng)的時(shí)間序列模型擬合。隨著神經(jīng)網(wǎng)絡(luò)的快速發(fā)展,神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力使其在很多領(lǐng)域都大放異彩,很多學(xué)者研發(fā)出各種神經(jīng)網(wǎng)絡(luò)模型用于股票市場(chǎng)的預(yù)測(cè),包括多層感知機(jī)模型、卷積神經(jīng)網(wǎng)絡(luò)模型以及專門預(yù)測(cè)時(shí)間序列的遞歸神經(jīng)網(wǎng)絡(luò)模型等等,但是這些模型存在特征提取困難、預(yù)測(cè)精度較低和解釋力較弱等問(wèn)題。為了解決這些問(wèn)題,本文將注意力機(jī)制引入遞歸神經(jīng)網(wǎng)絡(luò)模型,注意力機(jī)制可以給各時(shí)間維度的信息賦予不同權(quán)重,區(qū)分不同信息對(duì)預(yù)測(cè)的重要程度,從而提升遞歸網(wǎng)絡(luò)模型的可解釋性和預(yù)測(cè)精度。在實(shí)證部分,本文分別構(gòu)造了多層感知機(jī)模型、卷積神經(jīng)網(wǎng)絡(luò)模型、循環(huán)神經(jīng)網(wǎng)絡(luò)模型、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型、門控循環(huán)單元網(wǎng)絡(luò)模型、基于注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)模型、基于注意力機(jī)制的長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型和基于注意力機(jī)制的門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)模型,針對(duì)上證綜指做收盤價(jià)的預(yù)測(cè),并在不同的參數(shù)條件下做了大量的對(duì)比試驗(yàn),一方面探究注意力機(jī)制對(duì)神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)性能的影...
【文章來(lái)源】:中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:59 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1多層感知機(jī)結(jié)構(gòu)??如圖1所示,輸入層與隱含層之間、隱含層與隱含層之間、隱含層與輸出??層之間是全連接的,即上一層的所有神經(jīng)元均與下一層的所有神經(jīng)元連接
圖6局部連接和權(quán)值共享??
?第3章模型介紹???圖6局部連接和權(quán)值共享??池化層也稱為下采樣層,其目的主要是保留顯著特征、特征降維、數(shù)據(jù)壓??縮、減少過(guò)擬合和提高模型的容錯(cuò)性。最大池化和均值池化是最為常見的池化??過(guò)程,最大池化是指將局部區(qū)域內(nèi)的最大值當(dāng)作最終的輸出值,均值池化是指??計(jì)算局部區(qū)域內(nèi)所有值的平均值當(dāng)作最終的輸出值,feature?map池化后得到的??矩陣稱為pool?map。池化層有三個(gè)特征:首先使得feature?map降維,降低了網(wǎng)絡(luò)??計(jì)算的復(fù)雜度;其次池化層不會(huì)對(duì)權(quán)值進(jìn)行更新,即池化過(guò)程不會(huì)增加額外的??運(yùn)算量;最后池化單元具有平移不變性,輸入數(shù)據(jù)發(fā)生微小偏差時(shí),池化仍會(huì)??返回相同的結(jié)果,以此提升魯棒性和精度。??ax?a2?b1?b2?最大池化?一,??I???max??^3?a4?^3??X???ci?c2?d2?二“r“>????均值池化?K????卜4?I?d3?I?d4?|?丨?―??圖7最大池化和均值池化??3.2.1卷積神經(jīng)網(wǎng)絡(luò)的前向傳導(dǎo)??假設(shè)有2個(gè)卷積層和2個(gè)池化層,卷積層的輸入是30X30的矩陣M,卷??積核是3X3的矩陣,卷積核的數(shù)量為K個(gè),池化窗口為2X2。??在第一個(gè)卷積層,輸入矩陣經(jīng)過(guò)卷積核的卷積生成K個(gè)28X28大小的??feature?maps:??18??
【參考文獻(xiàn)】:
期刊論文
[1]基于多粒度時(shí)間注意力RNN的航班客座率預(yù)測(cè)[J]. 鄧玉婧,武志昊,林友芳. 計(jì)算機(jī)工程. 2020(01)
[2]GRU遞歸神經(jīng)網(wǎng)絡(luò)對(duì)股票收盤價(jià)的預(yù)測(cè)研究[J]. 黎鐳,陳藹祥,李偉書,梁偉琪,楊思桐. 計(jì)算機(jī)與現(xiàn)代化. 2018(11)
[3]基于分類的中文文本摘要方法[J]. 龐超,尹傳環(huán). 計(jì)算機(jī)科學(xué). 2018(01)
[4]基于注意力機(jī)制的LSTM的語(yǔ)義關(guān)系抽取[J]. 王紅,史金釧,張志偉. 計(jì)算機(jī)應(yīng)用研究. 2018(05)
[5]時(shí)間序列模型和神經(jīng)網(wǎng)絡(luò)模型在股票預(yù)測(cè)中的分析[J]. 劉海玥,白艷萍. 數(shù)學(xué)的實(shí)踐與認(rèn)識(shí). 2011(04)
本文編號(hào):3246232
【文章來(lái)源】:中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校
【文章頁(yè)數(shù)】:59 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1多層感知機(jī)結(jié)構(gòu)??如圖1所示,輸入層與隱含層之間、隱含層與隱含層之間、隱含層與輸出??層之間是全連接的,即上一層的所有神經(jīng)元均與下一層的所有神經(jīng)元連接
圖6局部連接和權(quán)值共享??
?第3章模型介紹???圖6局部連接和權(quán)值共享??池化層也稱為下采樣層,其目的主要是保留顯著特征、特征降維、數(shù)據(jù)壓??縮、減少過(guò)擬合和提高模型的容錯(cuò)性。最大池化和均值池化是最為常見的池化??過(guò)程,最大池化是指將局部區(qū)域內(nèi)的最大值當(dāng)作最終的輸出值,均值池化是指??計(jì)算局部區(qū)域內(nèi)所有值的平均值當(dāng)作最終的輸出值,feature?map池化后得到的??矩陣稱為pool?map。池化層有三個(gè)特征:首先使得feature?map降維,降低了網(wǎng)絡(luò)??計(jì)算的復(fù)雜度;其次池化層不會(huì)對(duì)權(quán)值進(jìn)行更新,即池化過(guò)程不會(huì)增加額外的??運(yùn)算量;最后池化單元具有平移不變性,輸入數(shù)據(jù)發(fā)生微小偏差時(shí),池化仍會(huì)??返回相同的結(jié)果,以此提升魯棒性和精度。??ax?a2?b1?b2?最大池化?一,??I???max??^3?a4?^3??X???ci?c2?d2?二“r“>????均值池化?K????卜4?I?d3?I?d4?|?丨?―??圖7最大池化和均值池化??3.2.1卷積神經(jīng)網(wǎng)絡(luò)的前向傳導(dǎo)??假設(shè)有2個(gè)卷積層和2個(gè)池化層,卷積層的輸入是30X30的矩陣M,卷??積核是3X3的矩陣,卷積核的數(shù)量為K個(gè),池化窗口為2X2。??在第一個(gè)卷積層,輸入矩陣經(jīng)過(guò)卷積核的卷積生成K個(gè)28X28大小的??feature?maps:??18??
【參考文獻(xiàn)】:
期刊論文
[1]基于多粒度時(shí)間注意力RNN的航班客座率預(yù)測(cè)[J]. 鄧玉婧,武志昊,林友芳. 計(jì)算機(jī)工程. 2020(01)
[2]GRU遞歸神經(jīng)網(wǎng)絡(luò)對(duì)股票收盤價(jià)的預(yù)測(cè)研究[J]. 黎鐳,陳藹祥,李偉書,梁偉琪,楊思桐. 計(jì)算機(jī)與現(xiàn)代化. 2018(11)
[3]基于分類的中文文本摘要方法[J]. 龐超,尹傳環(huán). 計(jì)算機(jī)科學(xué). 2018(01)
[4]基于注意力機(jī)制的LSTM的語(yǔ)義關(guān)系抽取[J]. 王紅,史金釧,張志偉. 計(jì)算機(jī)應(yīng)用研究. 2018(05)
[5]時(shí)間序列模型和神經(jīng)網(wǎng)絡(luò)模型在股票預(yù)測(cè)中的分析[J]. 劉海玥,白艷萍. 數(shù)學(xué)的實(shí)踐與認(rèn)識(shí). 2011(04)
本文編號(hào):3246232
本文鏈接:http://www.sikaile.net/shoufeilunwen/xixikjs/3246232.html
最近更新
教材專著