在統(tǒng)計和金融交叉的應(yīng)用領(lǐng)域中,股票市場是一個變量上數(shù)量和關(guān)系都錯綜復(fù)雜的非線性系統(tǒng),如何能夠準(zhǔn)確地預(yù)測其未來的價格變化是非常值得研究的方向。傳統(tǒng)的統(tǒng)計學(xué)習(xí)方法在實際應(yīng)用中很難處理這么錯綜復(fù)雜的關(guān)系,很難準(zhǔn)確地提取股票數(shù)據(jù)蘊含地數(shù)據(jù),隨著計算機(jī)硬件和深度學(xué)習(xí)地相互發(fā)展,越來越多的深度學(xué)習(xí)方法被使用在股票市場預(yù)測中來。本文的研究內(nèi)容主要在于如何在股票市場的預(yù)測中使用深度學(xué)習(xí)的技術(shù)得到更為準(zhǔn)確的結(jié)果。近幾年,注意力機(jī)制在NLP領(lǐng)域中已經(jīng)獲得了很大的成功,也帶動了很多在時間序列預(yù)測方面的應(yīng)用。由于股票數(shù)據(jù)中充斥著大量的噪聲,并且變量之間的關(guān)系也很復(fù)雜,基于這一性質(zhì),本文提出了一個基于注意力機(jī)制的模型來預(yù)測股票價格,構(gòu)建了基于長短期記憶神經(jīng)網(wǎng)絡(luò)的編碼器-解碼器結(jié)構(gòu),使用長短期記憶神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制來提取股票市場的歷史數(shù)據(jù)中的信息,并且在編碼器部分加入了兩階段的注意力機(jī)制,可以分別從橫向和縱向可以更好地捕捉數(shù)據(jù)的隱藏狀態(tài)相互之間的關(guān)系,可以更準(zhǔn)確的提取股票歷史數(shù)據(jù)中的內(nèi)在信息,并在解碼器加入了一個注意力機(jī)制,以此來對未來的股票波動變化趨勢進(jìn)行預(yù)測,通過實驗對比,改進(jìn)模型的準(zhǔn)確率進(jìn)一步提升,通過對... 

【文章來源】：蘭州大學(xué)甘肅省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：46 頁

【學(xué)位級別】：碩士

【部分圖文】：

RNN的結(jié)構(gòu)

蘭州大學(xué)碩士學(xué)位論文基于注意力機(jī)制的股票預(yù)測分析圖2-2LSTM細(xì)胞結(jié)構(gòu)遺忘門：在我們的LSTM中的第一步是通過使用遺忘門這一結(jié)構(gòu)選擇對于輸入進(jìn)來的信息，我們需要遺忘哪些信息然后再繼續(xù)向下傳播。對于時間t的神經(jīng)細(xì)胞單元，該門會讀取前一個時刻的隱藏狀態(tài)1和時間t的輸入，然后經(jīng)過一個函數(shù)輸出一個在0到1之間的數(shù)值給前一個時刻的細(xì)胞狀態(tài)1，表示細(xì)胞狀態(tài)1中的哪些信息需要被遺忘和哪些信息會繼續(xù)傳播下去。1表示全部的信息都將向下傳播，0表示所有的信息都被遺忘不繼續(xù)向下傳播。LSTM經(jīng)過學(xué)習(xí)確定網(wǎng)絡(luò)需要丟棄和儲存上一個狀態(tài)百分之多少的信息繼續(xù)向前傳播。遺忘門的計算公式為：=(·[1,]+).其中，為權(quán)重矩陣，為偏置項，為Sigmoid函數(shù)。輸入門：LSTM通過這個門來決定新的輸入信息有哪些會輸入到當(dāng)前t時刻的神經(jīng)細(xì)胞單元里，這個門是使用一個函數(shù)來決定新的信息中有哪些會被保留和舍棄。=(·[1,]+).=(·[1,]+).在使用了前面的兩個門后，我們就知道該如何更新當(dāng)前的細(xì)胞單元的信息狀態(tài)了。更新方式為：=*1+*.11

蘭州大學(xué)碩士學(xué)位論文基于注意力機(jī)制的股票預(yù)測分析圖2-3Google的Attention翻譯器結(jié)構(gòu)Encoder：這里的編碼器結(jié)構(gòu)是由幾個獨立的結(jié)構(gòu)構(gòu)成的，每個結(jié)構(gòu)里邊都包含兩層結(jié)構(gòu)。輸入數(shù)據(jù)進(jìn)入第一個結(jié)構(gòu)是一個多頭注意力結(jié)構(gòu)，然后再經(jīng)過下一個結(jié)構(gòu)是一個前向傳播的神經(jīng)網(wǎng)絡(luò)，將得到的結(jié)果向前傳播。Decoder：解碼器也是由幾個獨立的結(jié)構(gòu)組成。但是和編碼器不同的一點，就是解碼器不同于編碼器是兩個結(jié)構(gòu)，它用了三個結(jié)構(gòu)，用于對從編碼器得到的信息做多頭注意力機(jī)制，不同的那個結(jié)構(gòu)實在多頭注意力機(jī)制上加了一個Masked，這是為了很好的保存和學(xué)習(xí)序列的順序信息�？梢钥闯觯@個結(jié)構(gòu)完全沒用神經(jīng)網(wǎng)絡(luò)來進(jìn)行編碼和解碼，而是只用了幾個注意力結(jié)構(gòu)拼接組合，得到了非常好的效果。14

【參考文獻(xiàn)】：
期刊論文
[1]金融時間序列的數(shù)據(jù)挖掘技術(shù)與經(jīng)典統(tǒng)計模型的比較[J]. 胡桔州,蘭秋軍.  系統(tǒng)工程. 2005(06)



本文編號：3224700