基于LSTM的交互式神經(jīng)機(jī)器翻譯方法研究
【文章頁(yè)數(shù)】:4 頁(yè)
【部分圖文】:
傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)里,相互的輸入沒(méi)有關(guān)聯(lián),例如輸入為X=(x1,x2,…,xn),其中x之間相互不影響,無(wú)論以何種方式進(jìn)行輸入,都不會(huì)對(duì)最終的結(jié)果產(chǎn)生影響。但是對(duì)于機(jī)器翻譯來(lái)說(shuō),翻譯一句話必須要考慮詞之間的聯(lián)系,從整體進(jìn)行把握。RNN是處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò),每進(jìn)行一次計(jì)算的時(shí)候,都....
如圖3所示為L(zhǎng)STM網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)圖,LSTM與RNN具有相同的連接結(jié)構(gòu),標(biāo)準(zhǔn)RNN隱藏層中有一個(gè)網(wǎng)絡(luò)層,但是LSTM在隱藏單元中使用三個(gè)門來(lái)控制信息。每一個(gè)LSTM中有三個(gè)輸入:當(dāng)前輸入xt,上一步的細(xì)胞狀態(tài)Ct-1,上一步隱藏層狀態(tài)ht-1。σ是激活函數(shù)sigmoid。(1)遺....
(1)遺忘門:決定會(huì)從細(xì)胞狀態(tài)中丟棄什么信息,見(jiàn)圖4。該門通過(guò)讀取ht-1和xt,與遺忘門權(quán)重矩陣Wf相乘,通過(guò)sigmoid得到一個(gè)數(shù),與Ct-1相乘來(lái)選擇保留或丟棄。
(3)輸出門:最終決定LSTM的輸出,見(jiàn)圖6。根據(jù)ht-1和xt判斷儲(chǔ)存信息與當(dāng)前輸入的關(guān)聯(lián),決定輸出哪些信息。首先用sigmoid來(lái)確定細(xì)胞狀態(tài)的哪個(gè)部分將輸出去。然后將狀態(tài)Ct通過(guò)tanh處理,得到一個(gè)在-1到1之間的值,然后和sigmoid輸出相乘,最終會(huì)輸出我們確定輸出的....
本文編號(hào):4009517
本文鏈接:http://www.sikaile.net/kejilunwen/sousuoyinqinglunwen/4009517.html