發(fā)布時間：2020-05-26 18:51

【摘要】：隨著深度學(xué)習(xí)的發(fā)展以及各項自然語言處理技術(shù)的提高,神經(jīng)網(wǎng)絡(luò)序列生成模型已經(jīng)成為了研究熱點并得到了廣泛的應(yīng)用,比如機器翻譯,自動文本摘要,自動生成字幕等。近幾年,序列生成模型已不局限于自然語言處理任務(wù),也逐漸被引入推薦領(lǐng)域。本文對現(xiàn)有的神經(jīng)網(wǎng)絡(luò)序列生成模型進行了調(diào)研和分析,并分別對文本序列生成和行為序列生成中存在的幾個問題展開研究和改進。本文的工作可以總結(jié)為以下兩個部分:1、設(shè)計并實現(xiàn)了序列生成模型訓(xùn)練的曝光偏差正則訓(xùn)練框架。本文分析了主流神經(jīng)網(wǎng)絡(luò)序列生成模型存在的訓(xùn)練和測試階段輸入分布不一致的問題,提出引入曝光偏差正則項使模型在測試階段具備更強的泛化能力。同時,為了加快模型的收斂,又提出寄生學(xué)習(xí)和課程學(xué)習(xí)兩種輔助訓(xùn)練方式輔助模型在曝光偏差正則訓(xùn)練框架下更好地完成訓(xùn)練。2、設(shè)計并實現(xiàn)了基于時間窗的批處理訓(xùn)練方式和時間敏感循環(huán)神經(jīng)網(wǎng)絡(luò)用于提高行為序列生成模型的訓(xùn)練效率和效果。行為序列不同于文本序列,具有序列長度方差大和時間間隔不等距的特點。本文為了適應(yīng)行為序列的特點對序列生成模型提出相應(yīng)的改進。改進主要有兩點:一是針對行為序列長度方差大的問題,提出基于時間窗的批處理訓(xùn)練方式提高模型的訓(xùn)練效率;二是針對行為序列時間間隔不均勻的問題,提出時間敏感循環(huán)神經(jīng)網(wǎng)絡(luò),利用時間間隔信息對用戶的長短期興趣進行更好地平衡。最終將序列生成模型應(yīng)用于推薦系統(tǒng)中的用戶行為序列建模,作為召回模型。
【圖文】：

ｈ［邋＝邋ｖ邋（ｗｌ邋ｈ＼＾，＋邐（２－２２）逡逑整個ＣｏｎＳ２Ｓ模型結(jié)構(gòu)圖如圖２－２所示，可以看到采用ＣＮＮｓ的結(jié)構(gòu)使得模逡逑型在訓(xùn)練階段能夠進行并行計算。Ｃ0ｎｖＳ２Ｓ結(jié)構(gòu)是為序列到序列的生成任務(wù)所設(shè)逡逑計的，也采用了如２．１．２所述的編碼器－解碼器的結(jié)構(gòu)形式，其中編碼器和解碼器逡逑都是由上述的卷積結(jié)構(gòu)實現(xiàn)。不同的是，解碼器每一層的卷積結(jié)果／Ｉ丨都會分別和逡逑編碼器編碼得到的輸入表示向量（Ｓｌ，做注意力計算，得到的輸入表示向逡逑量ｃ／會和之前的卷積結(jié)果ｈ丨相加得到新的輸入給下一層卷積，，這樣做的好處是，逡逑模型在進行注意力機制計算的時候能夠考慮到之前已經(jīng)注意過的詞。逡逑｛■＾，心，．．．，＾｝邋編碼器輸出逡逑Ｉ逡逑邐邐注意力機制逡逑４邐．逡逑…ｈｔ＿２邋ｈｔ＿ｉ邋邐＾０邐■■■邋ｃｔ－２邋ｃｔ－＼逡逑＞邋ｔ邐—逡逑Ｉ￣０邐Ｉ￣０邐輸出層逡逑非線性計算邐＾干邐，，逡逑－□□邋ｍ逡逑卷積層逡逑嵌入層邐－邋ｒ￣ｉ邋ｒ￣ｌ逡逑ｙ0邐ｙ，－２邋ｙ，－ｉ逡逑圖２－２邋ＣｏｎＳ２Ｓ模型結(jié)構(gòu)圖【５］逡逑在ｔｒａｎｓｆｏｒｍｅｒ中引入了自注意力機制

ｔｒａｎｓｆｏｒｍｅｒ的自注意力子層中，Ｑ，Ｋ，Ｖ的值是一致的，比如輸入一個句子，句逡逑子中的每個詞都要和該句子中的所有詞進行注意力計算，如此能夠更好地捕獲句逡逑子的內(nèi)部結(jié)構(gòu)。值得注意的是，如圖２－３所示，在ｔｎｍｓｆｏｒｍｅｉ■的解碼階段，注意逡逑力計算模塊還增加了掩碼計算，以保證與Ｑ進行注意力計算的Ｋ都來自于前序逡逑序列。多頭自注意力子層指的是要進行多次的注意力計算，如圖２－３中的右半部逡逑分，通過多次計算提取出不同的信息，同時也允許模型在不同的表示子空間里學(xué)逡逑習(xí)到相關(guān)的信息。逡逑注意力計算模塊邐多頭注意力模塊逡逑ｔ邋■邐ｔ邋■逡逑內(nèi)積邐線性變換逡逑ＳｏｆｔＭａｘ邐向屋拼接逡逑掩碼邋１逡逑Ｔ邐；邋（７邐邐：邋：＞＞逡逑按比例縮小值邐＼．ｉ注意力模塊！逡逑邐１邐邐Ｖ＂逡逑內(nèi)積邐｜線性ｉ換｜丨線性ｋ換１１線性變換Ｉ逡逑ｔ邋ｔ邐！邋ｆ邋ｔ逡逑Ｑ邋Ｋ邐Ｖ邐Ｑ邐Ｋ邐Ｖ逡逑圖２－３自注意力模塊和多頭注意力模塊結(jié)構(gòu)圖［２９］逡逑２？３本章小結(jié)逡逑本章主要是為了本文的研究工作做鋪墊，介紹相關(guān)的理論知識。主要內(nèi)容分逡逑為兩部分：逡逑１、
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP183

【相似文獻】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡(luò)拐點預(yù)測法[J];金融經(jīng)濟;2017年18期

2 陳曉燕;;淺析簡單神經(jīng)網(wǎng)絡(luò)的發(fā)展及簡單模型[J];數(shù)字技術(shù)與應(yīng)用;2019年05期

3 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會述評[J];國際學(xué)術(shù)動態(tài);1996年01期

4 吳立可;;脈沖神經(jīng)網(wǎng)絡(luò)和行為識別[J];通訊世界;2018年12期

5 林嘉應(yīng);鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡(luò)的船舶分類模型[J];信息技術(shù)與信息化;2019年02期

6 俞頌華;;卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用綜述[J];信息通信;2019年02期

7 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡(luò)的通用理論建造基石[J];世界科學(xué);2019年04期

8 鮑偉強;陳娟;熊濤;;基于進化神經(jīng)網(wǎng)絡(luò)的短期電力負荷預(yù)測研究[J];電工技術(shù);2019年11期

9 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設(shè)計研究[J];數(shù)字技術(shù)與應(yīng)用;2018年04期

10 張庭略;;基于硬件的神經(jīng)網(wǎng)絡(luò)加速[J];通訊世界;2018年08期

相關(guān)會議論文 前10條

1 孫軍田;張U

本文編號：2682263