信息化的迅速發(fā)展給人們帶來便利的同時,也使得網(wǎng)絡(luò)中充斥著大量冗余、非結(jié)構(gòu)化的文本信息,這也大大降低了人們獲取信息的效率。自動摘要技術(shù)可以幫助人們快速地獲取信息,而利用標(biāo)題生成技術(shù)則可以獲得更加簡潔的摘要。本文將其作為研究任務(wù),針對短文本語料和長文本語料,分別從文本特征表示和層級模型兩個方面深入挖掘文本語義信息進(jìn)行標(biāo)題生成。在文本特征表示方面,為了深入挖掘語義信息,本文針對短文本語料進(jìn)行了基于詞向量的文本特征表示研究。在詞向量基礎(chǔ)上,引入多種抽取式摘要中常用的特征,如詞頻、位置、聚類以及層次分布等特征,使文本特征表示對標(biāo)題生成具有任務(wù)傾向性,并對這些文本特征的不同組合和表示進(jìn)行相關(guān)研究;引入這些特征可以從語言學(xué)、統(tǒng)計學(xué)等角度對文本語義進(jìn)行深入挖掘。在特征表示時,本文將詞向量與引入特征直接進(jìn)行拼接;并在此基礎(chǔ)上,針對標(biāo)題生成任務(wù)訓(xùn)練專門的詞向量,利用命名實體,詞性、主題特征等信息構(gòu)造新的詞向量訓(xùn)練語料,以期得到的詞向量包含部分語言學(xué)和統(tǒng)計學(xué)信息等。在標(biāo)題生成任務(wù)中引入抽取式摘要特征可以與詞向量在表示語義時相互補(bǔ)充,從而全面多角度地深入挖掘文本語義信息。通過對比實驗驗證其有效性。此外,對稀疏... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：72 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１?Ｓｅｑ２ｓｅｑ模型展開丨句??如圖２－１所示，Ｓｅ２Ｓｅ模型主要包括編碼器和解碼器，其中ｉ?＝?１，２，Ｎ

以及狀態(tài)轉(zhuǎn)移的計算，模型的計算量也會隨著時序狀態(tài)的增加呈指數(shù)增長。而循??環(huán)神經(jīng)網(wǎng)絡(luò)ＲＮＮ通過在不同的時序狀態(tài)共享參數(shù)極大地減少了計算量，同時又??能記憶序列信息。圖２－２為ＲＮＮ網(wǎng)絡(luò)的基本結(jié)構(gòu)示意圖。??輸出層?％??Ｖ＼??隱含層?州??輸入層?ｘ??圖２－２?ＲＮＮ網(wǎng)絡(luò)基本結(jié)構(gòu)示意圖??一般的神經(jīng)網(wǎng)絡(luò)（如多層感知機(jī)以及ＤＮＮ等）包括輸入層、隱含層和輸出??層，層與層之間通過權(quán)值連接。同樣地，如圖２－２所示的ＲＮＮ網(wǎng)絡(luò)也包含輸入??層、隱含層和輸出層；而在ＲＮＮ網(wǎng)絡(luò)中不僅層與層之間有權(quán)重相連（圖２－２中??的權(quán)重矩陣Ｕ，Ｖ為層與層之間的權(quán)重連接），而且隱含層自身也有權(quán)重連接，通過??權(quán)重矩陣Ｗ將上一時刻的信息傳遞到下一時刻，這也是ＲＮＮ能對時序信息進(jìn)行??記憶建模的原因。??°ｔ￣ｌ?°ｔ?°ｔ?＋?ｌ??Ａ?皮??ｘｔ－＼?ｘｔ?＋?ｌ??圖２－３?ＲＮＮ網(wǎng)絡(luò)單元展開圖??圖２－３為圖２－２中ＲＮＮ網(wǎng)絡(luò)單元隨時間的展開圖，ＲＮＮ網(wǎng)絡(luò)可以隨時間或??序列遞歸，是一種能夠?qū)W習(xí)時序信息的模型。圖２－３中的ｘｔ是ＲＮＮ在時刻ｔ的輸??１０??

以及狀態(tài)轉(zhuǎn)移的計算，模型的計算量也會隨著時序狀態(tài)的增加呈指數(shù)增長。而循??環(huán)神經(jīng)網(wǎng)絡(luò)ＲＮＮ通過在不同的時序狀態(tài)共享參數(shù)極大地減少了計算量，同時又??能記憶序列信息。圖２－２為ＲＮＮ網(wǎng)絡(luò)的基本結(jié)構(gòu)示意圖。??輸出層?％??Ｖ＼??隱含層?州??輸入層?ｘ??圖２－２?ＲＮＮ網(wǎng)絡(luò)基本結(jié)構(gòu)示意圖??一般的神經(jīng)網(wǎng)絡(luò)（如多層感知機(jī)以及ＤＮＮ等）包括輸入層、隱含層和輸出??層，層與層之間通過權(quán)值連接。同樣地，如圖２－２所示的ＲＮＮ網(wǎng)絡(luò)也包含輸入??層、隱含層和輸出層；而在ＲＮＮ網(wǎng)絡(luò)中不僅層與層之間有權(quán)重相連（圖２－２中??的權(quán)重矩陣Ｕ，Ｖ為層與層之間的權(quán)重連接），而且隱含層自身也有權(quán)重連接，通過??權(quán)重矩陣Ｗ將上一時刻的信息傳遞到下一時刻，這也是ＲＮＮ能對時序信息進(jìn)行??記憶建模的原因。??°ｔ￣ｌ?°ｔ?°ｔ?＋?ｌ??Ａ?皮??ｘｔ－＼?ｘｔ?＋?ｌ??圖２－３?ＲＮＮ網(wǎng)絡(luò)單元展開圖??圖２－３為圖２－２中ＲＮＮ網(wǎng)絡(luò)單元隨時間的展開圖，ＲＮＮ網(wǎng)絡(luò)可以隨時間或??序列遞歸，是一種能夠?qū)W習(xí)時序信息的模型。圖２－３中的ｘｔ是ＲＮＮ在時刻ｔ的輸??１０??


本文編號：3070703