基于遷移學(xué)習(xí)的情感分類研究與應(yīng)用
發(fā)布時(shí)間：2021-09-29 17:45
隨著web2.0的日益發(fā)展,新領(lǐng)域用戶自創(chuàng)內(nèi)容（User Generated Content,UGC）的情感分類任務(wù)逐漸體現(xiàn)出巨大的學(xué)術(shù)意義和商業(yè)價(jià)值。針對(duì)新領(lǐng)域UGC缺乏標(biāo)注語料導(dǎo)致情感分類性能差的問題,本文通過跨領(lǐng)域情感分類任務(wù)進(jìn)行了探索和研究,提出了“共享知識(shí)學(xué)習(xí)和遷移模型（Shared Knowledge Learning and Transfer Model,SKLT）”,實(shí)驗(yàn)結(jié)果證明SKLT模型可以有效的提高新領(lǐng)域情感分類性能。在跨領(lǐng)域情感分類任務(wù)中,本文基于遷移學(xué)習(xí)（Transfer Learning）的方法,利用多個(gè)相關(guān)領(lǐng)域的已標(biāo)注數(shù)據(jù),結(jié)合改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Net,GAN）,提取出領(lǐng)域無關(guān)的共享情感知識(shí),遷移應(yīng)用到新領(lǐng)域之后,提升了新領(lǐng)域情感分類任務(wù)的準(zhǔn)確率。本文主要完成了以下3個(gè)方面的工作:在SKLT模型的共享知識(shí)學(xué)習(xí)部分,本文以bi-GRU情感分類模型為基礎(chǔ),通過優(yōu)化判別器的方法改進(jìn)了“生成對(duì)抗網(wǎng)絡(luò)GAN”,提取出了領(lǐng)域無關(guān)的“共享知識(shí)”,然后基于向量正交實(shí)現(xiàn)了冗余特征懲罰,得到了無冗余的共享知識(shí)和領(lǐng)域特有知識(shí)。在S...
【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】：67 頁
【學(xué)位級(jí)別】：碩士
【部分圖文】：
圖２－］?ＭＬＰ結(jié)構(gòu)示意圖??
用共享參數(shù)的方式維持長期記憶，理論上能夠?qū)θ我忾L度的時(shí)序數(shù)據(jù)進(jìn)行處理，??但在實(shí)際應(yīng)用中，為了降低復(fù)雜性往往假設(shè)當(dāng)前狀態(tài)只與之前若干個(gè)狀態(tài)相關(guān)。??ＲＮＮ結(jié)構(gòu)如圖２－３所示。??ｒ￣＼．?輸出層?，??ＯＤＤ?輸?＾?？??圖２－３?ＲＮＮ結(jié)構(gòu)示意圖??長短期記憶網(wǎng)絡(luò)（Ｌｏｎｇ?Ｓｈｏｒｔ?Ｔｅｒｍ?Ｍｅｍｏｒｙ?ｎｅｔｗｏｒｋｓ，?ＬＳＴＭ）?［２Ｇ’２１］在?ＲＮＮ??基礎(chǔ)上進(jìn)行了改進(jìn)，通過內(nèi)部的門路控制能夠?qū)㈤L距離信息有效傳遞，并使用??ＬＳＴＭ單元替代傳統(tǒng)ＲＮＮ中隱藏層的神經(jīng)元，有效解決了?ＲＮＮ長期依賴的問??題。目前ＬＳＴＭ的這種結(jié)構(gòu)是主流的ＲＮＮ優(yōu)化結(jié)構(gòu)。本課題將采用ＬＳＴＭ作為??對(duì)比模型，用于檢驗(yàn)ＳＫＬＴ模型在情感分類任務(wù)中的效果。ＬＳＴＭ單元結(jié)構(gòu)如圖??２－４所示。??９??
?〇??〇??圖２－２?ＣＮＮ結(jié)構(gòu)示意圖??傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)認(rèn)為樣本數(shù)據(jù)之間是相互獨(dú)立的，循環(huán)神經(jīng)網(wǎng)絡(luò)??（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ，?１１１州）［１＆１９］不同于傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)，ＲＮＮ考慮??到了樣本數(shù)據(jù)之間的序列關(guān)系，可處理輸入之間前后關(guān)聯(lián)的問題。ＲＮＮ通過使??用共享參數(shù)的方式維持長期記憶，理論上能夠?qū)θ我忾L度的時(shí)序數(shù)據(jù)進(jìn)行處理，??但在實(shí)際應(yīng)用中，為了降低復(fù)雜性往往假設(shè)當(dāng)前狀態(tài)只與之前若干個(gè)狀態(tài)相關(guān)。??ＲＮＮ結(jié)構(gòu)如圖２－３所示。??ｒ￣＼．?輸出層?，??ＯＤＤ?輸?＾?？??圖２－３?ＲＮＮ結(jié)構(gòu)示意圖??長短期記憶網(wǎng)絡(luò)（Ｌｏｎｇ?Ｓｈｏｒｔ?Ｔｅｒｍ?Ｍｅｍｏｒｙ?ｎｅｔｗｏｒｋｓ，?ＬＳＴＭ）?［２Ｇ’２１］在?ＲＮＮ??基礎(chǔ)上進(jìn)行了改進(jìn)
本文編號(hào)：3414165
【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁數(shù)】：67 頁
【學(xué)位級(jí)別】：碩士
【部分圖文】：
圖２－］?ＭＬＰ結(jié)構(gòu)示意圖??
用共享參數(shù)的方式維持長期記憶，理論上能夠?qū)θ我忾L度的時(shí)序數(shù)據(jù)進(jìn)行處理，??但在實(shí)際應(yīng)用中，為了降低復(fù)雜性往往假設(shè)當(dāng)前狀態(tài)只與之前若干個(gè)狀態(tài)相關(guān)。??ＲＮＮ結(jié)構(gòu)如圖２－３所示。??ｒ￣＼．?輸出層?，??ＯＤＤ?輸?＾?？??圖２－３?ＲＮＮ結(jié)構(gòu)示意圖??長短期記憶網(wǎng)絡(luò)（Ｌｏｎｇ?Ｓｈｏｒｔ?Ｔｅｒｍ?Ｍｅｍｏｒｙ?ｎｅｔｗｏｒｋｓ，?ＬＳＴＭ）?［２Ｇ’２１］在?ＲＮＮ??基礎(chǔ)上進(jìn)行了改進(jìn)，通過內(nèi)部的門路控制能夠?qū)㈤L距離信息有效傳遞，并使用??ＬＳＴＭ單元替代傳統(tǒng)ＲＮＮ中隱藏層的神經(jīng)元，有效解決了?ＲＮＮ長期依賴的問??題。目前ＬＳＴＭ的這種結(jié)構(gòu)是主流的ＲＮＮ優(yōu)化結(jié)構(gòu)。本課題將采用ＬＳＴＭ作為??對(duì)比模型，用于檢驗(yàn)ＳＫＬＴ模型在情感分類任務(wù)中的效果。ＬＳＴＭ單元結(jié)構(gòu)如圖??２－４所示。??９??
?〇??〇??圖２－２?ＣＮＮ結(jié)構(gòu)示意圖??傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)認(rèn)為樣本數(shù)據(jù)之間是相互獨(dú)立的，循環(huán)神經(jīng)網(wǎng)絡(luò)??（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ，?１１１州）［１＆１９］不同于傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)，ＲＮＮ考慮??到了樣本數(shù)據(jù)之間的序列關(guān)系，可處理輸入之間前后關(guān)聯(lián)的問題。ＲＮＮ通過使??用共享參數(shù)的方式維持長期記憶，理論上能夠?qū)θ我忾L度的時(shí)序數(shù)據(jù)進(jìn)行處理，??但在實(shí)際應(yīng)用中，為了降低復(fù)雜性往往假設(shè)當(dāng)前狀態(tài)只與之前若干個(gè)狀態(tài)相關(guān)。??ＲＮＮ結(jié)構(gòu)如圖２－３所示。??ｒ￣＼．?輸出層?，??ＯＤＤ?輸?＾?？??圖２－３?ＲＮＮ結(jié)構(gòu)示意圖??長短期記憶網(wǎng)絡(luò)（Ｌｏｎｇ?Ｓｈｏｒｔ?Ｔｅｒｍ?Ｍｅｍｏｒｙ?ｎｅｔｗｏｒｋｓ，?ＬＳＴＭ）?［２Ｇ’２１］在?ＲＮＮ??基礎(chǔ)上進(jìn)行了改進(jìn)
本文編號(hào)：3414165
本文鏈接：http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/3414165.html
最近更新
教材專著
