基于層次注意力機制序列生成網(wǎng)絡的多標簽罪名預測算法研究
發(fā)布時間：2021-01-20 15:56
隨著以深度神經(jīng)網(wǎng)絡為代表的人工智能技術的快速發(fā)展,司法領域正在向智能化、自動化方向邁進。作為司法審判中的重要環(huán)節(jié),罪名預測任務直接關系到整個案件的裁決與性質(zhì)。目前基于犯罪事實描述的單標簽罪名預測研究工作已經(jīng)相對成熟,但在實際應用場景中,“一人多罪”、“數(shù)罪并罰”的情況也同時存在,這就需要進行多標簽罪名預測任務的研究工作。傳統(tǒng)基于犯罪事實描述的多標簽罪名預測方法,大多利用閾值神經(jīng)網(wǎng)絡框架,即在罪名概率向量的基礎上手動設置先驗閾值,按照單標簽多分類的方式來完成預測任務。還有一些研究工作利用問題轉(zhuǎn)換方法,將多標簽罪名預測任務轉(zhuǎn)化為并行的單標簽罪名預測任務,通過在每個罪名標簽上構(gòu)造分類模型并進行訓練,然后集成元分類模型最終實現(xiàn)多標簽罪名預測。此類方法雖然計算邏輯簡單,但沒有考慮到罪名之間的邏輯關聯(lián),如販賣毒品罪與容留他人吸毒罪等,導致在預測有內(nèi)在犯罪關聯(lián)的案例時召回率指標下降,并且在樣本標簽空間特別大的情況下模型復雜度就會升高,不便于在實際場景中使用。在分析前人相關研究工作的基礎上,本研究一方面通過將多標簽罪名預測任務轉(zhuǎn)換為罪名序列生成任務,從機器翻譯的角度將罪名之間的邏輯關聯(lián)融入到模型中,即...
【文章來源】：山東大學山東省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：60 頁
【學位級別】：碩士
【部分圖文】：
圖１－１?ＣＣ模型訓練流程??“”
???Ｃｉ?Ｓｉ?ｍｒｎ＾?ｙｉ?Ｊ????／?＼?ｆ???ｆ?????ｗｉ?ｖ?—?Ｃ２?？？?Ｓ２?■■■？?Ｉ??ｒｎ?、?＞?■?—??ｗ２?＝?＾?，￣￣??〇?Ｖ－?３?－／?｜?Ｃ３?＿?Ｓ３?—ｆ?＿ｙ３??…?穿?ｊ?〇?｜???？?＇??ｗｍ?＾?Ｊ?ＨＪ?ＥＩＫＥＤ－＾Ｅ］????Ｖ???ｔ?????輸入?編碼器?注意力?Ｃｎ?Ｓｎ?ｙ？??機制???１?Ｌ＿＿Ｊ??解碼器??圖１－２序列生成模型結(jié)構(gòu)圖??此類方法將多標簽分類問題轉(zhuǎn)換為序列生成任務，增強了模型泛化能力，但是??基于循環(huán)神經(jīng)網(wǎng)絡單元的解碼器因其序列性特征，容易出現(xiàn)梯度消失問題，當標簽??序列較長時模型效果變差。在實際解碼過程中，原始文本信息會隨著解碼器時間步??的延長而丟失，為解決這個問題Ｙａｎｇ等人在模型中增加了注意力機制？，解碼器??在每個時間步都從原始文本中獲得信息補充，緩解了標簽序列過長帶來的信息丟??失問題。同時，為了規(guī)避模型在實際預測過程中出現(xiàn)標簽重復預測的問題，Ｙａｎｇ??等人還在解碼器中設置了外部記憶單元？這種特殊的計算結(jié)構(gòu)，通過降低已預測??標簽的影響權重并提升待預測標簽的權重，緩解了標簽重復預測的問題。??此外，Ｍａ等人［１４］從文本信息、引導標簽信息和待預測標簽信息三者之間的關??系框架出發(fā)，提出了一種多步多分類模型ＭｓＣｏａ以完成多標簽預測任務，通過在??鏈式模型理論的基礎上增加協(xié)同注意力機制和特征差分和級聯(lián)操作，進一步緩解??了原始文本信息丟失、解碼錯誤累計等問題，在多標簽分類任務上取得了不錯的效??果。ＭｓＣｏａ模型結(jié)構(gòu)
合?ｊ??ｊ?｜??特征差分?Ｉ??特征融合：ｉ?（?Ａ１?Ｉ??模塊?丨?Ｉ?＾—?Ｉ??除醻＿ｊｊ＾Ｌ？入序列）?前雜簽?）??ｊ：………?…丁……＇??ｉ?Ｉ?ＢｉＬＳＴＭ?｜??特征提取丨?．丨－Ｔ．１??模塊?Ｉ?？?ｉ?ｉ?Ｊ?Ｊ?Ｊ?？?ｉ］?ｆ?ｉ?）?＊?，＊?ｓｊ??？詞嵌入—？？??｜｜?Ｊ?１?丨刪辱，Ｌｉｕｄ?；??ｌ－—」：．．ｎｉｍｉ舅＇?？？？■￥＊？？？?平?’??文本序列」?前導標簽｜｜??圖１－３?ＭｓＣｏａ模型結(jié)構(gòu)圖??Ｙａｎｇ等人［１６］則是在解碼器中加入了基于全鏈接神經(jīng)網(wǎng)絡的重排機制（Ｒｅｔｈｉｎｋｉｎｇ??Ｓｔｒｕｃｔｕｒｅ），重排機制多用于機器翻譯任務中，這種方法可以降低循環(huán)神經(jīng)網(wǎng)絡單??元在解碼過程中因單步預測錯誤而對后面解碼過程所產(chǎn)生的影響，從而有效提髙??模型的預測精度。這些研宄工作都是在序列到序列（Ｓｅｑ２Ｓｅｑ）框架下進行的，因為??天然的鏈式計算特征，使得模型失去了平行計算的機會。在Ｓｅｑ２Ｓｅｑ框架下未來的??研宄工作仍有很大的提升潛力，或者突破框架限制，利用新的計算邏輯來實現(xiàn)多標??簽分類任務。??１．３本文主要研究內(nèi)容及主要貢獻??１．３．１本文主要研究內(nèi)容??本文的主要研究內(nèi)容包括以下三個方面：??（１）對多標簽罪名預測任務和多標簽文本分類框架進行了深入研究，分析??并對比當前多標簽罪名預測研究工作的亮點與存在的問題，對多標簽文本分類基??礎模型進行了比較。通過總結(jié)歸納，結(jié)合深度學習技術剖析多標簽罪名預測任務的??特點，提出針對的模型理論假設。??５??
本文編號：2989334
【文章來源】：山東大學山東省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：60 頁
【學位級別】：碩士
【部分圖文】：
圖１－１?ＣＣ模型訓練流程??“”
???Ｃｉ?Ｓｉ?ｍｒｎ＾?ｙｉ?Ｊ????／?＼?ｆ???ｆ?????ｗｉ?ｖ?—?Ｃ２?？？?Ｓ２?■■■？?Ｉ??ｒｎ?、?＞?■?—??ｗ２?＝?＾?，￣￣??〇?Ｖ－?３?－／?｜?Ｃ３?＿?Ｓ３?—ｆ?＿ｙ３??…?穿?ｊ?〇?｜???？?＇??ｗｍ?＾?Ｊ?ＨＪ?ＥＩＫＥＤ－＾Ｅ］????Ｖ???ｔ?????輸入?編碼器?注意力?Ｃｎ?Ｓｎ?ｙ？??機制???１?Ｌ＿＿Ｊ??解碼器??圖１－２序列生成模型結(jié)構(gòu)圖??此類方法將多標簽分類問題轉(zhuǎn)換為序列生成任務，增強了模型泛化能力，但是??基于循環(huán)神經(jīng)網(wǎng)絡單元的解碼器因其序列性特征，容易出現(xiàn)梯度消失問題，當標簽??序列較長時模型效果變差。在實際解碼過程中，原始文本信息會隨著解碼器時間步??的延長而丟失，為解決這個問題Ｙａｎｇ等人在模型中增加了注意力機制？，解碼器??在每個時間步都從原始文本中獲得信息補充，緩解了標簽序列過長帶來的信息丟??失問題。同時，為了規(guī)避模型在實際預測過程中出現(xiàn)標簽重復預測的問題，Ｙａｎｇ??等人還在解碼器中設置了外部記憶單元？這種特殊的計算結(jié)構(gòu)，通過降低已預測??標簽的影響權重并提升待預測標簽的權重，緩解了標簽重復預測的問題。??此外，Ｍａ等人［１４］從文本信息、引導標簽信息和待預測標簽信息三者之間的關??系框架出發(fā)，提出了一種多步多分類模型ＭｓＣｏａ以完成多標簽預測任務，通過在??鏈式模型理論的基礎上增加協(xié)同注意力機制和特征差分和級聯(lián)操作，進一步緩解??了原始文本信息丟失、解碼錯誤累計等問題，在多標簽分類任務上取得了不錯的效??果。ＭｓＣｏａ模型結(jié)構(gòu)
合?ｊ??ｊ?｜??特征差分?Ｉ??特征融合：ｉ?（?Ａ１?Ｉ??模塊?丨?Ｉ?＾—?Ｉ??除醻＿ｊｊ＾Ｌ？入序列）?前雜簽?）??ｊ：………?…丁……＇??ｉ?Ｉ?ＢｉＬＳＴＭ?｜??特征提取丨?．丨－Ｔ．１??模塊?Ｉ?？?ｉ?ｉ?Ｊ?Ｊ?Ｊ?？?ｉ］?ｆ?ｉ?）?＊?，＊?ｓｊ??？詞嵌入—？？??｜｜?Ｊ?１?丨刪辱，Ｌｉｕｄ?；??ｌ－—」：．．ｎｉｍｉ舅＇?？？？■￥＊？？？?平?’??文本序列」?前導標簽｜｜??圖１－３?ＭｓＣｏａ模型結(jié)構(gòu)圖??Ｙａｎｇ等人［１６］則是在解碼器中加入了基于全鏈接神經(jīng)網(wǎng)絡的重排機制（Ｒｅｔｈｉｎｋｉｎｇ??Ｓｔｒｕｃｔｕｒｅ），重排機制多用于機器翻譯任務中，這種方法可以降低循環(huán)神經(jīng)網(wǎng)絡單??元在解碼過程中因單步預測錯誤而對后面解碼過程所產(chǎn)生的影響，從而有效提髙??模型的預測精度。這些研宄工作都是在序列到序列（Ｓｅｑ２Ｓｅｑ）框架下進行的，因為??天然的鏈式計算特征，使得模型失去了平行計算的機會。在Ｓｅｑ２Ｓｅｑ框架下未來的??研宄工作仍有很大的提升潛力，或者突破框架限制，利用新的計算邏輯來實現(xiàn)多標??簽分類任務。??１．３本文主要研究內(nèi)容及主要貢獻??１．３．１本文主要研究內(nèi)容??本文的主要研究內(nèi)容包括以下三個方面：??（１）對多標簽罪名預測任務和多標簽文本分類框架進行了深入研究，分析??并對比當前多標簽罪名預測研究工作的亮點與存在的問題，對多標簽文本分類基??礎模型進行了比較。通過總結(jié)歸納，結(jié)合深度學習技術剖析多標簽罪名預測任務的??特點，提出針對的模型理論假設。??５??
本文編號：2989334
本文鏈接：http://www.sikaile.net/falvlunwen/susongfa/2989334.html
