基于知識圖譜的深度法律內(nèi)容問答模型
發(fā)布時間：2021-01-13 01:06
隨著我國法治進程不斷推進,民眾法律意識逐步提升,基層司法機構(gòu)與法律從業(yè)人員的工作量達到了前所未有的高度。法律內(nèi)容問答涉及廣大基層群眾的生活,具有普適意義。但由于法律咨詢專業(yè)性較強,并且價格不菲,普通民眾很難享受到高質(zhì)量的法律問答咨詢服務(wù)。法律咨詢的群眾需求量大、人力成本高。因此,研發(fā)自動化法律問答模型具有極強的應(yīng)用價值與現(xiàn)實意義。法律問答面臨的難點為專業(yè)性強、數(shù)據(jù)量少。法律行業(yè)由法律法規(guī)、判決文書等書面文件進行規(guī)范,代表了行業(yè)統(tǒng)一的邏輯標準和實踐原則。然而當(dāng)前的法律問答系統(tǒng)多采用關(guān)鍵詞模型或簡單深度模型,忽視了行業(yè)知識。引入法律知識圖譜能增強問答過程中的法律專業(yè)性。同時,法律問答相比開放領(lǐng)域具有真實數(shù)據(jù)少、標注成本高的特點,深度模型在少樣本條件下面臨著訓(xùn)練難、效果差的問題。使用遷移學(xué)習(xí)能夠使模型快速訓(xùn)練并達到良好效果。因此,本文基于法律知識圖譜,結(jié)合遷移學(xué)習(xí),對法律問答進行研究,主要研究內(nèi)容包括:1.提出基于知識圖譜的法律行業(yè)問答模型:針對問答模型對法律專業(yè)知識利用不足的問題,構(gòu)建了基于案由與案情要素的法律知識圖譜,表達法律行業(yè)的邏輯知識,在模型中通過注意力機制將法律知識圖譜上的案情要...
【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進技術(shù)研究院)廣東省
【文章頁數(shù)】：77 頁
【學(xué)位級別】：碩士
【部分圖文】：
自動化問答Figure1.1Questionanswering
基于知識圖譜的深度法律內(nèi)容問答模型對打分函數(shù)的最優(yōu)選擇：=∑∑(;,;,)(2.5)鑒于模型總體架構(gòu)的不同，答案選擇模型可以從三個不同的角度進行分類[24]：表達式模型與交互式模型表達式模型定義了較為復(fù)雜的與，通過深度學(xué)習(xí)網(wǎng)絡(luò)單獨實現(xiàn)對問題與答案的特征刻畫。而交互式模型則引入了(,)，旨在直接描述問題與回答間的交互信息與語義關(guān)聯(lián)。圖2.1表達式模型與交互式模型示意圖Figure2.1Representation-focusedmodelandinteraction-focusedmodel單粒度模型與多粒度模型模型的粒度分為兩種，即語義的粒度和特征的粒度（如圖2.2）。多語義粒度模型將語句或文檔視為不同層次片段的結(jié)合，分別對詞級別信息、短語級別信息、句子級別信息甚至段落級別信息進行處理。多特征粒度模型則是盡可能將深度網(wǎng)絡(luò)每一層抽象出的特征進行考慮和保留，避免因某一層信息抽取失效而導(dǎo)致后續(xù)模型性能降低。對稱模型與非對稱模型對稱模型對問題與回答使用相同的特征抽取函數(shù)(=)。非對稱模型則反之(≠)。其它排序問題（例如檢索問題中），一個長篇文檔中可能只有某一個段落與檢索詞強烈相關(guān)。在這樣的場景下，模型更傾向于對文檔進行特殊的模型設(shè)計（如采用分片處理），即采用非對稱模型(≠)。14
第2章法律內(nèi)容問答相關(guān)技術(shù)圖2.2多特征粒度模型與多語義粒度模型示意圖Figure2.2Multi-granularityarchitectures表2.1深度答案選擇模型結(jié)構(gòu)分類表Table2.1Overviewofexistingdeeplearningmethodstoanswerselection模型表達式/交互式單粒度/多粒度對稱/非對稱訓(xùn)練方式QA-LSTM[25]表達式單粒度對稱逐對QA-LSTM-CNN[25]表達式單粒度對稱逐對QA-LSTM-attention[25]交互式單粒度非對稱逐對CNN[11]交互式多粒度對稱逐點AP-CNN/LSTM[15]交互式單粒度非對稱逐對LDC[26]交互式單粒度非對稱逐點Pairwise[27]交互式單粒度對稱逐對BiMPM[21]交互式多粒度對稱逐點Dynamic-Clip[23]交互式單粒度對稱逐列HyperQA[22]表達式單粒度對稱逐對KAN[19]交互式多粒度非對稱逐點如表2.1所示，深度答案選擇模型在訓(xùn)練方式上主要采用逐對訓(xùn)練與逐點訓(xùn)練。由于交互式的網(wǎng)絡(luò)結(jié)構(gòu)能夠更好地使問題根據(jù)回答的不同信息在語義上針對句子的不同部分進行加權(quán)，因而越來越多模型使用交互式結(jié)構(gòu)。模型特征粒度也越發(fā)趨于使用多粒度的模型從而防止特征信息的損失。答案選擇的場景中，問題信息與答案信息一般采用相同的網(wǎng)絡(luò)進行提取，即采用對稱網(wǎng)絡(luò)結(jié)構(gòu)。15
本文編號：2973906
【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進技術(shù)研究院)廣東省
【文章頁數(shù)】：77 頁
【學(xué)位級別】：碩士
【部分圖文】：
自動化問答Figure1.1Questionanswering
基于知識圖譜的深度法律內(nèi)容問答模型對打分函數(shù)的最優(yōu)選擇：=∑∑(;,;,)(2.5)鑒于模型總體架構(gòu)的不同，答案選擇模型可以從三個不同的角度進行分類[24]：表達式模型與交互式模型表達式模型定義了較為復(fù)雜的與，通過深度學(xué)習(xí)網(wǎng)絡(luò)單獨實現(xiàn)對問題與答案的特征刻畫。而交互式模型則引入了(,)，旨在直接描述問題與回答間的交互信息與語義關(guān)聯(lián)。圖2.1表達式模型與交互式模型示意圖Figure2.1Representation-focusedmodelandinteraction-focusedmodel單粒度模型與多粒度模型模型的粒度分為兩種，即語義的粒度和特征的粒度（如圖2.2）。多語義粒度模型將語句或文檔視為不同層次片段的結(jié)合，分別對詞級別信息、短語級別信息、句子級別信息甚至段落級別信息進行處理。多特征粒度模型則是盡可能將深度網(wǎng)絡(luò)每一層抽象出的特征進行考慮和保留，避免因某一層信息抽取失效而導(dǎo)致后續(xù)模型性能降低。對稱模型與非對稱模型對稱模型對問題與回答使用相同的特征抽取函數(shù)(=)。非對稱模型則反之(≠)。其它排序問題（例如檢索問題中），一個長篇文檔中可能只有某一個段落與檢索詞強烈相關(guān)。在這樣的場景下，模型更傾向于對文檔進行特殊的模型設(shè)計（如采用分片處理），即采用非對稱模型(≠)。14
第2章法律內(nèi)容問答相關(guān)技術(shù)圖2.2多特征粒度模型與多語義粒度模型示意圖Figure2.2Multi-granularityarchitectures表2.1深度答案選擇模型結(jié)構(gòu)分類表Table2.1Overviewofexistingdeeplearningmethodstoanswerselection模型表達式/交互式單粒度/多粒度對稱/非對稱訓(xùn)練方式QA-LSTM[25]表達式單粒度對稱逐對QA-LSTM-CNN[25]表達式單粒度對稱逐對QA-LSTM-attention[25]交互式單粒度非對稱逐對CNN[11]交互式多粒度對稱逐點AP-CNN/LSTM[15]交互式單粒度非對稱逐對LDC[26]交互式單粒度非對稱逐點Pairwise[27]交互式單粒度對稱逐對BiMPM[21]交互式多粒度對稱逐點Dynamic-Clip[23]交互式單粒度對稱逐列HyperQA[22]表達式單粒度對稱逐對KAN[19]交互式多粒度非對稱逐點如表2.1所示，深度答案選擇模型在訓(xùn)練方式上主要采用逐對訓(xùn)練與逐點訓(xùn)練。由于交互式的網(wǎng)絡(luò)結(jié)構(gòu)能夠更好地使問題根據(jù)回答的不同信息在語義上針對句子的不同部分進行加權(quán)，因而越來越多模型使用交互式結(jié)構(gòu)。模型特征粒度也越發(fā)趨于使用多粒度的模型從而防止特征信息的損失。答案選擇的場景中，問題信息與答案信息一般采用相同的網(wǎng)絡(luò)進行提取，即采用對稱網(wǎng)絡(luò)結(jié)構(gòu)。15
本文編號：2973906
本文鏈接：http://www.sikaile.net/kejilunwen/shengwushengchang/2973906.html
最近更新
教材專著
