基于BERT詞向量和Attention-CNN的智能司法研究
發(fā)布時(shí)間:2021-04-13 22:04
如今人工智能發(fā)展火熱,其中智能司法是人工智能的重要應(yīng)用領(lǐng)域。一方面,深度學(xué)習(xí)領(lǐng)域的迅速發(fā)展為智能司法研究提供了技術(shù)支持。另一方面,大量公開的裁判文書解決了智能司法研究的大數(shù)據(jù)需求。在智能司法建設(shè)中,利用人工智能實(shí)現(xiàn)罪名預(yù)測(cè)和相關(guān)法條預(yù)測(cè),可以輔助法官進(jìn)行判決并且節(jié)省大量資源,對(duì)于智能司法建設(shè)有著重大意義。本文通過解決罪名和相關(guān)法條多標(biāo)簽文本分類任務(wù),進(jìn)而實(shí)現(xiàn)罪名和相關(guān)法條預(yù)測(cè)。本文使用CAIL2018-Small數(shù)據(jù)集,針對(duì)單人多罪名多法條的刑事案件展開研究。數(shù)據(jù)集中的數(shù)據(jù)均來源于“中國(guó)裁判文書網(wǎng)”上的公開刑事案件裁判文書。數(shù)據(jù)集的所有數(shù)據(jù)均只有一個(gè)罪犯。數(shù)據(jù)集共包括202項(xiàng)罪名、183則法條,一條數(shù)據(jù)可能包含多項(xiàng)罪名和多則法條。本文利用微平均F1值(F1micro)和宏平均F1值(F1macro)作為評(píng)價(jià)指標(biāo)。本文使用F1micro和F1macro平均值的100倍作為每項(xiàng)任務(wù)的score。本文的主要研究工作如下:(1)對(duì)比了三種平均詞向量模型,包括平均word2vec詞向量模型、平均BERT詞向量模型、平均BERT-word2vec詞向量模型。相較于兩種單一詞向量模型,融合不同詞向量...
【文章來源】:大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:63 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景
1.2 研究現(xiàn)狀
1.2.1 智能司法研究現(xiàn)狀
1.2.2 智能司法倫理研究
1.3 本文主要工作
1.4 本文組織結(jié)構(gòu)
2 相關(guān)理論與技術(shù)
2.1 文本分類技術(shù)
2.2 分詞技術(shù)
2.3 詞向量技術(shù)
2.3.1 預(yù)訓(xùn)練詞向量
2.3.2 預(yù)訓(xùn)練語(yǔ)言模型
2.4 本章小結(jié)
3 數(shù)據(jù)預(yù)處理
3.1 數(shù)據(jù)集介紹與分析
3.1.1 數(shù)據(jù)集介紹
3.1.2 數(shù)據(jù)集分析
3.2 數(shù)據(jù)預(yù)處理流程
3.3 預(yù)訓(xùn)練詞向量
3.3.1 word2vec詞向量
3.3.2 BERT詞向量
3.4 本章小結(jié)
4 模型設(shè)計(jì)與訓(xùn)練方法
4.1 任務(wù)分析與評(píng)價(jià)指標(biāo)
4.1.1 任務(wù)分析
4.1.2 評(píng)價(jià)指標(biāo)
4.2 預(yù)測(cè)結(jié)果閾值設(shè)置
4.3 模型設(shè)計(jì)
4.3.1 平均詞向量
4.3.2 CNN
4.3.3 Attention-CNN
4.3.4 BERT-ACNN
4.4 超參數(shù)設(shè)置與模型訓(xùn)練方法
4.5 本章小結(jié)
5 實(shí)驗(yàn)與分析
5.1 實(shí)驗(yàn)環(huán)境
5.2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
5.2.1 參與對(duì)比的RNN模型
5.2.2 模型對(duì)比實(shí)驗(yàn)
5.3 模型性能提升
5.3.1 過采樣
5.3.2 增加卷積層數(shù)
5.3.3 模型性能提升實(shí)驗(yàn)
5.4 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表學(xué)術(shù)論文情況
致謝
【參考文獻(xiàn)】:
期刊論文
[1]我國(guó)司法人工智能建設(shè)的問題與應(yīng)對(duì)[J]. 程凡卿. 東方法學(xué). 2018(03)
[2]人工智能時(shí)代的制度安排與法律規(guī)制[J]. 吳漢東. 法律科學(xué)(西北政法大學(xué)學(xué)報(bào)). 2017(05)
本文編號(hào):3136088
【文章來源】:大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:63 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景
1.2 研究現(xiàn)狀
1.2.1 智能司法研究現(xiàn)狀
1.2.2 智能司法倫理研究
1.3 本文主要工作
1.4 本文組織結(jié)構(gòu)
2 相關(guān)理論與技術(shù)
2.1 文本分類技術(shù)
2.2 分詞技術(shù)
2.3 詞向量技術(shù)
2.3.1 預(yù)訓(xùn)練詞向量
2.3.2 預(yù)訓(xùn)練語(yǔ)言模型
2.4 本章小結(jié)
3 數(shù)據(jù)預(yù)處理
3.1 數(shù)據(jù)集介紹與分析
3.1.1 數(shù)據(jù)集介紹
3.1.2 數(shù)據(jù)集分析
3.2 數(shù)據(jù)預(yù)處理流程
3.3 預(yù)訓(xùn)練詞向量
3.3.1 word2vec詞向量
3.3.2 BERT詞向量
3.4 本章小結(jié)
4 模型設(shè)計(jì)與訓(xùn)練方法
4.1 任務(wù)分析與評(píng)價(jià)指標(biāo)
4.1.1 任務(wù)分析
4.1.2 評(píng)價(jià)指標(biāo)
4.2 預(yù)測(cè)結(jié)果閾值設(shè)置
4.3 模型設(shè)計(jì)
4.3.1 平均詞向量
4.3.2 CNN
4.3.3 Attention-CNN
4.3.4 BERT-ACNN
4.4 超參數(shù)設(shè)置與模型訓(xùn)練方法
4.5 本章小結(jié)
5 實(shí)驗(yàn)與分析
5.1 實(shí)驗(yàn)環(huán)境
5.2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
5.2.1 參與對(duì)比的RNN模型
5.2.2 模型對(duì)比實(shí)驗(yàn)
5.3 模型性能提升
5.3.1 過采樣
5.3.2 增加卷積層數(shù)
5.3.3 模型性能提升實(shí)驗(yàn)
5.4 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表學(xué)術(shù)論文情況
致謝
【參考文獻(xiàn)】:
期刊論文
[1]我國(guó)司法人工智能建設(shè)的問題與應(yīng)對(duì)[J]. 程凡卿. 東方法學(xué). 2018(03)
[2]人工智能時(shí)代的制度安排與法律規(guī)制[J]. 吳漢東. 法律科學(xué)(西北政法大學(xué)學(xué)報(bào)). 2017(05)
本文編號(hào):3136088
本文鏈接:http://www.sikaile.net/kejilunwen/zidonghuakongzhilunwen/3136088.html
最近更新
教材專著