發(fā)布時(shí)間：2020-11-04 08:49

　　 漢語(yǔ)分詞是中文信息處理中最基礎(chǔ)的部分。信息檢索用漢語(yǔ)分詞要求分詞算法具備一定的歧義識(shí)別與未登錄詞識(shí)別功能。 本文深入研究了未登錄詞識(shí)別技術(shù)，根據(jù)人在閱讀時(shí)識(shí)別新詞的思維過(guò)程，提出了一種新的未登錄詞識(shí)別算法，其中的數(shù)量詞識(shí)別規(guī)則、邊界單字規(guī)則、虛字輔助規(guī)則、未登錄詞記憶識(shí)別規(guī)則以及左方探測(cè)法、右方探測(cè)法選取未登錄詞規(guī)則等，使得算法在不依賴大型語(yǔ)料庫(kù)的前提下可以有效地識(shí)別多種領(lǐng)域中各種類型的未登錄詞。同時(shí)，算法通過(guò)對(duì)正向、逆向雙向分詞算法的結(jié)果進(jìn)行比較，能識(shí)別出絕大部分的交集歧義，使得未登錄詞識(shí)別與切分歧義識(shí)別一體化，有效地解決了識(shí)別未登錄詞時(shí)導(dǎo)致的新的切分歧義問(wèn)題。接著，本文改進(jìn)了詞表組織結(jié)構(gòu)，改善了詞表查詢算法，在提高分詞效率的同時(shí)也使得詞表的囊括度更大、更新維護(hù)更加靈活。 在此基礎(chǔ)上，針對(duì)信息檢索領(lǐng)域的特點(diǎn)以及對(duì)分詞算法的要求，本文提出了漢語(yǔ)自適應(yīng)分詞算法，并設(shè)計(jì)開(kāi)發(fā)出了漢語(yǔ)分詞基礎(chǔ)模塊carmmLib．d11以及漢語(yǔ)自適應(yīng)分詞系統(tǒng)Carmm。carmm用戶可以定制詞表，定制分詞結(jié)果以及可以對(duì)詞表、未登錄詞表等詞表進(jìn)行管理維護(hù)等。Carmm還具備很好的擴(kuò)展性和可移植性。 最后，本文對(duì)Carmm與中科院的分詞系統(tǒng)ICTCLAS開(kāi)源版進(jìn)行了全面測(cè)評(píng)，包括系統(tǒng)效能測(cè)評(píng)(系統(tǒng)基本性能測(cè)評(píng)、負(fù)荷測(cè)評(píng)、穩(wěn)定性測(cè)評(píng))、系統(tǒng)分詞準(zhǔn)確率測(cè)評(píng)、系統(tǒng)未登錄詞識(shí)別的準(zhǔn)確率和召回率測(cè)評(píng)。在整個(gè)測(cè)評(píng)過(guò)程中，Carmm的分詞速率可以穩(wěn)定在100KB／s左右。在人民日?qǐng)?bào)語(yǔ)料庫(kù)的開(kāi)放測(cè)評(píng)中，Carmm系統(tǒng)的分詞準(zhǔn)確率約為91.2％。在網(wǎng)絡(luò)時(shí)文的開(kāi)放測(cè)評(píng)中，Carmm系統(tǒng)的分詞準(zhǔn)確率約為90.1％，接近于ICTCLAS開(kāi)源版的91.3％；未登錄詞識(shí)別的準(zhǔn)確率約為91.2％，略低于ICTCLAS開(kāi)源版的93.9％；而未登錄詞識(shí)別的召回率約為94.7％，明顯高于ICTCLAS開(kāi)源版的89.0％。與此同時(shí)，Carmm系統(tǒng)在分詞速率、處理大量未登錄詞的速率穩(wěn)定性、面對(duì)高負(fù)荷系統(tǒng)環(huán)境的健壯性、系統(tǒng)易用性、系統(tǒng)抗干擾性等方面都優(yōu)于ICTCLAS系統(tǒng)開(kāi)源版。
【學(xué)位單位】：南京農(nóng)業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2007
【中圖分類】：G354
【部分圖文】：

總詞數(shù)/總詞頻 55630100882942100根據(jù)表3一1對(duì)1998年1月份人民日?qǐng)?bào)語(yǔ)料庫(kù)中詞的統(tǒng)計(jì)數(shù)據(jù)，楊超等人得到該語(yǔ)料庫(kù)中出現(xiàn)的詞條數(shù)的分布信息如圖3一3所示，詞頻數(shù)的分布信息如圖3一4所示:四字及四字單字詞以上詞三字詞19%二字詞56%國(guó)國(guó)單字詞 詞...二字詞 詞口口三字詞 詞口口四字及四字以上詞詞圖3一3人民日?qǐng)?bào)語(yǔ)料庫(kù)中詞數(shù)的分布信息口三字詞口四字及四目單字詞.二字詞字以上詞田田單字詞 詞...二字詞 詞口口三字詞 詞口口四字及四字以上詞詞圖3一4人民日?qǐng)?bào)語(yǔ)料庫(kù)中詞頻的分布信息以上統(tǒng)計(jì)數(shù)據(jù)表明，在漢語(yǔ)中，單字詞與二字詞占有絕大多數(shù)。因此快速判斷單字詞與二字詞，對(duì)提高漢語(yǔ)分詞效率起著至關(guān)重要的作用。由于在漢語(yǔ)自適應(yīng)分詞算法使用的是最長(zhǎng)匹配法，以及識(shí)別的候選未登錄詞短語(yǔ)長(zhǎng)度一般都大于2，所以詞串查詢大部分為二字長(zhǎng)以上的字串在詞表里進(jìn)行局部查詢。從上面的數(shù)據(jù)統(tǒng)計(jì)分

總詞數(shù)/總詞頻 55630100882942100根據(jù)表3一1對(duì)1998年1月份人民日?qǐng)?bào)語(yǔ)料庫(kù)中詞的統(tǒng)計(jì)數(shù)據(jù)，楊超等人得到該語(yǔ)料庫(kù)中出現(xiàn)的詞條數(shù)的分布信息如圖3一3所示，詞頻數(shù)的分布信息如圖3一4所示:四字及四字單字詞以上詞三字詞19%二字詞56%國(guó)國(guó)單字詞 詞...二字詞 詞口口三字詞 詞口口四字及四字以上詞詞圖3一3人民日?qǐng)?bào)語(yǔ)料庫(kù)中詞數(shù)的分布信息口三字詞口四字及四目單字詞.二字詞字以上詞田田單字詞 詞...二字詞 詞口口三字詞 詞口口四字及四字以上詞詞圖3一4人民日?qǐng)?bào)語(yǔ)料庫(kù)中詞頻的分布信息以上統(tǒng)計(jì)數(shù)據(jù)表明，在漢語(yǔ)中，單字詞與二字詞占有絕大多數(shù)。因此快速判斷單字詞與二字詞，對(duì)提高漢語(yǔ)分詞效率起著至關(guān)重要的作用。由于在漢語(yǔ)自適應(yīng)分詞算法使用的是最長(zhǎng)匹配法，以及識(shí)別的候選未登錄詞短語(yǔ)長(zhǎng)度一般都大于2，所以詞串查詢大部分為二字長(zhǎng)以上的字串在詞表里進(jìn)行局部查詢。從上面的數(shù)據(jù)統(tǒng)計(jì)分

圖4--7Car.系統(tǒng)主界面圖在分詞之前，需要進(jìn)行相關(guān)的基本配置:1)分詞算法選擇選擇分詞系統(tǒng)使用的算法，缺省為漢語(yǔ)自適應(yīng)分詞算法，也可以選擇逆向最長(zhǎng)或是正向最長(zhǎng)分詞算法。如下圖:
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張鋒,樊孝忠;基于最大熵模型的交集型切分歧義消解[J];北京理工大學(xué)學(xué)報(bào);2005年07期

2 王顯芳,杜利民;一種能夠檢測(cè)所有交叉歧義的漢語(yǔ)分詞算法[J];電子學(xué)報(bào);2004年01期

3 盧微;;隱馬爾可夫模型在自然語(yǔ)言理解研究中的應(yīng)用[J];電腦與信息技術(shù);2007年01期

4 馮素琴;陳惠明;;利用上下文信息解決漢語(yǔ)組合型歧義[J];電腦開(kāi)發(fā)與應(yīng)用;2007年01期

5 王秀坤,李政,簡(jiǎn)幼良,劉劍;基于Hash方法的機(jī)器翻譯詞典的組織與構(gòu)造[J];大連理工大學(xué)學(xué)報(bào);1996年03期

6 孫茂松,鄒嘉彥;漢語(yǔ)自動(dòng)分詞研究評(píng)述[J];當(dāng)代語(yǔ)言學(xué);2001年01期

7 揭春雨 ,劉源 ,梁南元;論漢語(yǔ)自動(dòng)分詞方法[J];中文信息學(xué)報(bào);1989年01期

8 梁南元;漢語(yǔ)計(jì)算機(jī)自動(dòng)分詞知識(shí)[J];中文信息學(xué)報(bào);1990年02期

9 孫茂松,左正平,黃昌寧;漢語(yǔ)自動(dòng)分詞詞典機(jī)制的實(shí)驗(yàn)研究[J];中文信息學(xué)報(bào);2000年01期

10 沈達(dá)陽(yáng),孫茂松,黃昌寧;漢語(yǔ)分詞系統(tǒng)中的信息集成和最佳路徑搜索方法[J];中文信息學(xué)報(bào);1997年02期

相關(guān)碩士學(xué)位論文 前2條

1 張俊;基于內(nèi)容的漢語(yǔ)文獻(xiàn)信息檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京農(nóng)業(yè)大學(xué);2006年

2 何燕;任意類型的未登錄詞的識(shí)別研究[D];北京語(yǔ)言文化大學(xué);2000年

本文編號(hào)：2869897