發(fā)布時(shí)間：2017-12-14 08:33

  本文關(guān)鍵詞：中文新詞識別研究概述

  更多相關(guān)文章： 新詞識別 構(gòu)詞模式 詞內(nèi)部概率 鄰接類別

【摘要】：新詞識別是中文信息處理的重要課題,但因新詞產(chǎn)生的速度快,語法、語用靈活,詞典難以及時(shí)收錄等問題使新詞識別成為了中文信息處理領(lǐng)域的難點(diǎn)和熱點(diǎn)問題。新詞識別研究的方法主要有規(guī)則方法、統(tǒng)計(jì)方法以及規(guī)則與統(tǒng)計(jì)相結(jié)合的方法。新詞識別的規(guī)則主要有新詞詞性規(guī)則和新詞構(gòu)詞模式規(guī)則。統(tǒng)計(jì)方法主要通過計(jì)算詞的TF/IDF值、詞內(nèi)部概率、詞的頻次對比、詞的臨接類別等進(jìn)行新詞識別。最后該文總結(jié)了中文新詞識別研究中存在的問題,指出未來研究的方向。
【作者單位】： 中央民族大學(xué)少數(shù)民族語言文學(xué)系;內(nèi)蒙古民族大學(xué)文學(xué)院;
【分類號】：TP391.1
【正文快照】： 新詞識別研究是中文信息處理中的一個基礎(chǔ)性問題,它直接關(guān)系到中文分詞的效果,繼而影響到后續(xù)各級的信息處理問題。在應(yīng)用領(lǐng)域中新詞識別對于信息檢索、數(shù)據(jù)挖掘、輿情監(jiān)測、機(jī)器翻譯等各個方面都將產(chǎn)生影響。因此,新詞識別是中文信息處理的一個重要課題,但因新詞產(chǎn)生的速度快

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;中文信息處理基礎(chǔ)性國家標(biāo)準(zhǔn)出臺[J];軍民兩用技術(shù)與產(chǎn)品;2000年05期

2 郭弘;信息—中國造——孫茂松教授談中文信息處理領(lǐng)域面臨的機(jī)遇和挑戰(zhàn)[J];微電腦世界;2000年16期

3 ;民族軟件的基礎(chǔ)——中文信息處理技術(shù)[J];數(shù)字與縮微影像;2003年03期

4 ;中文信息處理戰(zhàn)略研討會在南寧召開[J];中文信息學(xué)報(bào);2007年04期

5 苗奪謙;衛(wèi)志華;王睿智;張志飛;;“中文信息處理”實(shí)踐教學(xué)探索[J];計(jì)算機(jī)教育;2010年17期

6 石天;中文信息處理──中國企業(yè)面臨嚴(yán)峻挑戰(zhàn)[J];電腦技術(shù);1997年05期

7 ;中文信息處理新秀──四通利方軟件在'97廣交會上[J];信息經(jīng)濟(jì)與技術(shù);1997年06期

8 陳力為,袁琦;跨世紀(jì)的中文信息處理基礎(chǔ)研究和產(chǎn)品開發(fā)[J];信息系統(tǒng)工程;1998年12期

9 王佳存;中文信息處理產(chǎn)業(yè)的發(fā)展方向探討[J];科學(xué)與管理;1998年01期

10 陳小荷;中文信息處理概述[J];南京師范大學(xué)文學(xué)院學(xué)報(bào);2002年01期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 李竹;;中文信息處理與現(xiàn)代漢語詞類研究[A];世紀(jì)之交的中國應(yīng)用語言學(xué)研究——第二屆全國語言文字應(yīng)用學(xué)術(shù)研討會論文集[C];1998年

2 孫玉芳;;中文信息處理與國家信息化建設(shè)[A];面向21世紀(jì)的科技進(jìn)步與社會經(jīng)濟(jì)發(fā)展（上冊）[C];1999年

3 ;我國中文信息處理技術(shù)的發(fā)展與展望[A];科技進(jìn)步與學(xué)科發(fā)展——“科學(xué)技術(shù)面向新世紀(jì)”學(xué)術(shù)年會論文集[C];1998年

4 ;前言[A];中文信息處理前沿進(jìn)展——中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C];2006年

5 ;中科院計(jì)算所中文信息處理技術(shù)簡介[A];中國中文信息學(xué)會第六次全國會員代表大會暨成立二十五周年學(xué)術(shù)會議中文信息處理重大成果匯報(bào)展資料匯編[C];2006年

6 ;中文信息處理重大成果匯報(bào)展方正集團(tuán)展示內(nèi)容介紹[A];中國中文信息學(xué)會第六次全國會員代表大會暨成立二十五周年學(xué)術(shù)會議中文信息處理重大成果匯報(bào)展資料匯編[C];2006年

7 ;中國中文信息學(xué)會交流材料[A];2011年網(wǎng)絡(luò)學(xué)術(shù)交流研討會交流材料[C];2011年

8 劉群;張浩;白碩;;中文信息處理開放平臺的設(shè)計(jì)[A];第一屆學(xué)生計(jì)算語言學(xué)研討會論文集[C];2002年

9 ;863計(jì)劃中文信息處理與智能人機(jī)接口基礎(chǔ)數(shù)據(jù)庫內(nèi)容及其共享模式簡介[A];中國中文信息學(xué)會第六次全國會員代表大會暨成立二十五周年學(xué)術(shù)會議中文信息處理重大成果匯報(bào)展資料匯編[C];2006年

10 陸儉明;王黎;;句處理中排歧問題補(bǔ)議[A];語言計(jì)算與基于內(nèi)容的文本處理——全國第七屆計(jì)算語言學(xué)聯(lián)合學(xué)術(shù)會議論文集[C];2003年

中國重要報(bào)紙全文數(shù)據(jù)庫 前8條

1 記者 韓曉玲邋通訊員 張波 龍雨;海內(nèi)外專家聚焦中文信息處理[N];湖北日報(bào);2007年

2 張波 龍雨;中文信息處理國際學(xué)術(shù)會議在武漢大學(xué)召開[N];中國社會科學(xué)院院報(bào);2007年

3 記者 梁捷;我國中文信息處理技術(shù)從實(shí)驗(yàn)室走向全面應(yīng)用[N];光明日報(bào);2009年

4 姚雙云 華中師范大學(xué)語言與語言教育研究中心;虛詞知識庫:中文信息處理的基石[N];中國社會科學(xué)報(bào);2011年

5 劉萍;我國中文信息處理技術(shù)達(dá)到新水平[N];中國電子報(bào);2001年

6 張海峰;我國軟件產(chǎn)業(yè)發(fā)展的機(jī)遇和威脅[N];就業(yè)時(shí)報(bào);2007年

7 胡唯元;文字編碼新標(biāo)準(zhǔn)：不再為“名”所累[N];科技日報(bào);2006年

8 ;浙江天宇信息技術(shù)有限公司[N];中國計(jì)算機(jī)報(bào);2009年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 王建會;中文信息處理中若干關(guān)鍵技術(shù)的研究[D];復(fù)旦大學(xué);2004年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 羅麗俊;中文信息處理中若干技術(shù)的研究與實(shí)現(xiàn)[D];遼寧科技大學(xué);2008年

2 任紅梅;分詞連寫的中文信息處理[D];中國石油大學(xué);2007年

3 朱沖;中文信息處理關(guān)鍵問題的研究[D];桂林電子科技大學(xué);2009年

4 許婷;面向中文信息處理的復(fù)句特征分析器的研究與實(shí)現(xiàn)[D];華中師范大學(xué);2011年

5 梁文娟;漢字語法語義智能輸入法搭配庫設(shè)計(jì)與實(shí)現(xiàn)[D];河南大學(xué);2006年

6 劉劍鋒;基于搭配關(guān)系的有標(biāo)復(fù)句層次關(guān)系分析[D];華中師范大學(xué);2015年

7 謝芳;特定領(lǐng)域術(shù)語的自動獲取[D];華中師范大學(xué);2006年

8 杜瑩;漢字語法語義智能輸入法核心算法及實(shí)現(xiàn)技術(shù)[D];河南大學(xué);2006年

9 黨蘭學(xué);漢字語法語義智能輸入法總體設(shè)計(jì)與部分實(shí)現(xiàn)[D];河南大學(xué);2006年

10 王振宇;基于Bootstrapping的交通工具名識別[D];山西大學(xué);2009年

，

本文編號：1287244