發(fā)布時(shí)間：2019-02-13 07:51

【摘要】：Web搜索引擎中,對(duì)用戶查詢結(jié)構(gòu)的有效分析,能更好地理解用戶的查詢意圖,促進(jìn)檢索效果的提升。該文提出了一種簡(jiǎn)單高效的基于逐點(diǎn)互信息的查詢結(jié)構(gòu)分析方法,該方法包含了基于MapReduce的離線訓(xùn)練算法,以及一種自下向上的在線查詢樹構(gòu)建算法。實(shí)驗(yàn)顯示,該方法具有很高的切分速度,并能取得不錯(cuò)的可比較的切分效果。進(jìn)一步的,該方法對(duì)檢索性能的提升,也有明顯的促進(jìn)作用,在MAP,p@5,p@10評(píng)價(jià)指標(biāo)上,都取得了不錯(cuò)的性能提升。
[Abstract]:In the Web search engine, the effective analysis of the user's query structure can better understand the user's query intention and promote the improvement of the retrieval effect. In this paper, a simple and efficient query structure analysis method based on point-by-point mutual information is proposed. The method includes an off-line training algorithm based on MapReduce and a bottom-up on-line query tree construction algorithm. Experiments show that this method has a high segmentation speed and can achieve a good comparable segmentation effect. Furthermore, this method can improve the performance of retrieval and improve the performance of MAP,p@5,p@10.
【作者單位】： 中國(guó)科學(xué)院計(jì)算技術(shù)研究所;中國(guó)科學(xué)院研究生院;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(60903139,60873243,60933005) 國(guó)家863計(jì)劃重點(diǎn)項(xiàng)目(2010AA012502,2010AA012503)
【分類號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 王思力;王斌;;基于雙字耦合度的中文分詞交叉歧義處理方法[J];中文信息學(xué)報(bào);2007年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前7條

1 姚繼偉;趙東范;;基于短語(yǔ)匹配的中文分詞消歧方法[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2010年03期

2 喬維;孫茂松;;漢語(yǔ)交集型歧義切分字段關(guān)于專業(yè)領(lǐng)域的統(tǒng)計(jì)特性[J];中文信息學(xué)報(bào);2008年04期

3 張祿彭;易綿竹;周云;;中文歧義研究25年——以《中文信息學(xué)報(bào)》論文為例[J];中文信息學(xué)報(bào);2012年04期

4 奉國(guó)和;鄭偉;;國(guó)內(nèi)中文自動(dòng)分詞技術(shù)研究綜述[J];圖書情報(bào)工作;2011年02期

5 魏莎莎;熊海靈;;中文分詞中的歧義識(shí)別處理策略[J];微計(jì)算機(jī)信息;2010年30期

6 徐吉;朱蘭娟;;用于網(wǎng)絡(luò)搜索引擎的中文分詞消岐算法[J];微型電腦應(yīng)用;2011年04期

7 胡阿明;王衛(wèi)東;;中文分詞歧義識(shí)別算法的優(yōu)化[J];現(xiàn)代電子技術(shù);2012年08期

相關(guān)碩士學(xué)位論文 前8條

1 王\~;基于Lucene的同義詞擴(kuò)展檢索的研究與實(shí)現(xiàn)[D];天津財(cái)經(jīng)大學(xué);2011年

2 譚冬晨;主觀題評(píng)分算法模型研究[D];電子科技大學(xué);2011年

3 何愛元;基于詞典和概率統(tǒng)計(jì)的中文分詞算法研究[D];遼寧大學(xué);2011年

4 魏博誠(chéng);中文分詞交集型歧義處理研究[D];安徽大學(xué);2011年

5 鄧飛;基于本體的查詢擴(kuò)展研究[D];遼寧科技大學(xué);2011年

6 朱荷香;中文自動(dòng)文摘系統(tǒng)的研究與實(shí)現(xiàn)[D];南京師范大學(xué);2008年

7 曹衛(wèi)峰;中文分詞關(guān)鍵技術(shù)研究[D];南京理工大學(xué);2009年

8 陳祥榮;Lucene全文檢索技術(shù)在專利服務(wù)平臺(tái)中的研究與應(yīng)用[D];蘇州大學(xué);2010年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 孫茂松,黃昌寧,鄒嘉彥,陸方,沈達(dá)陽(yáng);利用漢字二元語(yǔ)法關(guān)系解決漢語(yǔ)自動(dòng)分詞中的交集型歧義[J];計(jì)算機(jī)研究與發(fā)展;1997年05期

2 孫茂松,肖明,鄒嘉彥;基于無指導(dǎo)學(xué)習(xí)策略的無詞表?xiàng)l件下的漢語(yǔ)自動(dòng)分詞[J];計(jì)算機(jī)學(xué)報(bào);2004年06期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 高升,賈文舉,王曉龍,姜亞學(xué);一個(gè)基于互信息的規(guī)則量化方法[J];計(jì)算機(jī)研究與發(fā)展;2000年08期

2 戴國(guó)徽;曹奇英;;漢語(yǔ)發(fā)音中多音離合詞的讀音消歧[J];微計(jì)算機(jī)信息;2011年03期

3 李涓子,黃昌寧;語(yǔ)言模型中一種改進(jìn)的最大熵方法及其應(yīng)用[J];軟件學(xué)報(bào);1999年03期

4 朱小娟;陳特放;;詞頻統(tǒng)計(jì)中文分詞技術(shù)的研究[J];儀器儀表用戶;2007年03期

5 李中梅,鮑旭東;三維表面與平面數(shù)據(jù)間的自適應(yīng)配準(zhǔn)[J];計(jì)算機(jī)工程與應(yīng)用;2004年23期

6 李衛(wèi)華,周軍,周連文,程英蕾;一種基于互信息和小波分解的圖像配準(zhǔn)算法[J];計(jì)算機(jī)工程與應(yīng)用;2005年33期

7 張國(guó)偉;邵世煌;齊金鵬;張穎;;基于信息度量的基因網(wǎng)絡(luò)建模[J];生物信息學(xué);2006年04期

8 楊春蘭;鄭鏈;李曉明;;高階熵在醫(yī)學(xué)圖像配準(zhǔn)中的應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2007年11期

9 朱冰蓮;田學(xué)隆;宋維杰;;基于人工免疫系統(tǒng)的醫(yī)學(xué)圖像配準(zhǔn)[J];儀器儀表學(xué)報(bào);2009年07期

10 裘意娜;李均利;金林鵬;;基于概率和引力優(yōu)化模型的醫(yī)學(xué)圖像配準(zhǔn)[J];中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào);2010年03期

相關(guān)會(huì)議論文 前10條

1 宗仁鶴;朱祥勝;劉良成;曾鋼燕;;基于互信息的醫(yī)學(xué)圖像配準(zhǔn)[A];全國(guó)第16屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2004年

2 王芳;萬(wàn)常選;;基于互信息的中文完整詞自動(dòng)識(shí)別模型[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2007年

3 郭志立;;使用互信息輔助在篇章范圍內(nèi)識(shí)別命名實(shí)體[A];語(yǔ)言計(jì)算與基于內(nèi)容的文本處理——全國(guó)第七屆計(jì)算語(yǔ)言學(xué)聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2003年

4 付曉寅;魏瑋;徐波;;一種基于狀態(tài)轉(zhuǎn)移的N元語(yǔ)言模型快速查詢方法[A];機(jī)器翻譯研究進(jìn)展——第七屆全國(guó)機(jī)器翻譯研討會(huì)論文集[C];2011年

5 韓中元;李生;楊沐昀;齊浩亮;;面向信息檢索的近鄰語(yǔ)言模型[A];第六屆全國(guó)信息檢索學(xué)術(shù)會(huì)議論文集[C];2010年

6 李瑞;王朝坤;鄭偉;王建民;王偉平;;基于MapReduce框架的近似復(fù)制文本檢測(cè)[A];NDBC2010第27屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(B輯)[C];2010年

7 叢日娟;李均利;侯艷芹;陳北京;;窗寬窗位對(duì)基于互信息的醫(yī)學(xué)圖像配準(zhǔn)方法的影響[A];第十三屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2006年

8 奚寧;趙迎功;湯光超;李斌;羅春勇;戴新宇;陳家駿;;統(tǒng)計(jì)機(jī)器翻譯中多種語(yǔ)言模型的融合[A];機(jī)器翻譯研究進(jìn)展——第七屆全國(guó)機(jī)器翻譯研討會(huì)論文集[C];2011年

9 趙偉;陳承收;李立軍;;基于MapReduce云計(jì)算模型的碰撞檢測(cè)算法[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

10 孫廣中;肖鋒;熊曦;;MapReduce模型的調(diào)度及容錯(cuò)機(jī)制研究[A];2007年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 劉琦;MapReduce:亞馬遜云服務(wù)再添新援[N];中國(guó)計(jì)算機(jī)報(bào);2009年

2 何中軍邋米海濤 劉群;統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)中的開源軟件[N];計(jì)算機(jī)世界;2007年

3 中科院計(jì)算技術(shù)研究所 呂雅娟邋付雷 黃瑾 何中軍 劉群;化繁為簡(jiǎn)的統(tǒng)計(jì)機(jī)器翻譯技術(shù)[N];中國(guó)計(jì)算機(jī)報(bào);2007年

4 北京清華大學(xué)電子工程系副教授 劉加 教授 劉潤(rùn)生;讓機(jī)器聽懂我的話[N];科技日?qǐng)?bào);2001年

5 駱衛(wèi)華 劉群 張俊林;搜索引擎:性能提高遇到瓶頸[N];計(jì)算機(jī)世界;2006年

6 呂雅娟邋付雷 黃瑾 何中軍 劉群;能自動(dòng)翻譯專利文獻(xiàn)的翻譯系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 中國(guó)科學(xué)院聲學(xué)研究所研究員 俞鐵城;解析語(yǔ)音識(shí)別的發(fā)展現(xiàn)狀[N];通信產(chǎn)業(yè)報(bào);2004年

8 熊德意邋何中軍 劉群;機(jī)器翻譯漸行漸近[N];計(jì)算機(jī)世界;2007年

9 曉亭;神奇的CLM語(yǔ)言模型技術(shù)[N];中國(guó)教育報(bào);2000年

10 閆宏志;全文翻譯技術(shù)發(fā)展脈絡(luò)[N];中國(guó)計(jì)算機(jī)報(bào);2003年

相關(guān)博士學(xué)位論文 前10條

1 張俊林;基于語(yǔ)言模型的信息檢索系統(tǒng)研究[D];中國(guó)科學(xué)院研究生院（軟件研究所）;2004年

2 強(qiáng)保華;異構(gòu)數(shù)據(jù)庫(kù)語(yǔ)義集成技術(shù)研究[D];重慶大學(xué);2005年

3 楊金寶;基于灰度相似性測(cè)度的醫(yī)學(xué)圖像配準(zhǔn)技術(shù)研究[D];山東大學(xué);2008年

4 張樺;場(chǎng)景圖像拼接關(guān)鍵技術(shù)研究[D];天津大學(xué);2008年

5 趙建平;醫(yī)學(xué)圖像處理若干關(guān)鍵問題研究[D];長(zhǎng)春理工大學(xué);2008年

6 劉華文;基于信息熵的特征選擇算法研究[D];吉林大學(xué);2010年

7 鄭春厚;獨(dú)立分量分析算法及其應(yīng)用研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2006年

8 胡旺;圖像融合中的關(guān)鍵技術(shù)研究[D];四川大學(xué);2006年

9 胡順波;凹函數(shù)類測(cè)度和醫(yī)學(xué)圖像配準(zhǔn)技術(shù)研究[D];山東大學(xué);2008年

10 陸雪松;聚焦超聲治療系統(tǒng)中的圖像非剛性配準(zhǔn)算法研究及應(yīng)用[D];上海交通大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 羅h，

本文編號(hào)：2421334