發(fā)布時間：2017-10-17 02:38

  本文關(guān)鍵詞：快速散列算法在智能移動代理中的應(yīng)用

  更多相關(guān)文章： 搜索引擎 移動代理 散列算法

【摘要】：針對搜索引擎后臺的移動代理從互聯(lián)網(wǎng)中抓取信息資源時,存在對URL字符串處理能力的不足,提出了一種快速處理存取數(shù)據(jù)的散列算法,通過在真實值和鍵值之間建立一一對應(yīng)關(guān)系,快速把進入到移動代理隊列中的字符串轉(zhuǎn)化為一種線性表結(jié)構(gòu),改善隊列處理字符串的能力.在Heritrix框架基礎(chǔ)上,利用Eclipse 3.3開發(fā)平臺實現(xiàn)了相應(yīng)功能.實驗結(jié)果表明:在加入快速散列算法之后,移動代理在搜索效率和抓取速度等方面得到明顯提高.
【作者單位】： 中南民族大學圖書館;
【關(guān)鍵詞】： 搜索引擎 移動代理 散列算法
【基金】：中南民族大學中央高�；究蒲袠I(yè)務(wù)費專項基金資助項目(ZZQ10011)
【分類號】：TP391.3
【正文快照】： 在信息檢索過程中,移動代理中的URL隊列是最關(guān)鍵的數(shù)據(jù)結(jié)構(gòu),一般采用內(nèi)存數(shù)據(jù)結(jié)構(gòu),如:采用鏈表來實現(xiàn)URL隊列.而對于大規(guī)模的搜索引擎,將會有數(shù)十億的URL待抓取,這種數(shù)據(jù)結(jié)構(gòu)不能滿足要求[1].于是,人們提出了使用內(nèi)存數(shù)據(jù)庫的方法存儲URL,Berkeley DB[2]是應(yīng)用較廣的一種嵌入

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 張澤洲,朱清新;基于移動Agent和最優(yōu)搜索理論的CBIR系統(tǒng)[J];計算機應(yīng)用與軟件;2005年10期

2 趙鑫,武剛;搜索引擎的發(fā)展與展望[J];河北林果研究;2004年01期

3 胡紅霞,王振興,李申堂;搜索引擎技術(shù)的現(xiàn)狀及發(fā)展趨勢[J];信息工程大學學報;2001年04期

4 張蓮梅,陳紅梅,許繼紅,楊璃,李凌;基于分布式電力資源庫的搜索引擎框架設(shè)計[J];電力信息化;2005年03期

5 化柏林;搜索引擎技術(shù)發(fā)展觀[J];中國計算機用戶;2004年26期

6 鐘榮;;基于XML的移動Agent搜索引擎[J];中國水運(理論版);2006年05期

7 盛成,徐進;移動代理技術(shù)的討論[J];計算機系統(tǒng)應(yīng)用;2000年05期

8 楊哲;基于移動代理的服務(wù)供應(yīng)鏈構(gòu)建仿真模型[J];計算機工程與應(yīng)用;2005年10期

9 查志華;李偉;;搜索引擎的技術(shù)現(xiàn)狀及發(fā)展趨勢[J];兵團教育學院學報;2006年03期

10 朱淼良,邱瑜;移動代理系統(tǒng)綜述[J];計算機研究與發(fā)展;2001年01期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學會第五屆學術(shù)年會論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國中醫(yī)藥信息研究會第二屆理事大會暨學術(shù)交流會議論文匯編[C];2003年

3 鄧長壽;郭景峰;楊焱林;鄧安遠;;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2001年

4 維尼拉·木沙江;吐爾洪·吾司曼;;維、哈、柯文搜索引擎中網(wǎng)頁爬行器的設(shè)計與實現(xiàn)[A];少數(shù)民族青年自然語言處理技術(shù)研究與進展——第三屆全國少數(shù)民族青年自然語言信息處理、第二屆全國多語言知識庫建設(shè)聯(lián)合學術(shù)研討會論文集[C];2010年

5 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計算機學會2008年年會論文集[C];2008年

6 姚樹宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國開放式分布與并行計算學術(shù)會議論文集[C];2005年

7 倪俊峰;;基于黃頁搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計與實現(xiàn)[A];2005年中國索引學會年會暨學術(shù)研討會論文集[C];2005年

8 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國索引學會年會暨學術(shù)研討會論文集[C];2010年

9 陳援非;何哲;朱珍民;;基于普適計算的個性化搜索技術(shù)[A];第二屆和諧人機環(huán)境聯(lián)合學術(shù)會議(HHME2006)——第2屆中國普適計算學術(shù)會議(PCC'06)論文集[C];2006年

10 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學報編輯論叢（第十一集）[C];2003年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 李一鑫;搜索排名的紅與黑[N];財經(jīng)時報;2007年

2 周文林;搜狗3.0能否撼動搜索市場[N];經(jīng)濟參考報;2007年

3 惠正一;比爾·蓋茨:微軟不怕Google[N];第一財經(jīng)日報;2005年

4 賽迪顧問股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;搜索，，還是門戶[N];中國計算機報;2005年

5 陳珊;浙江移動推出手機搜索引擎服務(wù)[N];人民郵電;2005年

6 趙法忠;搜索引擎還需悠著點[N];中國經(jīng)營報;2005年

7 金朝力;搜索引擎火拼搜索質(zhì)量[N];北京商報;2006年

8 本報記者　 趙曉輝 孟昭麗;搜索引擎駛?cè)搿氨茱L港”[N];中國證券報;2006年

9 孫t;搜索引擎驚喜侵權(quán)官司止于“避風港”？[N];第一財經(jīng)日報;2006年

10 姜蕊;問天下誰識搜索？[N];中國高新技術(shù)產(chǎn)業(yè)導報;2006年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學;2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學;2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學;2011年

4 劉佐達;分布協(xié)作式搜索引擎模型及算法研究[D];清華大學;2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學;2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學;2012年

7 王昤璞;基于用戶體驗的互聯(lián)網(wǎng)搜索引擎醫(yī)學信息檢索可用性評估研究[D];吉林大學;2010年

8 李莎莎;面向搜索引擎的自然語言處理關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2011年

9 鄭文良;基于簡單本體的農(nóng)業(yè)P2P搜索引擎關(guān)鍵技術(shù)研究[D];沈陽農(nóng)業(yè)大學;2013年

10 白玉琪;空間信息搜索引擎研究[D];中國科學院研究生院（遙感應(yīng)用研究所）;2003年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 薛云;Internet上元搜索引擎的研究與設(shè)計[D];太原理工大學;2003年

2 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學;2010年

3 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實現(xiàn)和優(yōu)化[D];吉林大學;2011年

4 董晨;基于模糊聚類的個性化搜索引擎的研究[D];福州大學;2005年

5 封俊;基于Hadoop的分布式搜索引擎研究與實現(xiàn)[D];太原理工大學;2010年

6 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實現(xiàn)[D];華南理工大學;2010年

7 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學;2011年

8 李建平;智能化WEB信息搜索引擎的研究與實現(xiàn)[D];大慶石油學院;2003年

9 田生偉;基于涉農(nóng)詞典的搜索引擎的研究與實踐[D];新疆大學;2004年

10 歐建斌;基于Web挖掘與信息分類的個性化搜索引擎研究[D];暨南大學;2010年

本文編號：1046360