【摘要】：在Web信息處理的研究中,不少情況下需要對(duì)很大的URL序列進(jìn)行散列操作.針對(duì)兩種典型的應(yīng)用場(chǎng)合,即Web結(jié)構(gòu)分析中的信息查詢(xún)和并行搜索引擎中的負(fù)載平衡,基于一個(gè)含有2 000多萬(wàn)個(gè)URL的序列,進(jìn)行了大規(guī)模的實(shí)驗(yàn)評(píng)測(cè).說(shuō)明在許多文獻(xiàn)中推薦的對(duì)字符串散列效果很好的ELFhash函數(shù)對(duì)URL的散列效果并不好,同時(shí)推薦了兩種對(duì)URL散列效果很好的函數(shù).
[Abstract]:In the research of Web information processing, a large URL sequence needs to be hashed. For two typical applications, namely, the information query in the web structure analysis and the load balancing in the parallel search engine, a large-scale experiment evaluation is carried out based on a sequence containing more than 20 million URLs. The ELFhash function, which is recommended in many documents, has a good effect on the hash of a string, and it is not good to have a good hash effect on the URL, and two functions that are good for the URL hashing are recommended.
【作者單位】： 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系
【基金】：國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃(973)No.G1999032706~~
【分類(lèi)號(hào)】：TP393.09

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 齊劍鋒,鄢琦,艾迪明,涂序彥;企業(yè)計(jì)算機(jī)網(wǎng)絡(luò)中保護(hù)數(shù)據(jù)安全性與完整性的一種實(shí)用方法[J];計(jì)算機(jī)工程;2002年01期

2 孔素然;;基于散列思想的網(wǎng)頁(yè)去重系統(tǒng)[J];硅谷;2010年22期

3 鄧琦皓,段守敏,賀正國(guó),郭金庚;利用URL Cache提升網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)性能[J];計(jì)算機(jī)應(yīng)用;2003年S2期

4 陳海濤,胡華平,張怡,龔正虎;網(wǎng)絡(luò)入侵檢測(cè)中高效散列模式樹(shù)算法的研究[J];計(jì)算機(jī)工程與科學(xué);2002年05期

5 肖明忠;閔博楠;王佳聰;代亞非;;一個(gè)實(shí)用的針對(duì)URL的哈希函數(shù)[J];小型微型計(jì)算機(jī)系統(tǒng);2006年03期

6 周賢偉;戴昕昱;劉蘊(yùn)絡(luò);;IP組播源認(rèn)證方案研究[J];計(jì)算機(jī)工程;2007年16期

7 生慧;張華忠;徐成強(qiáng);;一種動(dòng)態(tài)的入侵檢測(cè)系統(tǒng)負(fù)載均衡算法[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年23期

8 王永明;;網(wǎng)站性能優(yōu)化解決方案研究[J];科技經(jīng)濟(jì)市場(chǎng);2007年07期

9 韓向春;沈峰;邊瑋;樊書(shū)娟;;基于MWM算法的多模式匹配的改進(jìn)算法NMWM[J];計(jì)算機(jī)與數(shù)字工程;2008年09期

10 曹肖寧;;開(kāi)心網(wǎng)游戲打榜獨(dú)家絕技[J];電腦愛(ài)好者;2009年10期

相關(guān)會(huì)議論文 前1條

1 劉路;孫慶文;;LTEarth互聯(lián)網(wǎng)發(fā)布的關(guān)鍵技術(shù)[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第四次會(huì)員代表大會(huì)暨第十一屆年會(huì)論文集[C];2007年

相關(guān)碩士學(xué)位論文 前2條

1 生慧;高速網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)研究[D];山東大學(xué);2006年

2 王凱;非對(duì)稱(chēng)VLAN的核心技術(shù)研究[D];南京理工大學(xué);2012年

，

本文編號(hào)：2513478