本文關鍵詞：非合作性環(huán)境下的P2P搜索技術研究，由筆耕文化傳播整理發(fā)布。

《浙江大學》 2010年

非合作性環(huán)境下的P2P搜索技術研究

任祖杰  

【摘要】：為了解決傳統集中式搜索引擎所面臨的性能瓶頸,研究人員提出將搜索引擎構建于P2P網絡之上,通過P2P網絡將分散的眾多節(jié)點聯系起來,整合它們的運算能力和存儲資源,從而以較低的硬件代價形成巨大的服務性能。P2P搜索引擎的特點是每個節(jié)點都是一個獨立文檔數據庫,各節(jié)點處于對等地位,不存在中央節(jié)點,相互協作地響應查詢請求。 目前P2P搜索引擎的實現依賴一個假設：所有節(jié)點是合作性的,即所有節(jié)點能夠按照統一協議返回資源描述、參與維護索引、轉發(fā)或執(zhí)行查詢等等。通常情況下,這種合作性機制是由每個節(jié)點安裝一個客戶端工具來實現的。然而,Web中有許多站點包含大量高質量的文檔,且能夠提供站內檢索服務,例如新聞網站,論壇,電子圖書館。這些資源節(jié)點屬于不同的商業(yè)公司或機構,難以要求這類節(jié)點能夠合作地遵照統一協議參與系統的運行。在文獻中,這類節(jié)點常被稱為非合作性節(jié)點,包含非合作性節(jié)點的運行環(huán)境被稱為非合作性環(huán)境。由于Web中非合作節(jié)點數量巨大,整合這類資源將極大地提高搜索引擎的查詢質量和效果。 本論文提出一個非合作性環(huán)境下的P2P搜索引擎框架,并基于這個框架,深入研究了P2P搜索引擎的關鍵問題,包括資源描述獲取方法,資源選擇算法,結果合并算法,索引目錄維護機制等,取得了若干研究成果。 具體來說,本文的研究成果包括： (1)本文提出一種非合作性環(huán)境下的P2P搜索引擎架構,稱為PISA (P2P Information Search with unccoperAtive Peers),實現融合非合作性節(jié)點。本文給出PISA的網絡拓撲結構、索引目錄的數據結構及構建過程、PISA的查詢過程。 (2)本文提出一種非合作性環(huán)境下的啟發(fā)式查詢采樣方法HQBS (Heuristic Query-based Sampling),從非合作性節(jié)點中獲取資源描述信息。傳統的方法是對非合作性節(jié)點發(fā)起一系列查詢,并下載若干結果文檔。當采樣文檔達到一定數量時,停止采樣文檔。這種方法在P2P環(huán)境中容易造成對大節(jié)點采樣不足和對小節(jié)點過度采樣。針對這些問題,HQBS方法采用啟發(fā)式判定采樣終止的條件,使得采樣文檔的數量能夠依節(jié)點大小而動態(tài)調整,盡可能對每個節(jié)點都獲取高質量的資源描述信息,且不浪費采樣資源。 (3)本文提出一種非合作性環(huán)境下的兼顧重疊和相關度的資源選擇算法OPS (Overlap-aware Peer Selection)。與傳統的資源選擇算法忽略資源間重疊不同,OPS用于在非合作性環(huán)境下,通過對查詢結果提取覆蓋統計信息,近似地估算出節(jié)點資源間的重疊度,實現兼顧重疊和相關度的資源選擇算法,提高查詢的效率。隨著查詢的進行,OPS提取的覆蓋統計信息越來越全面,OPS能夠有效地提高新穎結果的總量。 (4)本文提出非合作環(huán)境下的兩個結果合并算法RISE/RISE+(Result mergIng in Score-absent Environments),將非合作性節(jié)點返回的結果列表合并成單個有序的結果列表。傳統的方法依賴各資源節(jié)點提供的本地相關度分值(local relevance score),通過一系列的映射規(guī)范化等操作,計算得到全局相關度分數。然而,在非合作性環(huán)境下,節(jié)點在返回的結果時,可能并不附帶本地相關度分值。本文提出兩種結果合并算法RISE/RISE+,能夠在非合作性節(jié)點不返回相關度分值的情況下,實現高效的結果合并。實驗結果表明,這兩種算法的結果合并準確性略高于傳統方法。 (5)本文提出一種非合作性環(huán)境下的索引目錄更新機制CSU,使得索引目錄在節(jié)點顛簸(churn)和內容演化時保持更新。傳張的索引目錄更新機制是一種基于生命周期(Time-To-Live, TTL)定時更新。各節(jié)點在每隔TTL時間更新索引目錄一次。這種方法在各節(jié)點顛簸,內容演化速率相差很大時,系統難以選擇一個合適的TTL值。如果TTL過大,造成索引目錄更新不及時,影響資源選擇的準確度；反之,會造成索引目錄維護開銷過大,影響系統的性能。針對這些問題,本文提出一種更為節(jié)約高效的非合作性環(huán)境下的索引目錄更新機制CSU。CSU基于受控更新原則充分地減小更新索引目錄的次數,基于選擇性更新原則充分地減小每次更新索引目錄的Posts數量,運用基于劃分消息的更新方法,減小更新消息在網絡的傳輸開銷。

【關鍵詞】：
【學位授予單位】：浙江大學
【學位級別】：博士
【學位授予年份】：2010
【分類號】：TP393.02
【目錄】：

下載全文 更多同類文獻

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻】

中國期刊全文數據庫 前3條

1 楊小敏;國家緊急權憲法條款設計之若干核心問題探討——以德國法為經驗[J];當代法學;2005年05期

2 任祖杰;陳珂;壽黎但;陳剛;貝毅君;李曉燕;;HAPS:Supporting Effective and Effcient Full-Text P2P Search with Peer Dynamics[J];Journal of Computer Science & Technology;2010年03期

3 王彤彤;韓文報;竇勇;;一種基于矢量空間模型的垃圾郵件去重復技術[J];通信技術;2007年12期

【共引文獻】

中國期刊全文數據庫 前10條

1 陳雅;鄭建明;;數字圖書館可持續(xù)發(fā)展中P2P技術研究[J];國家圖書館學刊;2009年01期

2 詹應鍵;林家瑞;黃敏;;奇異值分解法對磁共振譜數據的量化研究[J];北京生物醫(yī)學工程;2007年03期

3 陳雅;鄭建明;;基于P2P技術的數字圖書館可持續(xù)發(fā)展思考[J];圖書與情報;2008年06期

4 和銳;楊建思;張翼;;地震層析成像方法綜述[J];CT理論與應用研究;2007年01期

5 陳明生,陳樂壽,王天生,白改先;用改進廣義逆矩陣方法解釋大地電磁測深及電測深資料[J];地球物理學報;1983年04期

6 劉福田;震源位置和速度結構的聯合反演(Ⅰ)——理論和方法[J];地球物理學報;1984年02期

7 王自力,張賽珍;一種真復電阻率譜參數的求解方法[J];地球物理學報;1990年06期

8 胡家富,溫一波,謝應齊;利用地震面波頻散反演巖石圈結構的奇異值分解算法[J];地球物理學報;1998年02期

9 常旭,盧孟夏,劉伊克;地震層析成像反演中3種廣義解的誤差分析與評價[J];地球物理學報;1999年05期

10 劉伊克,常旭;地震層析成像反演中解的定量評價及其應用[J];地球物理學報;2000年02期

中國重要會議論文全文數據庫 前5條

1 ;A Combination of DCT-Based and SVD-Based Watermarking Scheme[A];2004 7～(th) International Conference on Signal Processing Proceedings[C];2004年

2 ZBIGNIEW ISAKOW;;SAFECOMINE INTRINSICALLY SAFE SYSTEM FOR MONITORING OF HAZARDS IN MINES RELATED TO DISTURBANCE OF THE STRATA AND ENVIRONMENT EQUILIBRIUM[A];Controlling Seismic Hazard and Sustainable Development of Deep Mines(Volume 2)[C];2009年

3 孔亮;石磊;孫柏;張巖;;Web評論主流觀點提取及不同源數據的對比分析[A];第26屆中國數據庫學術會議論文集（B輯）[C];2009年

4 ;Research on Query-based Automatic Summarization of Webpage[A];2009 ISECS International Colloquium on Computing,Communication,Control,and Management Proceedings (VolumeⅠ)[C];2009年

5 Richard D.Miller;Recep Cakir;;Estimation of near-surface shear-wave velocity using multichannel analysis of Love waves(MALW)[A];Near-Surface Geophysics and Geohazards--Proceedings of the 4~(th) International Conference on Environmental and Engineering Geophysics(Volume 1)[C];2010年

中國博士學位論文全文數據庫 前10條

1 許娜;時間序列的分形及其混沌分析[D];北京交通大學;2011年

2 李一嘯;基于復雜網絡和演化博弈理論的社會[D];浙江大學;2010年

3 王樹青;海洋平臺結構的系統辨識與振動控制技術研究[D];中國海洋大學;2003年

4 鄧遠北;幾類線性矩陣方程的解與PROCRUSTES問題[D];湖南大學;2003年

5 敬榮中;地球物理非線性聯合反演方法研究[D];中南大學;2002年

6 楊建國;物探檢測公路地質的綜合方法研究及其工程應用[D];重慶大學;2005年

7 韓吉韜;面向業(yè)務流程的企業(yè)內部知識共享機制與支持系統研究[D];天津大學;2004年

8 冉瑞生;一些矩陣計算問題及其在圖像識別中的應用研究[D];電子科技大學;2006年

9 劉雋詩;基于CDMA的MIMO-OFDM系統檢測算法和多址方案的研究[D];北京郵電大學;2006年

10 馮遵德;Ⅱ類病態(tài)系統分析理論及其應用研究[D];山東科技大學;2006年

中國碩士學位論文全文數據庫 前10條

1 李春;協同過濾推薦算法的研究[D];湘潭大學;2010年

2 呂靖;互聯網搜索詞分類關鍵技術研究[D];浙江大學;2011年

3 盛江濤;網絡論壇話題發(fā)現與跟蹤技術研究[D];哈爾濱工業(yè)大學;2010年

4 范敏敏;企業(yè)經營范圍字段自動分類方法研究[D];哈爾濱工業(yè)大學;2010年

5 陳大熙;OMIM文本中疾病表型相似度挖掘算法研究[D];哈爾濱工業(yè)大學;2010年

6 曾靜靜;基于Map-Reduce構建高效文本聚類系統[D];上海交通大學;2011年

7 黃輝宇;基于神經網絡的不良信息實時監(jiān)測系統研究[D];燕山大學;2003年

8 王學勝;超聲層析技術中射線追蹤方法的研究與應用[D];中國地質大學（北京）;2005年

9 孟帆;分形圖像編碼加速和紋理分割方法的研究[D];西北工業(yè)大學;2006年

10 徐歡;矩陣反問題的總體最小二乘解[D];南京航空航天大學;2006年

【相似文獻】

中國期刊全文數據庫 前10條

1 劉煉;;一種基于P2P網絡新技術的分析研究[J];科技信息;2011年18期

2 韓桂明;王軍;;面向P2P的安全備份系統的研究[J];硅谷;2011年13期

3 安軍科;;P2P技術對校園網的影響及優(yōu)化策略[J];新西部(下旬.理論版);2011年07期

4 孫洪迪;;一款基于P2P技術的游戲網絡引擎的設計[J];北京工業(yè)職業(yè)技術學院學報;2011年03期

5 陳軍章;張偉剛;;P2P網絡Windows安全初探[J];電子商務;2011年09期

6 張靜;;基于分層編碼的流媒體傳輸技術研究[J];福建電腦;2011年07期

7 范會波;張新有;;基于超級節(jié)點的P2P信任模型-TSN[J];微電子學與計算機;2011年09期

8 李彥;王勁林;鄧浩江;趙志強;;Private BitTorrent激勵機制研究[J];微計算機應用;2011年06期

9 馬磊;;淺議防火墻穿透通信技術[J];科技致富向導;2011年23期

10 趙侃;;校園網絡P2P流量分析及控制策略研究[J];考試周刊;2011年56期

中國重要會議論文全文數據庫 前10條

1 陳天罡;;P2P應用及商務模式[A];四川省通信學會2007年學術年會論文集[C];2007年

2 袁野;王國仁;張瑩;;P2P環(huán)境下度量空間中的相似查詢處理[A];第二十五屆中國數據庫學術會議論文集（二）[C];2008年

3 李鈞;王新;;P2P存儲網絡中的冗余維持[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

4 徐陳鋒;奚宏生;江琦;殷保群;;一類分層非結構化P2P系統的隨機優(yōu)化[A];第二十六屆中國控制會議論文集[C];2007年

5 唐晨;孫立峰;楊士強;;基于減小切換延遲的P2P流媒體服務器帶寬分配研究[A];第六屆和諧人機環(huán)境聯合學術會議（HHME2010)、第19屆全國多媒體學術會議（NCMT2010）、第6屆全國人機交互學術會議（CHCI2010）、第5屆全國普適計算學術會議（PCC2010）論文集[C];2010年

6 張建標;張濤;;一種基于流量行為的P2P協議識別方法[A];CCF NCSC 2011——第二屆中國計算機學會服務計算學術會議論文集[C];2011年

7 楊艷春;孟祥武;;P2P網絡服務環(huán)境中的節(jié)點相似性度量研究[A];CCF NCSC 2011——第二屆中國計算機學會服務計算學術會議論文集[C];2011年

8 張娜娜;;P2P流量識別方法研究[A];江蘇省電子學會2010年學術年會論文集[C];2010年

9 張永華;洪鋒;李明祿;薛廣濤;;個性化的P2P內容搜索系統的設計與實現[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

10 蔡文淵;夏添;徐林昊;錢衛(wèi)寧;周水庚;周傲英;;P2P環(huán)境下的視圖選擇[A];第二十屆全國數據庫學術會議論文集（技術報告篇）[C];2003年

中國重要報紙全文數據庫 前10條

1 記者 朱周;[N];昆明日報;2011年

2 本報記者 李彥赤;[N];中國城鄉(xiāng)金融報;2011年

3 本報記者 陳嘉頌;[N];電腦報;2002年

4 農總行農戶金融部 黃邁;[N];中國城鄉(xiāng)金融報;2009年

5 本報記者 楊慶廣;[N];中國電子報;2009年

6 馬莉 撰稿;[N];國際經貿消息;2000年

7 何晶;[N];人民郵電;2009年

8 本報記者 王麗娟;[N];中國經濟時報;2009年

9 主持人 王漢;[N];中國城鄉(xiāng)金融報;2009年

10 陳代壽;[N];中國計算機報;2002年

中國博士學位論文全文數據庫 前10條

1 任祖杰;非合作性環(huán)境下的P2P搜索技術研究[D];浙江大學;2010年

2 王廣奇;基于P2P框架的數據庫網格中若干關鍵技術的研究[D];東北大學;2008年

3 張小松;P2P蠕蟲行為模型及遏制方法研究[D];電子科技大學;2011年

4 陳一帥;P2P流媒體系統能力研究[D];北京交通大學;2010年

5 權義寧;基于L-模糊集的P2P信任模型及應用研究[D];西安電子科技大學;2009年

6 鄭偉平;可控P2P流媒體分發(fā)關鍵技術研究[D];華南理工大學;2010年

7 郭良敏;P2P文件共享系統中的副本技術研究[D];中國科學技術大學;2011年

8 馮景瑜;開放式P2P網絡環(huán)境下的信任管理技術研究[D];西安電子科技大學;2011年

9 賈兆慶;非結構化P2P中搜索算法及信任機制研究[D];上海交通大學;2008年

10 雒春雨;P2P網絡借貸中的投資決策模型研究[D];大連理工大學;2012年

中國碩士學位論文全文數據庫 前10條

1 馮磊;基于P2P搜索引擎的數據庫檢索方案研究[D];上海師范大學;2010年

2 易清亮;面向主題的P2P搜索引擎的研究[D];西華大學;2010年

3 楊靜;基于用戶興趣的P2P搜索機制研究[D];西安電子科技大學;2010年

4 楚永;P2P服務提供者版權侵權責任研究[D];吉林大學;2010年

5 李薇;非結構化P2P網絡搜索算法研究[D];西安理工大學;2010年

6 潘正軍;基于激勵的P2P非結構化自我優(yōu)化搜索算法研究[D];太原理工大學;2010年

7 曾家國;基于興趣域的非結構化P2P搜索算法研究[D];重慶大學;2010年

8 艾松玲;基于網絡的P2P蠕蟲檢測系統的研究與實現[D];東北大學;2008年

9 張娟;基于P2P和流媒體技術的網絡教學系統研究[D];解放軍信息工程大學;2008年

10 胡曉;P2P技術在內容分發(fā)系統中的應用[D];解放軍信息工程大學;2008年

  本文關鍵詞：非合作性環(huán)境下的P2P搜索技術研究，，由筆耕文化傳播整理發(fā)布。

本文編號：87006