【摘要】：針對分布式搜索引擎的任務(wù)調(diào)度及負(fù)載均衡問題,提出了基于GNP算法的分布式爬蟲調(diào)度策略和負(fù)載均衡的方法。利用網(wǎng)絡(luò)距離預(yù)估取代大規(guī)模的網(wǎng)絡(luò)距離測量,不僅提高了系統(tǒng)的響應(yīng)速度,還減少了系統(tǒng)對廣域網(wǎng)造成的壓力。通過在廣域網(wǎng)上部署爬蟲節(jié)點,構(gòu)建分布式搜索引擎,應(yīng)用該調(diào)度策略進行實驗,驗證了系統(tǒng)性能有較大提高。
[Abstract]:Aiming at the problem of task scheduling and load balancing in distributed search engines, a distributed crawler scheduling strategy and a load balancing method based on GNP algorithm are proposed. The use of network distance prediction instead of large-scale network distance measurement not only improves the system response speed but also reduces the pressure caused by the system to the wide area network (WAN). By deploying crawler nodes on WAN, constructing distributed search engine, and applying the scheduling strategy to experiment, it is verified that the performance of the system has been greatly improved.
【作者單位】： 哈爾濱工業(yè)大學(xué)計算機科學(xué)與技術(shù)學(xué)院;國家計算機網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心黑龍江分中心;國家計算機網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心;
【基金】：國家“973”重點基礎(chǔ)研究發(fā)展計劃資助項目(G2005CB321806) 國家自然科學(xué)基金資助項目(60703014) 高等學(xué)校博士學(xué)科點專項科研基金資助課題(20070213044) 哈爾濱工業(yè)大學(xué)優(yōu)秀青年教師培養(yǎng)計劃(HITQNJS.2007.034)
【分類號】：TP391.3

【參考文獻(xiàn)】

相關(guān)會議論文 前1條

1 柯怡;林宇;金躍輝;程時端;;GNP算法與基于GNP的全局負(fù)載均衡技術(shù)[A];第九屆全國青年通信學(xué)術(shù)會議論文集[C];2004年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王];董志勇;;基于Quartz的網(wǎng)管系統(tǒng)任務(wù)調(diào)度的實現(xiàn)[J];電腦開發(fā)與應(yīng)用;2011年07期

2 周智剛;;計算資源共享平臺中工作流任務(wù)調(diào)度研究[J];計算機工程與設(shè)計;2011年06期

3 劉艷軍;;嵌入式操作系統(tǒng)μC/OS-Ⅱ面向數(shù)控系統(tǒng)的改進[J];現(xiàn)代電子技術(shù);2011年12期

4 邱小林;周亦人;;基于Xscale架構(gòu)實訓(xùn)的嵌入式操作系統(tǒng)研究[J];中國電力教育;2011年20期

5 李彥冬;雷航;;多核操作系統(tǒng)發(fā)展綜述[J];計算機應(yīng)用研究;2011年09期

6 左偉;馮金富;潘博;;分布式開放實時系統(tǒng)調(diào)度策略研究[J];電光與控制;2011年09期

7 陳院慶;王紅蕾;;μC/OS-Ⅱ操作系統(tǒng)在dsPIC30F芯片上的移植[J];機械與電子;2010年S1期

8 張儀哲;;航空維修管理信息系統(tǒng)[J];大眾科技;2011年06期

9 孫利鋒;;嵌入式操作系統(tǒng)任務(wù)切換方法對比分析[J];單片機與嵌入式系統(tǒng)應(yīng)用;2011年07期

10 李艷芳;蔣秀鳳;;基于離散粒子群和禁忌搜索的網(wǎng)格資源調(diào)度算法[J];計算機與現(xiàn)代化;2011年09期

相關(guān)會議論文 前10條

1 楊艦;黃道平;李小亞;;GDCS任務(wù)調(diào)度的SPN模型研究[A];第二十六屆中國控制會議論文集[C];2007年

2 賴華;王勇;;網(wǎng)格環(huán)境中基于改進螞蟻算法任務(wù)調(diào)度的研究[A];江蘇省現(xiàn)場統(tǒng)計研究會第十次學(xué)術(shù)年會論文集[C];2006年

3 王璐璐;張素偉;任頡;;網(wǎng)格調(diào)度算法[A];《制造業(yè)自動化與網(wǎng)絡(luò)化制造》學(xué)術(shù)交流會論文集[C];2004年

4 張道德;楊光友;蘇旭武;丁毅;;基于ARM架構(gòu)移植μC／OS-Ⅱ的任務(wù)調(diào)度[A];2005年十二省區(qū)市機械工程學(xué)會學(xué)術(shù)年會論文集（湖北專集）[C];2005年

5 周雙娥;雷輝;;基于改進的遺傳-模擬退火的有序任務(wù)調(diào)度算法[A];2006年全國開放式分布與并行計算學(xué)術(shù)會議論文集（二）[C];2006年

6 楊俊;王駿;沈卓煒;汪蕓;;針對緊急通道的實時CORBA系統(tǒng)的改進[A];2009年全國開放式分布與并行計算機學(xué)術(shù)會議論文集(上冊)[C];2009年

7 王凱;徐濤;;μC/OS-Ⅱ任務(wù)調(diào)度機制的研究[A];中國電子學(xué)會第十七屆信息論學(xué)術(shù)年會論文集[C];2010年

8 趙宏偉;許錦洲;;一種基于在線仿真的多無人機任務(wù)調(diào)度方法研究[A];2009年中國高校通信類院系學(xué)術(shù)研討會論文集[C];2009年

9 賈根蓮;王開因;;企業(yè)數(shù)據(jù)中心建設(shè)過程中的關(guān)鍵問題[A];全國第十五屆計算機科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會議論文集[C];2003年

10 寇曉蕤;王清賢;羅軍勇;范元書;;分布式網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)架構(gòu)下的任務(wù)調(diào)度算法[A];2004中國控制與決策學(xué)術(shù)年會論文集[C];2004年

相關(guān)重要報紙文章 前4條

1 ;五大管理市場細(xì)分報告解讀[N];網(wǎng)絡(luò)世界;2007年

2 ;網(wǎng)秦手機殺毒軟件獲手機殺毒軟件優(yōu)秀用戶體驗獎[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2008年

3 ;自動化的定義難題[N];網(wǎng)絡(luò)世界;2008年

4 ;賽迪時代一站式網(wǎng)上審批系統(tǒng)[N];中國電腦教育報;2004年

相關(guān)博士學(xué)位論文 前10條

1 邱衛(wèi)東;實時操作系統(tǒng)協(xié)同設(shè)計中的若干問題研究[D];復(fù)旦大學(xué);2005年

2 王磊;容錯實時系統(tǒng)可調(diào)度性分析研究[D];浙江大學(xué);2005年

3 陳平;數(shù)據(jù)挖掘網(wǎng)格若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2007年

4 袁逸萍;制造網(wǎng)格工作流研究及實現(xiàn)[D];上海大學(xué);2006年

5 黎鶴;并行系統(tǒng)中負(fù)載調(diào)度問題的研究[D];中國科學(xué)技術(shù)大學(xué);2008年

6 柏旭光;航空光電平臺數(shù)字集約化技術(shù)研究[D];中國科學(xué)院研究生院（長春光學(xué)精密機械與物理研究所）;2010年

7 吳巍煒;能量最優(yōu)化問題的算法研究[D];中國科學(xué)技術(shù)大學(xué);2011年

8 周博;可重構(gòu)計算的操作系統(tǒng)支持研究[D];復(fù)旦大學(xué);2006年

9 林劍檸;仿真網(wǎng)格環(huán)境下資源管理若干關(guān)鍵技術(shù)研究[D];南京理工大學(xué);2006年

10 程渤;服務(wù)網(wǎng)格工作流管理技術(shù)研究[D];電子科技大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 張祖禮;網(wǎng)格計算中帶有資源屬性選擇的任務(wù)調(diào)度的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2010年

2 賈志強;嵌入式操作系統(tǒng)μCOS的移植與測試[D];太原理工大學(xué);2004年

3 陽明曄;基于DSP的導(dǎo)引頭信息處理機軟件系統(tǒng)的設(shè)計與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2003年

4 黃鵬;基于μC/OS-Ⅱ的車載實時操作系統(tǒng)研究[D];武漢理工大學(xué);2006年

5 廖新糧;基于任務(wù)調(diào)度的自動測試方法及系統(tǒng)實現(xiàn)[D];電子科技大學(xué);2011年

6 曲紹云;分布式異構(gòu)系統(tǒng)中任務(wù)調(diào)度問題的研究[D];青島大學(xué);2005年

7 張東波;基于CC2420的無線傳感器網(wǎng)絡(luò)系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學(xué);2007年

8 張旭;基于ARM7的嵌入式OS任務(wù)調(diào)度算法的剖析、移植與改進[D];沈陽工業(yè)大學(xué);2005年

9 易嵩杰;漏洞檢測中間件的設(shè)計與實現(xiàn)[D];廣西大學(xué);2005年

10 王鸚鵡;基于智能傳感器的實時系統(tǒng)任務(wù)調(diào)度分析[D];浙江大學(xué);2006年

，

本文編號：2402438