發(fā)布時(shí)間：2017-09-06 14:44

  本文關(guān)鍵詞：分布式爬蟲(chóng)任務(wù)調(diào)度策略的優(yōu)化

  更多相關(guān)文章： 分布式爬蟲(chóng) 任務(wù)調(diào)度策略 SP-cycle算法 負(fù)載均衡

【摘要】：針對(duì)當(dāng)前分布式爬蟲(chóng)任務(wù)調(diào)度策略存在的節(jié)點(diǎn)任務(wù)分配不均、發(fā)生異常后引起的負(fù)載均衡問(wèn)題,提出了一種基于SP-cycle算法的節(jié)點(diǎn)地址空間分配策略。通過(guò)該策略構(gòu)造環(huán)形序列取代傳統(tǒng)散列函數(shù)的節(jié)點(diǎn)地址空間映射方法,可使所有抓取服務(wù)器分配的地址空間達(dá)到動(dòng)態(tài)均等,從而實(shí)現(xiàn)可調(diào)度節(jié)點(diǎn)的負(fù)載均衡。實(shí)驗(yàn)結(jié)果表明,相對(duì)于傳統(tǒng)一致性哈希方法,改進(jìn)的任務(wù)調(diào)度策略具有更好的負(fù)載均衡效果,并且發(fā)生異常時(shí)具有較好的健壯性,有效地提升了分布式爬蟲(chóng)整體性能。
【作者單位】： 東北林業(yè)大學(xué)信息與計(jì)算機(jī)工程學(xué)院;
【關(guān)鍵詞】： 分布式爬蟲(chóng) 任務(wù)調(diào)度策略 SP-cycle算法 負(fù)載均衡
【基金】：“十二五”農(nóng)村領(lǐng)域國(guó)家科技計(jì)劃資助項(xiàng)目(2012AA102003-2)
【分類號(hào)】：TP391.3
【正文快照】： 0引言隨著互聯(lián)網(wǎng)發(fā)展,信息量呈指數(shù)級(jí)增長(zhǎng),搜索引擎作為獲取信息的重要工具,須提高網(wǎng)頁(yè)收集的全面性和及時(shí)性才能滿足人們的求知需求。網(wǎng)絡(luò)爬蟲(chóng)作為搜索引擎的核心,負(fù)責(zé)從互聯(lián)網(wǎng)上搜索網(wǎng)頁(yè)下載網(wǎng)頁(yè)數(shù)據(jù)更新搜索引擎的數(shù)據(jù)源,因此爬蟲(chóng)的性能面臨著巨大的挑戰(zhàn)。優(yōu)秀的爬蟲(chóng)系統(tǒng)應(yīng)

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 劉心松,陳勇,劉艷紅;一種啟發(fā)式任務(wù)調(diào)度策略[J];電子學(xué)報(bào);1992年02期

2 晏燕;引入任務(wù)滿意度探討任務(wù)調(diào)度策略[J];福建電腦;2004年12期

3 吳小惠;;分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的任務(wù)調(diào)度策略改進(jìn)[J];上饒師范學(xué)院學(xué)報(bào);2010年03期

4 蘇蕊,徐煒民,錢曉競(jìng);基于雙向匹配模型的任務(wù)調(diào)度策略的研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2005年08期

5 王朋;;云計(jì)算環(huán)境下任務(wù)調(diào)度策略研究[J];計(jì)算機(jī)與現(xiàn)代化;2013年07期

6 吳榮華;邵時(shí);楊早;;基于中斷的實(shí)時(shí)任務(wù)調(diào)度策略[J];計(jì)算機(jī)應(yīng)用與軟件;2007年01期

7 王永貴;張偉;韓瑞蓮;;云環(huán)境下綠色任務(wù)調(diào)度策略[J];計(jì)算機(jī)工程與應(yīng)用;2012年34期

8 徐露露;陳俊;馮鐘葵;李安;;一種衛(wèi)星地面系統(tǒng)中實(shí)現(xiàn)任務(wù)調(diào)度策略可配置的方法[J];遙感信息;2012年06期

9 高強(qiáng);;一種結(jié)合優(yōu)先級(jí)和QoS的任務(wù)調(diào)度策略[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2013年01期

10 謝長(zhǎng)生,馬進(jìn)德,黃浩;基于μC__OS-II的任務(wù)調(diào)度策略研究[J];計(jì)算機(jī)工程與科學(xué);2004年08期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 薛景文;基于免疫算法的云計(jì)算任務(wù)調(diào)度策略研究[D];太原理工大學(xué);2013年

2 吳鈞超;基于云用戶應(yīng)用評(píng)估的云平臺(tái)任務(wù)調(diào)度策略研究[D];哈爾濱工業(yè)大學(xué);2013年

3 楊煥;云計(jì)算環(huán)境下任務(wù)調(diào)度策略的研究[D];河南大學(xué);2013年

4 王芳;云計(jì)算環(huán)境下任務(wù)調(diào)度策略的研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2015年

5 唐小龍;基于PVM的任務(wù)調(diào)度策略的研究與實(shí)現(xiàn)[D];中南大學(xué);2002年

6 吳世山;面向節(jié)能的云計(jì)算任務(wù)調(diào)度策略研究[D];哈爾濱工業(yè)大學(xué);2013年

7 張?zhí)?云計(jì)算環(huán)境下節(jié)能任務(wù)調(diào)度策略研究[D];新疆大學(xué);2013年

8 黎煌達(dá);信息物理融合系統(tǒng)優(yōu)化調(diào)度算法的研究[D];廣東工業(yè)大學(xué);2015年

9 孫世明;Linux集群系統(tǒng)任務(wù)調(diào)度策略的研究與設(shè)計(jì)[D];河海大學(xué);2006年

10 李春豹;企業(yè)IT閑散資源整合系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

，

本文編號(hào)：803740