本文關鍵詞：面向互聯(lián)網信息探測的任務管理平臺的設計與實現(xiàn)

  更多相關文章： 任務管理 分布式 互聯(lián)網信息探測 雙機熱備 負載均衡

【摘要】：隨著互聯(lián)網的廣泛使用以及硬件技術的快速發(fā)展,網絡數據爆炸式增長,數據的重要性日益明顯,分析并利用海量的互聯(lián)網數據對提高網絡服務質量、增強網絡安全性有著重要的作用。如何快速、高效地對不同種類的非結構化網絡信息進行探測和獲取成為目前亟待解決的問題。本文通過對分布式計算相關的理論及技術進行分析和研究,結合當前分布式計算產品的設計思想和項目需求,設計并實現(xiàn)了一個面向互聯(lián)網信息探測的任務管理平臺。本系統(tǒng)利用分布式計算的思想建立分布式計算集群,通過網絡將集群中的計算機節(jié)點連接,形成統(tǒng)一的整體,協(xié)調管理互聯(lián)網信息探測任務。本文對主從模式的分布式集群進行了分析和研究,采用主從模式的分布式集群模式,主節(jié)點作為服務器,在集群中起中心控制作用,其他節(jié)點作為探測節(jié)點執(zhí)行探測任務。同時,為使系統(tǒng)不間斷運行,保證系統(tǒng)的高可用性,采用雙機熱備的方式,解決了主從模式中的分布式集群主節(jié)點故障導致系統(tǒng)故障的瓶頸。本文在已有負載均衡策略的基礎上,提出一種基于節(jié)點運行狀況的動態(tài)負載均衡策略,將節(jié)點探測負載轉化為節(jié)點的任務量。綜合權衡探測節(jié)點的CPU、內存使用情況以及網絡狀況后,由服務器根據探測節(jié)點的運行狀況對任務中的任務量進行重組,并下發(fā)至各節(jié)點執(zhí)行探測。本文在上述研究技術的基礎上,分析系統(tǒng)的需求并對平臺進行設計與實現(xiàn)。通過對現(xiàn)有分布式平臺的研究和對比,本文提出了主要由服務器端和探測端組成的分布式探測集群,該集群滿足了分布式海量數據探測的基本要求,避免了集中式系統(tǒng)或純分布式系統(tǒng)可控性不高、網絡帶寬有限等問題。綜上所述,本文通過對分布式平臺的負載均衡和雙機熱備進行深入分析,設計并實現(xiàn)了具有容錯性及擴展性的互聯(lián)網信息探測的任務管理平臺。經測試,使用本平臺探測信息的速度及效率明顯高于集中式探測,達到預期效果。
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.07

【參考文獻】

中國期刊全文數據庫 前4條

1 楊際祥;譚國真;王榮生;;并行與分布式計算動態(tài)負載均衡策略綜述[J];電子學報;2010年05期

2 張永立;胡杰;張根寶;;Linux集群心跳檢測方法的研究與實現(xiàn)[J];化工自動化及儀表;2010年06期

3 王W，

本文編號：1268424