【摘要】：近年來(lái),隨著信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展,全球的數(shù)據(jù)總量也呈現(xiàn)出爆炸式增長(zhǎng)的趨勢(shì),大數(shù)據(jù)時(shí)代即將到來(lái)。這將使科學(xué)研究的各個(gè)領(lǐng)域產(chǎn)生巨大變革,也將深遠(yuǎn)的影響到我們未來(lái)生活的各個(gè)方面。本文所提出的基于Kafka的分布式的能效管理平臺(tái)具有創(chuàng)新性的意義。該平臺(tái)的設(shè)計(jì)目標(biāo)是可以將輸入的海量復(fù)雜的流數(shù)據(jù)進(jìn)行分布式緩存,并用于微服務(wù)之間的通信。本文的主要工作:詳細(xì)介紹了平臺(tái)設(shè)計(jì)的總體架構(gòu),將整個(gè)系統(tǒng)分為三個(gè)層次,分別是控制層、中間服務(wù)層以及微服務(wù)層;充分利用Kafka在數(shù)據(jù)傳輸方面的優(yōu)勢(shì),將Kafka作為消息傳遞服務(wù)器,實(shí)現(xiàn)各個(gè)微服務(wù)之間的通信。并基于此設(shè)計(jì)實(shí)現(xiàn)了基于Kafka的大規(guī)模流數(shù)據(jù)分布式能效管理平臺(tái),對(duì)電表,水表等計(jì)量設(shè)備采集的實(shí)時(shí)數(shù)據(jù)進(jìn)行分析處理和展示,實(shí)現(xiàn)能源使用的科學(xué)化、智能化、精細(xì)化。最后通過(guò)實(shí)驗(yàn)驗(yàn)證其可用性,高效性以及可擴(kuò)展性等。本文的獨(dú)到之處如下:(1)在傳統(tǒng)能效管理平臺(tái)的基礎(chǔ)上使用Kafka分布式消息中間件對(duì)海量流數(shù)據(jù)進(jìn)行緩存,提高了在流數(shù)據(jù)輸入量突發(fā)性改變時(shí)整個(gè)系統(tǒng)的穩(wěn)定性。(2)研究與改進(jìn)了Kafka原生Consumer負(fù)載均衡算法以及數(shù)據(jù)消費(fèi)可靠性實(shí)現(xiàn)方式,提高了Kafka服務(wù)器集群負(fù)載均衡的效率和消息消費(fèi)的可靠性。(3)設(shè)計(jì)并實(shí)現(xiàn)了微服務(wù)的直接解耦合和高效安全的通信方式,以滿足平臺(tái)的擴(kuò)展性和系統(tǒng)吞吐量等多方面的需求。本文希望該平臺(tái)的研究與實(shí)現(xiàn)過(guò)程可以給分布式計(jì)算集群的搭建和海量數(shù)據(jù)處理過(guò)程提供新的方法和思路,也希望能通過(guò)不斷的研究,逐步完善此平臺(tái)系統(tǒng)。
【學(xué)位授予單位】：武漢郵電科學(xué)研究院
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP311.52
【圖文】：

圖 3-1 兩個(gè)代理和一個(gè)消費(fèi)者組（含 8 個(gè)消費(fèi)者）現(xiàn)在假設(shè)整個(gè)集群中包括兩個(gè) Kafka 消息代理和一個(gè)含有八個(gè)消費(fèi)者的消費(fèi)者組，如圖 3-1 所示。下面分兩種情況討論消費(fèi)者消費(fèi)數(shù)據(jù)的情況：

同分組的消費(fèi)者數(shù)量大于分區(qū)總數(shù)時(shí)的負(fù)載均衡

圖 3-3 同分組的消費(fèi)者數(shù)量小于分區(qū)總數(shù)時(shí)的負(fù)載均衡3.1.2 Kafka 的 Consumer 均衡算法改進(jìn)根據(jù)以上的算法，可以發(fā)現(xiàn)：1.若需增加 Kafka 的某個(gè)消費(fèi)者組的成員個(gè)數(shù)，至多只能增加到與 Partition 個(gè)數(shù)相

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 閆冬;;富士通推出數(shù)據(jù)中心能效管理方案[J];每周電腦報(bào);2008年38期

2 呂進(jìn);樓振飛;陶?qǐng)?jiān)剛;;面向服務(wù)構(gòu)架的能效管理平臺(tái)開發(fā)研究[J];上海理工大學(xué)學(xué)報(bào);2009年05期

3 ;天溯機(jī)場(chǎng)能效管理解決方案亮相第二屆“從航站樓看世界”高峰論壇[J];智能建筑電氣技術(shù);2013年06期

4 ;南京天溯為福州五四北泰禾廣場(chǎng)打造能效管理“樣板工程”[J];電氣應(yīng)用;2013年06期

5 鄭士君;黃愛(ài)平;岳躍申;蔡德慶;張燃;王勇;;海運(yùn)企業(yè)能效管理信息系統(tǒng)研發(fā)[J];中國(guó)航海;2010年04期

6 ;2011中國(guó)數(shù)據(jù)中心動(dòng)力安全能效管理趨勢(shì)研討會(huì)召開[J];計(jì)算機(jī)安全;2011年07期

7 胡貴華;朱文華;王宇穎;;基于SOA的化工行業(yè)能效管理系統(tǒng)[J];機(jī)械與電子;2009年01期

8 孫虹;李昆明;王林;孫彬;周春蕾;;基于WEB的省級(jí)能效管理平臺(tái)的設(shè)計(jì)與應(yīng)用[J];江蘇電機(jī)工程;2014年02期

9 孫靖;耿銘杰;;EcoStruxure~(TM)能效管理平臺(tái)及其在化妝品生產(chǎn)企業(yè)的應(yīng)用[J];智能建筑與城市信息;2013年03期

10 顧碩;;施耐德電氣為冶金行業(yè)提供專業(yè)的能效管理解決方案[J];自動(dòng)化博覽;2013年08期

相關(guān)會(huì)議論文 前5條

1 韋兵;;論通信生產(chǎn)中能效管理體系的構(gòu)建及其意義[A];通信電源新技術(shù)論壇——2008通信電源學(xué)術(shù)研討會(huì)論文集[C];2008年

2 鄭學(xué)明;姚賢炯;陳志杰;廖勤武;;能效管理應(yīng)用探討[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

3 鄭學(xué)明;姚賢炯;陳志杰;廖勤武;;能效管理應(yīng)用探討[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

4 耿沛;黃強(qiáng);王剛;索也兵;劉正威;;兩化融合 創(chuàng)新管理 節(jié)能降耗[A];中國(guó)建材產(chǎn)業(yè)轉(zhuǎn)型升級(jí)創(chuàng)新發(fā)展研究論文集[C];2013年

5 ;智能用電能效管理系統(tǒng)[A];電力行業(yè)科學(xué)技術(shù)成果鑒定項(xiàng)目成果匯編(2012)[C];2013年

相關(guān)重要報(bào)紙文章 前10條

1 旭蓮;船舶能效管理:“竹子”輪“首航”[N];中國(guó)交通報(bào);2011年

2 記者 蔣學(xué)林;國(guó)內(nèi)外專家把脈中國(guó)能效管理[N];中國(guó)電力報(bào);2010年

3 記者 張Z

本文編號(hào)：2799621