發(fā)布時(shí)間：2020-12-26 22:04

　　隨著電力系統(tǒng)的自動化和智能化程度越來越高,電力系統(tǒng)的五大環(huán)節(jié)產(chǎn)生了大量的數(shù)據(jù),數(shù)據(jù)規(guī)模對傳統(tǒng)的數(shù)據(jù)處理方式帶來了巨大壓力,對此,電力系統(tǒng)與大數(shù)據(jù)技術(shù)結(jié)合成為了熱門研究內(nèi)容。為提高電力系統(tǒng)中大數(shù)據(jù)處理能力,降低工作人員使用門檻,實(shí)現(xiàn)計(jì)算機(jī)學(xué)科和電氣學(xué)科的高效融合,本文圍繞面向服務(wù)和微服務(wù)的架構(gòu)開展研究,設(shè)計(jì)了涵蓋在線分析接口、復(fù)雜計(jì)算接口、抽取轉(zhuǎn)換裝載系統(tǒng)的電力大數(shù)據(jù)平臺,并在私有云平臺進(jìn)行部署。通過融合Hadoop分布式文件系統(tǒng),GreenPlum數(shù)據(jù)倉庫,Spark并行計(jì)算等幾大技術(shù)的優(yōu)勢,結(jié)合電力系統(tǒng)的調(diào)控?cái)?shù)據(jù)實(shí)現(xiàn)在線分析(OLAP)接口開發(fā);設(shè)計(jì)研究了基于Spark的可編程復(fù)雜計(jì)算接口,通過RESTful接口暴露,允許用戶發(fā)送HTTP請求上傳和執(zhí)行程序包,實(shí)現(xiàn)了對Spark并行計(jì)算資源的統(tǒng)一托管;同時(shí)在復(fù)雜計(jì)算接口的基礎(chǔ)上,開發(fā)了服務(wù)于并行處理的抽取、轉(zhuǎn)換、裝載(ETL)系統(tǒng),利用Spark Streaming工具流式提取數(shù)據(jù)源的數(shù)據(jù),并轉(zhuǎn)化為結(jié)構(gòu)化的數(shù)據(jù)存儲到數(shù)據(jù)倉庫,ETL基于復(fù)雜計(jì)算接口,繼承了其可編程性和靈活性,通過利用托管的資源,降低了開發(fā)成本;私有云平臺通過Kuber... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：74 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究工作的背景與意義
    1.2 電力大數(shù)據(jù)的國內(nèi)外研究歷史與現(xiàn)狀
    1.3 云技術(shù)國內(nèi)外發(fā)展情況
    1.4 本文主要工作及結(jié)構(gòu)安排
第二章 電力大數(shù)據(jù)平臺的關(guān)鍵技術(shù)
    2.1 面向服務(wù)的架構(gòu)
        2.1.1 概念
        2.1.2 微服務(wù)
        2.1.3 Kubernetes微服務(wù)框架
    2.2 分布式計(jì)算和存儲技術(shù)
        2.2.1 Spark分布式計(jì)算技術(shù)
        2.2.2 Hadoop DFS分布式存儲技術(shù)
    2.3 GreenPlum關(guān)系型數(shù)據(jù)庫
        2.3.1 關(guān)系型數(shù)據(jù)庫在電網(wǎng)的使用場景
        2.3.2 GreenPlum相對于Oracle等傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的優(yōu)勢
    2.4 大數(shù)據(jù)可視化
    2.5 虛擬化技術(shù)
    2.6 小結(jié)
第三章 面向服務(wù)和私有云的電力大數(shù)據(jù)系統(tǒng)平臺的設(shè)計(jì)
    3.1 電力大數(shù)據(jù)平臺功能需求分析
        3.1.1 數(shù)據(jù)整合治理與互聯(lián)互通功能
        3.1.2 大數(shù)據(jù)數(shù)據(jù)倉庫和在線分析功能
        3.1.3 基于多機(jī)器并行技術(shù)的復(fù)雜計(jì)算功能
        3.1.4 統(tǒng)一安全認(rèn)證系統(tǒng)
    3.2 電力大數(shù)據(jù)平臺整體設(shè)計(jì)框架
    3.3 小結(jié)
第四章 面向服務(wù)和私有云電力大數(shù)據(jù)平臺的的實(shí)現(xiàn)
    4.1 大數(shù)據(jù)復(fù)雜計(jì)算系統(tǒng)
        4.1.1 Spark編程概述
        4.1.2 大數(shù)據(jù)復(fù)雜計(jì)算平臺的設(shè)計(jì)
    4.2 大數(shù)據(jù)ETL系統(tǒng)
        4.2.1 Spark流式處理簡介
        4.2.2 ETL子系統(tǒng)架構(gòu)設(shè)計(jì)
    4.3 OLAP系統(tǒng)接口設(shè)計(jì)和實(shí)現(xiàn)
    4.4 系統(tǒng)的部署
        4.4.1 云環(huán)境準(zhǔn)備
            4.4.1.1 安裝Docker
            4.4.1.2 部署Kubernetes
        4.4.2 組件的打包和安裝
            4.4.2.1 Hadoop的部署
            4.4.2.2 spark的部署
            4.4.2.3 數(shù)據(jù)倉庫GreenPlum的部署
    4.5 本章小結(jié)
第五章 電力大數(shù)據(jù)系統(tǒng)部分功能展示
    5.1 OLAP系統(tǒng)功能展示
        5.1.1 統(tǒng)計(jì)模塊
        5.1.2 關(guān)聯(lián)模塊
    5.2 復(fù)雜計(jì)算系統(tǒng)功能展示
    5.3 ETL功能展示
    5.4 本章小結(jié)
第六章 總結(jié)和展望
    6.1 總結(jié)
    6.2 展望
致謝
參考文獻(xiàn)
攻讀碩士期間取得的成果


【參考文獻(xiàn)】：
期刊論文
[1]淺析微服務(wù)架構(gòu)在企業(yè)信息系統(tǒng)構(gòu)建中的應(yīng)用價(jià)值[J]. 韓佼男.  中國管理信息化. 2018(02)
[2]面向服務(wù)的軟件架構(gòu)SOA及其支撐技術(shù)[J]. 李肖克,覃旺.  電子技術(shù)與軟件工程. 2018(01)
[3]大屏可視化技術(shù)在電力系統(tǒng)中的應(yīng)用研究[J]. 張新陽,孫夢覺,牛斌.  電力大數(shù)據(jù). 2017(10)
[4]Hadoop與Spark應(yīng)用場景研究[J]. 馮興杰,王文超.  計(jì)算機(jī)應(yīng)用研究. 2018(09)
[5]基于SOA架構(gòu)的Web Service體系研究[J]. 陳建虎,肖成龍,宋好,魏春林.  電腦知識與技術(shù). 2017(29)
[6]基于數(shù)據(jù)挖掘的Greenplum分析[J]. 余彪.  計(jì)算機(jī)與網(wǎng)絡(luò). 2017(16)
[7]電力大數(shù)據(jù)可視化研究設(shè)計(jì)[J]. 孫夢覺,徐敏,牛斌.  電力大數(shù)據(jù). 2017(08)
[8]分布式數(shù)據(jù)庫Greenplum研究與應(yīng)用[J]. 張文升.  金融科技時(shí)代. 2017(06)
[9]大數(shù)據(jù)環(huán)境下的電力數(shù)據(jù)質(zhì)量評價(jià)模型與治理體系研究[J]. 尹蕊,余仰淇,王滿意,黃文思,許元斌.  自動化技術(shù)與應(yīng)用. 2017(04)
[10]基于ECharts的數(shù)據(jù)可視化分析組件設(shè)計(jì)實(shí)現(xiàn)[J]. 王子毅,張春海.  微型機(jī)與應(yīng)用. 2016(14)

博士論文
[1]大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D]. 韓晶.北京郵電大學(xué) 2013

碩士論文
[1]基于Kubemetes的大數(shù)據(jù)流式計(jì)算Spark平臺設(shè)計(jì)與實(shí)現(xiàn)[D]. 杜威科.南京郵電大學(xué) 2017
[2]基于OpenStack的云平臺管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 王彬.北京交通大學(xué) 2016
[3]基于D3.js的數(shù)據(jù)可視化系統(tǒng)框架設(shè)計(jì)與實(shí)現(xiàn)[D]. 權(quán)鑫.北京交通大學(xué) 2016
[4]基于PostgreSQL和Spark的可擴(kuò)展大數(shù)據(jù)分析平臺[D]. 程敏.中國科學(xué)院深圳先進(jìn)技術(shù)研究院 2016
[5]基于Docker的虛擬化應(yīng)用平臺設(shè)計(jì)與實(shí)現(xiàn)[D]. 張怡.華南理工大學(xué) 2016
[6]基于OLAP的電力客戶能效評估方法及應(yīng)用[D]. 李永祥.蘭州理工大學(xué) 2012



本文編號：2940529