在工業(yè)4.0的背景下,物聯(lián)網(wǎng)相關(guān)技術(shù)的逐步興起使其終端設(shè)備產(chǎn)生了愈來愈多的數(shù)據(jù),對(duì)海量的數(shù)據(jù)需要借助大數(shù)據(jù)、數(shù)據(jù)挖掘等技術(shù)進(jìn)行處理和分析。在實(shí)際應(yīng)用中大量的設(shè)備傳感器數(shù)據(jù)存在著許多可供壓縮的冗余信息,需要在數(shù)據(jù)存儲(chǔ)過程中進(jìn)行壓縮存儲(chǔ)以縮減其數(shù)據(jù)規(guī)模,存儲(chǔ)壓縮后的數(shù)據(jù)還應(yīng)滿足用戶提供實(shí)時(shí)的查詢檢索功能。另外設(shè)備運(yùn)行過程中積累的大量運(yùn)行數(shù)據(jù)也為數(shù)據(jù)的挖掘提供了基礎(chǔ),可用于對(duì)設(shè)備的運(yùn)行狀態(tài)進(jìn)行分析,例如對(duì)設(shè)備工況進(jìn)行識(shí)別。針對(duì)以上需求,本文在建立設(shè)備大數(shù)據(jù)平臺(tái)的基礎(chǔ)上進(jìn)一步提出設(shè)備數(shù)據(jù)存儲(chǔ)壓縮查詢以及工況聚類算法,主要研究?jī)?nèi)容如下:（1）面向設(shè)備的全生命周期以及設(shè)備信息分析共享的需求,建立設(shè)備大數(shù)據(jù)存儲(chǔ)分析管理平臺(tái)。平臺(tái)底層對(duì)數(shù)據(jù)格式進(jìn)行解析之后存儲(chǔ)至HBase中,HDFS用于存儲(chǔ)底層數(shù)據(jù)的原始文件,Spark作為計(jì)算引擎可用于數(shù)據(jù)指標(biāo)的再計(jì)算,同時(shí)數(shù)據(jù)平臺(tái)應(yīng)用層還可用于設(shè)備數(shù)據(jù)的可視化顯示操作。（2）針對(duì)設(shè)備數(shù)據(jù)在存儲(chǔ)過程中存在的大量冗余信息,本文提出查詢壓縮方案以減少數(shù)據(jù)存儲(chǔ)空間。將數(shù)據(jù)按不同的數(shù)據(jù)通道分別進(jìn)行壓縮后存儲(chǔ)至HDFS中,并將存儲(chǔ)的文件塊信息寫入到數(shù)據(jù)庫中。接收到查詢請(qǐng)求后,... 

【文章來源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：66 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
致謝
摘要
ABSTRACT
1 引言
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 工業(yè)大數(shù)據(jù)平臺(tái)發(fā)展現(xiàn)狀
        1.2.2 數(shù)據(jù)查詢壓縮算法研究現(xiàn)狀
        1.2.3 設(shè)備工況識(shí)別算法
    1.3 本文研究?jī)?nèi)容及主要貢獻(xiàn)
    1.4 論文章節(jié)安排
    1.5 本章小結(jié)
2 設(shè)備傳感器及日志大數(shù)據(jù)平臺(tái)建設(shè)
    2.1 大數(shù)據(jù)平臺(tái)總體需求概述
    2.2 大數(shù)據(jù)平臺(tái)系統(tǒng)架構(gòu)設(shè)計(jì)
        2.2.1 系統(tǒng)功能架構(gòu)設(shè)計(jì)
        2.2.2 系統(tǒng)物理架構(gòu)設(shè)計(jì)
        2.2.3 系統(tǒng)軟件支撐
    2.3 數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)以及應(yīng)用接口實(shí)現(xiàn)
        2.3.1 HDFS存儲(chǔ)文件設(shè)計(jì)
        2.3.2 HBASE表結(jié)構(gòu)設(shè)計(jì)
        2.3.3 交互接口設(shè)計(jì)
    2.4 本章小結(jié)
3 結(jié)構(gòu)化設(shè)備大數(shù)據(jù)壓縮存儲(chǔ)與查詢方案
    3.1 數(shù)據(jù)壓縮存儲(chǔ)算法概述
        3.1.1 數(shù)據(jù)壓縮算法原理
        3.1.2 Hadoop結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)
    3.2 查詢壓縮算法方案設(shè)計(jì)
        3.2.1 算法整體方案概述
        3.2.2 文件查詢與索引策略
    3.3 文件Web瀏覽器設(shè)計(jì)及查詢可視化
    3.4 系統(tǒng)測(cè)試和結(jié)果
        3.4.1 數(shù)據(jù)存儲(chǔ)層測(cè)試
        3.4.2 數(shù)據(jù)應(yīng)用層測(cè)試
    3.5 本章小結(jié)
4 設(shè)備時(shí)間序列數(shù)據(jù)工況聚類算法
    4.1 設(shè)備數(shù)據(jù)預(yù)處理概述
    4.2 時(shí)間序列預(yù)處理技術(shù)
        4.2.1 序列標(biāo)準(zhǔn)化及主成分分析
        4.2.2 時(shí)間序列滑動(dòng)窗口模型
    4.3 設(shè)備數(shù)據(jù)工況聚類算法
        4.3.1 時(shí)間序列聚類算法介紹
        4.3.2 相關(guān)聚類算法原理
        4.3.3 評(píng)價(jià)指標(biāo)
    4.4 實(shí)驗(yàn)結(jié)果與分析
    4.5 本章小結(jié)
5 總結(jié)和展望
    5.1 工作總結(jié)
    5.2 工作展望
參考文獻(xiàn)
作者簡(jiǎn)歷及攻讀碩士學(xué)位期間取得的研究成果
學(xué)位論文數(shù)據(jù)集


【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)技術(shù)應(yīng)用現(xiàn)狀及發(fā)展趨勢(shì)研究[J]. 唐俊林.  信息記錄材料. 2018(12)
[2]行列混合存儲(chǔ)的數(shù)據(jù)壓縮策略研究[J]. 魏玲,郭新朋.  小型微型計(jì)算機(jī)系統(tǒng). 2017(06)
[3]工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)在工程機(jī)械行業(yè)的應(yīng)用[J]. 張啟亮,韓鍵,姜麗萍.  信息技術(shù)與標(biāo)準(zhǔn)化. 2017(04)
[4]基于Hadoop平臺(tái)的數(shù)據(jù)壓縮技術(shù)研究[J]. 王菊,徐董冬.  數(shù)字技術(shù)與應(yīng)用. 2016(08)
[5]無損數(shù)據(jù)壓縮與解壓算法的介紹與實(shí)現(xiàn)[J]. 余興閣.  信息與電腦(理論版). 2016(01)
[6]一種基于k-均值的DBSCAN算法參數(shù)動(dòng)態(tài)選擇方法[J]. 王兆豐,單甘霖.  計(jì)算機(jī)工程與應(yīng)用. 2017(03)
[7]工業(yè)4.0時(shí)代的信息化系統(tǒng)體系結(jié)構(gòu)研究[J]. 嚴(yán)新金,彭發(fā)強(qiáng),王錦蘭,林曄琛,胡國(guó)良.  中國(guó)管理信息化. 2015(10)
[8]基于支持向量機(jī)的風(fēng)電機(jī)組運(yùn)行工況分類方法[J]. 劉永前,王飛,時(shí)文剛,卓越.  太陽能學(xué)報(bào). 2010(09)
[9]空調(diào)節(jié)能多工況分區(qū)控制及專家系統(tǒng)的實(shí)現(xiàn)[J]. 高巖,龔至豪,黃鴻.  北京理工大學(xué)學(xué)報(bào). 1997(03)

碩士論文
[1]基于大數(shù)據(jù)的電力系統(tǒng)信息質(zhì)量評(píng)估[D]. 焦亞菲.華北電力大學(xué) 2017
[2]基于實(shí)測(cè)時(shí)間序列的風(fēng)電場(chǎng)機(jī)群劃分研究[D]. 李詩童.華北電力大學(xué)(北京) 2017
[3]工業(yè)大數(shù)據(jù)環(huán)境下的混合故障診斷模型研究[D]. 鐘福磊.西安電子科技大學(xué) 2015
[4]四川移動(dòng)PUSH信息服務(wù)云模塊的設(shè)計(jì)與實(shí)現(xiàn)[D]. 譚典.電子科技大學(xué) 2015
[5]Hadoop平臺(tái)上結(jié)構(gòu)化數(shù)據(jù)的壓縮技術(shù)研究與實(shí)現(xiàn)[D]. 田波.東華大學(xué) 2015
[6]基于MVC的DB公司采購平臺(tái)測(cè)試管理軟件設(shè)計(jì)[D]. 劉悅.復(fù)旦大學(xué) 2012



本文編號(hào)：3471759