隨著我國橋梁基礎(chǔ)設(shè)施的大量興建,國內(nèi)橋梁健康監(jiān)測系統(tǒng)的應(yīng)用及研究亦逐漸成熟,但此前的研究主要集中在基于有效數(shù)據(jù)的橋梁結(jié)構(gòu)損傷識(shí)別及安全預(yù)警等方面,對(duì)于監(jiān)測數(shù)據(jù)本身的數(shù)據(jù)異常及清洗研究尚不成熟�？紤]到數(shù)據(jù)質(zhì)量對(duì)于后續(xù)橋梁結(jié)構(gòu)服役性能分析的重要性,本文首先構(gòu)建大數(shù)據(jù)平臺(tái),充分利用其高效率的平行計(jì)算能力及高容錯(cuò)率的分布式文件系統(tǒng),對(duì)監(jiān)測數(shù)據(jù)達(dá)到秒級(jí)的處理效果,保證數(shù)據(jù)清洗、數(shù)據(jù)分析及安全預(yù)警的實(shí)時(shí)性。此外,本文以南京大勝關(guān)高速鐵路鋼桁拱橋及烈士河中小公路橋?yàn)檠芯繉?duì)象,針對(duì)不同數(shù)據(jù)類型分別進(jìn)行對(duì)比分析數(shù)據(jù)清洗算法的有效性及可行性。本文主要研究內(nèi)容及結(jié)論如下:（1）構(gòu)建了基于大數(shù)據(jù)的高可靠性、高可用性、高存儲(chǔ)效率及高擴(kuò)展性橋梁健康監(jiān)測系統(tǒng)分析處理平臺(tái)。在對(duì)比分析各種大數(shù)據(jù)技術(shù)優(yōu)缺點(diǎn)后,該大數(shù)據(jù)平臺(tái)處理離線數(shù)據(jù)選用HDFS實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ),使用Spark實(shí)現(xiàn)數(shù)據(jù)分析建模;處理實(shí)時(shí)數(shù)據(jù)采用Kafka實(shí)現(xiàn)緩存,采用Spark-streaming讀取數(shù)據(jù)并實(shí)時(shí)處理。最后通過實(shí)驗(yàn)分析,對(duì)比驗(yàn)證了該平臺(tái)在離線計(jì)算性能、實(shí)時(shí)在線性能、可擴(kuò)展性、容錯(cuò)能力方面的優(yōu)越性和可靠性。（2）針對(duì)監(jiān)測數(shù)據(jù)噪聲、跳點(diǎn)及漂移現(xiàn)象對(duì)... 

【文章來源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：91 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景及意義
        1.1.1 研究背景
        1.1.2 研究意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 橋梁健康監(jiān)測研究進(jìn)展
        1.2.2 大數(shù)據(jù)平臺(tái)研究進(jìn)展
        1.2.3 數(shù)據(jù)清洗研究進(jìn)展
    1.3 課題來源
    1.4 本文主要研究內(nèi)容
第二章 基于大數(shù)據(jù)的橋梁健康監(jiān)測系統(tǒng)平臺(tái)研究
    2.1 大數(shù)據(jù)技術(shù)研究
        2.1.1 大數(shù)據(jù)存儲(chǔ)技術(shù)
        2.1.2 大數(shù)據(jù)分析技術(shù)
        2.1.3 大數(shù)據(jù)實(shí)時(shí)處理技術(shù)
    2.2 大數(shù)據(jù)平臺(tái)模塊架構(gòu)研究
        2.2.1 離線數(shù)據(jù)分析
        2.2.2 實(shí)時(shí)數(shù)據(jù)分析
    2.3 大數(shù)據(jù)平臺(tái)系統(tǒng)實(shí)現(xiàn)
        2.3.1 總體設(shè)計(jì)
        2.3.2 詳細(xì)設(shè)計(jì)
        2.3.3 平臺(tái)實(shí)驗(yàn)分析
    2.4 本章小結(jié)
第三章 橋梁監(jiān)測大數(shù)據(jù)的數(shù)據(jù)異常及清洗方法研究
    3.1 數(shù)據(jù)異常成因及種類分析
        3.1.1 數(shù)據(jù)異常成因
        3.1.2 數(shù)據(jù)異常種類
        3.1.3 真實(shí)監(jiān)測數(shù)據(jù)來源
    3.2 數(shù)據(jù)噪聲清洗方法研究
        3.2.1 數(shù)據(jù)噪聲清洗濾波方法
        3.2.2 橋梁溫度數(shù)據(jù)噪聲清洗
        3.2.3 橋梁應(yīng)變數(shù)據(jù)清洗
    3.3 數(shù)據(jù)跳點(diǎn)清洗方法研究
        3.3.1 數(shù)據(jù)跳點(diǎn)清洗方法
        3.3.2 橋梁溫度數(shù)據(jù)跳點(diǎn)清洗
        3.3.3 橋梁應(yīng)變數(shù)據(jù)跳點(diǎn)清洗
    3.4 數(shù)據(jù)漂移清洗方法研究
        3.4.1 數(shù)據(jù)漂移清洗算法
        3.4.2 橋梁溫度數(shù)據(jù)漂移清洗
        3.4.3 橋梁應(yīng)變數(shù)據(jù)漂移清洗
    3.5 本章小結(jié)
第四章 橋梁監(jiān)測大數(shù)據(jù)的數(shù)據(jù)缺失修補(bǔ)方法研究
    4.1 數(shù)據(jù)缺失類型及成因
    4.2 數(shù)據(jù)缺失修補(bǔ)方法
        4.2.1 一維時(shí)程插值方法
        4.2.2 一維時(shí)程擬合方法
        4.2.3 基于支持向量機(jī)的關(guān)聯(lián)性補(bǔ)點(diǎn)算法
        4.2.4 補(bǔ)點(diǎn)方法對(duì)比
    4.3 溫度數(shù)據(jù)缺失修補(bǔ)
    4.4 應(yīng)變數(shù)據(jù)缺失修補(bǔ)
    4.5 本章小結(jié)
第五章 全文總結(jié)與展望
    5.1 全文總結(jié)
    5.2 研究展望
致謝
參考文獻(xiàn)
作者簡介


【參考文獻(xiàn)】：
期刊論文
[1]Spark平臺(tái)下KNN-ALS模型推薦算法[J]. 鄒小波,王佳斌,詹敏.  華僑大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(02)
[2]Hadoop 3.0大數(shù)據(jù)平臺(tái)性能[J]. 李士果,盧建云.  電子技術(shù)與軟件工程. 2019(05)
[3]基于Hadoop的MapReduce運(yùn)行流程研究[J]. 馮祥,張媛媛.  福建電腦. 2018(12)
[4]MapReduce架構(gòu)下Reduce任務(wù)的調(diào)度優(yōu)化[J]. 冒佳明,王鵬飛,趙然.  無線互聯(lián)科技. 2018(22)
[5]基于Mycat的分布式數(shù)據(jù)存儲(chǔ)研究[J]. 陳宇收.  中國新通信. 2018(22)
[6]道路工程智能壓實(shí)數(shù)據(jù)異常值識(shí)別處理方法研究[J]. 謝揚(yáng).  市政技術(shù). 2018(05)
[7]Spark Streaming在實(shí)時(shí)計(jì)算中的應(yīng)用研究[J]. 謝艷晴.  電腦知識(shí)與技術(shù). 2018(25)
[8]鐵路運(yùn)輸設(shè)備技術(shù)狀態(tài)大數(shù)據(jù)平臺(tái)研究[J]. 王華偉,史天運(yùn),蔣薈,朱槿.  鐵道運(yùn)輸與經(jīng)濟(jì). 2018(02)
[9]基于大數(shù)據(jù)融合的電力安全智能監(jiān)測與預(yù)警平臺(tái)應(yīng)用研究[J]. 趙嘉承,林仁,王黎明.  電腦知識(shí)與技術(shù). 2017(33)
[10]基于大數(shù)據(jù)的電力信息通信預(yù)警技術(shù)研究[J]. 王江亭,靳丹,俞俊,巫乾軍.  電力信息與通信技術(shù). 2017(09)

博士論文
[1]基于橋梁全壽命周期的損傷識(shí)別及狀態(tài)評(píng)估研究[D]. 吳多.長安大學(xué) 2017
[2]橋梁結(jié)構(gòu)損傷識(shí)別方法的相關(guān)問題研究[D]. 袁穎.大連理工大學(xué) 2006

碩士論文
[1]大跨橋梁健康監(jiān)測數(shù)據(jù)自診斷與狀態(tài)評(píng)估方法研究[D]. 劉興旺.東南大學(xué) 2017
[2]隧道交通狀況的大數(shù)據(jù)挖掘方法研究[D]. 盧倩.貴州大學(xué) 2016
[3]基于Hadoop的橋梁監(jiān)測數(shù)據(jù)孤立點(diǎn)挖掘研究[D]. 譚京京.重慶交通大學(xué) 2016
[4]基于Hadoop的海量交通數(shù)據(jù)研究與應(yīng)用[D]. 王興武.浙江工業(yè)大學(xué) 2015
[5]基于Hadoop的橋梁健康監(jiān)測物聯(lián)網(wǎng)應(yīng)用研究[D]. 魯曉韻.武漢理工大學(xué) 2015
[6]基于Storm云平臺(tái)的電網(wǎng)設(shè)備報(bào)警數(shù)據(jù)快速處理的研究[D]. 王銘坤.華北電力大學(xué) 2015
[7]公共交通大數(shù)據(jù)平臺(tái)架構(gòu)服務(wù)模式研究[D]. 姬倩倩.西安電子科技大學(xué) 2014
[8]基于數(shù)據(jù)挖掘的橋梁監(jiān)測數(shù)據(jù)分析[D]. 劉鋒.長沙理工大學(xué) 2012
[9]孤立點(diǎn)挖掘及其內(nèi)涵知識(shí)發(fā)現(xiàn)的研究與應(yīng)用[D]. 陸聲鏈.廣西師范大學(xué) 2005



本文編號(hào)：3153323