【摘要】：近年來,隨著互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)的迅速發(fā)展,數(shù)據(jù)呈現(xiàn)出爆發(fā)式的增長。對數(shù)據(jù)進行預處理提升數(shù)據(jù)質(zhì)量是確保數(shù)據(jù)挖掘方法有效性的重要一步。數(shù)據(jù)預處理通常是指處理包含噪聲數(shù)據(jù)和冗余數(shù)據(jù)的輸入數(shù)據(jù)。傳統(tǒng)的方法基于單一數(shù)據(jù)源進行處理或者難以處理含較高噪聲的數(shù)據(jù)。本文首先介紹了時間序列的基本概念及基本分析方法,結(jié)合具體的研究內(nèi)容,總結(jié)并分析了多源時間序列的研究方法及研究現(xiàn)狀。之后,主要針對多源時間序列的數(shù)據(jù)預處理算法進行研究,研究的問題從簡單到復雜,提出的算法也從淺到深。研究了含輔助數(shù)據(jù)源低維多源時間序列預處理及數(shù)據(jù)融合問題;不含輔助數(shù)據(jù)源信息的高缺失噪聲低維多源時間序列缺失數(shù)據(jù)預處理問題;高維含多種噪聲的多源時間序列預處理問題;同時研究在隱藏空間中直接建立含噪聲多源時間序列的回歸模型,為系統(tǒng)未來狀態(tài)預測作預處理。取得的主要成果如下:提出了含輔助數(shù)據(jù)源的低維多源時間序列預處理框架。在此數(shù)據(jù)預處理框架中,提出了基于優(yōu)化線性回歸(OLR)、優(yōu)化支持向量機(OSVM)和精煉支持向量機(RSVM)的缺失數(shù)據(jù)預測模型,結(jié)合輔助數(shù)據(jù)源策略,提升原始數(shù)據(jù)的數(shù)據(jù)質(zhì)量。此外,本文引入了一種基于皮爾遜關(guān)聯(lián)分析的方法融合輔助數(shù)據(jù)源的數(shù)據(jù),提取了與目標數(shù)據(jù)源有強關(guān)聯(lián)關(guān)系的輔助信息,本文進一步設計了一種基于主成分分析法(PCA)的數(shù)據(jù)清洗方法,通過對融合后的數(shù)據(jù)進行預處理,減少了原始訓練集的數(shù)據(jù)維度和噪聲,從而提升了故障診斷的準確性,而且可進一步減少模型的訓練時間。大規(guī)模多源時間在并行環(huán)境下的實現(xiàn)驗證了所提出方法的有效性及更高的執(zhí)行效率。提出了基于正則化矩陣分解的高缺失噪聲低維多源時間序列預處理算法。為提升模型的魯棒性,從整體上提取原始多源時間序列信息,本文將時間序列矩陣映射至隱藏空間,并設計適用于時間序列的正則化約束項以提高缺失數(shù)據(jù)預測準確率。對此,本文提出了可較為精確提取矩陣分解過程中隱藏空間的隱藏因子的方法,通過約束矩陣分解以預測多源時間序列缺失數(shù)據(jù)。該方法利用每條時間序列的平滑性及傳感器網(wǎng)絡的跨源信息約束矩陣分解目標方程。相應地引入了平滑性約束、相關(guān)傳感器約束、不相關(guān)傳感器約束,并建立了五個相應的模型。較好的實驗結(jié)果驗證了引入約束之后矩陣分解過程中的隱藏因子提取的有效性。此外,并行環(huán)境下的實現(xiàn)不僅驗證了所提出方法的有效性,更證明了在處理規(guī)模較大數(shù)據(jù)時的高效性。針對時間序列的動態(tài)特性,建立動態(tài)的矩陣分解模型,以適應當有新樣本進入系統(tǒng)時的快速更新。此動態(tài)模型可確保在新樣本數(shù)據(jù)到來后更新模型時誤差控制在合理范圍內(nèi),精煉策略可確保動態(tài)模型在長時間更新后仍保持很好的魯棒性。對于大規(guī)模數(shù)據(jù)的處理,本文同樣在并行計算環(huán)境下實現(xiàn)了動態(tài)矩陣分解模型。提出了基于特征選擇及張量分解的高維含多種噪聲時間序列預處理算法。為從高維含多種噪聲時間序列中提取緊湊的精確的表示信息進行降噪,以獲得更優(yōu)的高維含多種噪聲時間序列分類準確度,本文提出了一個有監(jiān)督時序張量分解核框架STT(Supervised Temporal Tensor kernel framework)。STT克服了傳統(tǒng)方法的一些缺陷,例如傳統(tǒng)的方法要求給定訓練數(shù)據(jù)的相對高的完整性,要求原始時間序列的多個數(shù)據(jù)源間無時延,以及對高信噪比的需求。STT由三步組成:(1)用于特征選擇及提高模型泛化能力的魯棒性池化;(2)有監(jiān)督時序因子分解,用于提取所選特征的更緊湊的信息表示;(3)用于核生成的張量結(jié)構(gòu)投影。實驗結(jié)果驗證了即使當多源時間序列中的噪聲較高時,所提出的方法也可以取得較為優(yōu)良的性能。提出了面向系統(tǒng)未來狀態(tài)評價的含噪聲多源時間序列預處理框架。為了對系統(tǒng)未來狀態(tài)預測作預處理,通過預處理含輔助數(shù)據(jù)源的多源時間序列,本文提出了不完整時間序列預測框架ISM(Incomplete time series prediction based on Selective tensor modeling and Multi-kernel learning)。ISM由三部分組成:張量構(gòu)建;隱藏因子提取;張量結(jié)構(gòu)映射及多核學習。針對含輔助數(shù)據(jù)源的多源時間序列,設計了較優(yōu)的張量構(gòu)建方法;之后,將構(gòu)建的張量進行因子分解,即將含噪聲數(shù)據(jù)映射至隱藏空間從而達到降噪的目的;最后,基于張量結(jié)構(gòu)映射并利用多核學習天然對應的多數(shù)據(jù)源特性,進行時間序列未來數(shù)據(jù)預測,為系統(tǒng)未來狀態(tài)評價作準備。實驗結(jié)果表明,ISM框架展現(xiàn)出比傳統(tǒng)方法更優(yōu)的性能。
【學位授予單位】：上海交通大學
【學位級別】：博士
【學位授予年份】：2018
【分類號】：TP311.13;O211.61
【圖文】：

控因素的干擾，或多或少的會出現(xiàn)數(shù)據(jù)缺失；而數(shù)據(jù)缺失會直接影響到所建立模型的效果，并最終影響到預測及決策。缺失數(shù)據(jù)預測，即直接填補缺失的數(shù)據(jù)是基于觀測得到的數(shù)據(jù)進行填充，如圖2 2(a)所示。因此缺失數(shù)據(jù)預測很大程度上依賴于所觀測得到的數(shù)據(jù)。作為時間序列研究的熱點之一，缺失數(shù)據(jù)預測的代表性建模方法包括確定性模型— 13 —

圖 3 2 缺失數(shù)據(jù)預測示意圖Fig 3 2 Illustration of missing data prediction如圖3 2所示，我們假設t缺失，時間序列的缺失數(shù)據(jù)預測算法如下[84]：t= (t 1 t 2 t 3) +t(3 1)— 22 —

【相似文獻】

相關(guān)期刊論文 前10條

1 孫其法;閆秋艷;閆欣鳴;;基于多樣化top-k shapelets轉(zhuǎn)換的時間序列分類方法[J];計算機應用;2017年02期

2 王金策;楊寧;;時間序列趨勢預測[J];現(xiàn)代計算機(專業(yè)版);2017年02期

3 彭佳星;肖基毅;;基于分型轉(zhuǎn)折點的證券時間序列分段表示法[J];商;2016年31期

4 劉偉龍;;基于ARMA模型的股價預測及實證研究[J];智富時代;2017年02期

5 周仰;;《漫長的告別》(年度資助攝影圖書)[J];中國攝影;2017年04期

6 王嵬;;王嵬作品[J];當代油畫;2017年07期

7 劉明華;張晉昕;;時間序列的異常點診斷方法[J];中國衛(wèi)生統(tǒng)計;2011年04期

8 郭崇慧;蘇木亞;;基于獨立成分分析的時間序列譜聚類方法[J];系統(tǒng)工程理論與實踐;2011年10期

9 王佳林;王斌;楊曉春;;面向不確定時間序列的分類方法[J];計算機研究與發(fā)展;2011年S3期

10 萬里;廖建新;朱曉民;倪萍;;一種基于頻繁模式的時間序列分類框架[J];電子與信息學報;2010年02期

相關(guān)會議論文 前10條

1 周家斌;張海福;楊桂英;;多維多步時間序列預報方法及其應用[A];中國現(xiàn)場統(tǒng)計研究會第九屆學術(shù)年會論文集[C];1999年

2 張可;李媛;柴毅;黃磊;;基于分段趨勢的符號化時間序列聚類表示[A];第37屆中國控制會議論文集（D）[C];2018年

3 張立波;龐蓉蓉;王勇;黃敏;何成濤;傅強;曲賢敏;仲昭衍;;基于時間序列的隨機質(zhì)控設計與應用[A];中國輸血協(xié)會第九屆輸血大會論文專輯[C];2018年

4 徐光晶;;統(tǒng)計學在大地電磁測深時間序列處理中的應用[A];2017中國地球科學聯(lián)合學術(shù)年會論文集（二十九）——專題57：電磁地球物理學研究及其應用[C];2017年

5 毛宇清;王詠青;王革麗;;支持向量機方法應用于理想時間序列的預測研究[A];中國氣象學會2008年年會氣候預測研究與預測方法分會場論文集[C];2008年

6 吳麗娜;黃領(lǐng)梅;沈冰;呂繼強;;黃河上游降水時間序列混沌特性識別與預測年限分析[A];水系統(tǒng)與水資源可持續(xù)管理——第七屆中國水論壇論文集[C];2009年

7 吳堅忠;路子愚;鄭應平;;時間序列社會悖論模型及分析[A];1989年控制理論及其應用年會論文集（上）[C];1989年

8 雷敏;孟光;謝洪波;Kerreie Mengersen;Peter Bartlett;;嵌入維數(shù)對復雜時間序列的熵分析的影響研究[A];中國力學大會-2015論文摘要集[C];2015年

9 王兆甲;王海良;;一種相似時間序列挖掘算法及其在汽車運動分析中的應用[A];2014中國汽車工程學會年會論文集[C];2014年

10 林忠輝;莫興國;薛玲;;用NDVI時間序列確定作物物侯和作物類型判別[A];第十四屆全國遙感技術(shù)學術(shù)交流會論文摘要集[C];2003年

相關(guān)重要報紙文章 前10條

1 王曉寶 楊永恒 永安期貨;淺析波動率的均值回復特征[N];期貨日報;2017年

2 東證期貨 王愛華　楊衛(wèi)東;兩年漲跌輪回 秋季普遍下跌[N];期貨日報;2009年

3 國家統(tǒng)計局核算司 呂峰;不變價GDP時間序列數(shù)據(jù)的構(gòu)造[N];中國信息報;2016年

4 ;《時間序列與金融數(shù)據(jù)分析》[N];中國信息報;2004年

5 何德旭 王朝陽;時間序列計量經(jīng)濟學：協(xié)整與有條件的異方差自回歸[N];中國社會科學院院報;2003年

6 劉俏;讓數(shù)據(jù)坦白真相[N];21世紀經(jīng)濟報道;2003年

7 卞紀;我國多時間序列濕地遙感制圖完成[N];中國氣象報;2011年

8 權(quán)證一級交易商 國信證券;正股走勢及時間序列主導下半年權(quán)證市場運行結(jié)構(gòu)[N];證券時報;2006年

9 廣發(fā)期貨股指研究小組 謝貞聯(lián);Hurst指數(shù)提示市場升勢或?qū)⑿纬蒣N];上海證券報;2012年

10 丁睿 中糧期貨研究院;試論指數(shù)HP濾波分析法的應用[N];期貨日報;2014年

相關(guān)博士學位論文 前10條

1 劉海洋;復雜環(huán)境下時間序列預測方法研究[D];北京交通大學;2019年

2 石巍巍;大規(guī)模多源時間序列預處理與隱藏空間映射分析研究[D];上海交通大學;2018年

3 康峻;基于時間序列遙感數(shù)據(jù)的植被精細分類與覆蓋度反演研究[D];中國科學院大學(中國科學院遙感與數(shù)字地球研究所);2018年

4 林蕾;基于循環(huán)神經(jīng)網(wǎng)絡模型的遙感影像時間序列分類及變化檢測方法研究[D];中國科學院大學(中國科學院遙感與數(shù)字地球研究所);2018年

5 丁紅;柳江徑流分析與預測研究[D];武漢理工大學;2016年

6 周超;集成時間序列InSAR技術(shù)的滑坡早期識別與預測研究[D];中國地質(zhì)大學;2018年

7 張琪;時間序列流數(shù)據(jù)異常檢測問題的研究[D];山東大學;2019年

8 張方;局部相似分析的統(tǒng)計研究及其在生物時間序列中的應用[D];山東大學;2019年

9 郝鵬宇;基于多時相遙感數(shù)據(jù)的作物早期識別[D];中國農(nóng)業(yè)科學院;2019年

10 鄒蕾;基于趨勢基元的時間序列同構(gòu)關(guān)系發(fā)現(xiàn)[D];北京科技大學;2017年

相關(guān)碩士學位論文 前10條

1 劉彩云;基于時間序列挖掘技術(shù)的南水北調(diào)工程安全監(jiān)測數(shù)據(jù)異常檢測[D];華北水利水電大學;2019年

2 潘壯壯;微博熱點話題表示及演化研究[D];安徽理工大學;2019年

3 武帥;面向時間序列的增量模糊聚類算法研究[D];河南理工大學;2018年

4 王賽蘭;基于多元方法和時間序列的PM2.5濃度分析與預測[D];湖南師范大學;2019年

5 曹洋洋;時間序列的特征表示和相似性度量方法研究[D];江南大學;2019年

6 劉昶;基于時間序列的經(jīng)典模型和LSTM模型的城市宏觀行程速度預測研究[D];北京交通大學;2019年

7 朱志靜;基于趨勢和特征子序列的時間序列數(shù)據(jù)挖掘研究[D];江南大學;2019年

8 尹康;基于LSTM的關(guān)聯(lián)時間序列預測方法研究[D];北京交通大學;2019年

9 陳洋;中高空間分辨率衛(wèi)星NDVI時間序列數(shù)據(jù)重建技術(shù)研究[D];電子科技大學;2019年

10 肖寧寧;基于時間序列InSAR技術(shù)的成都地區(qū)地表沉降研究[D];電子科技大學;2019年

本文編號：2718510