【摘要】：隨著信息技術(shù)的高速發(fā)展,服務(wù)器運(yùn)維成本越來越高,而服務(wù)器運(yùn)維的核心問題之一就是關(guān)注服務(wù)器的各項指標(biāo)是否異常。服務(wù)器的指標(biāo)監(jiān)控數(shù)據(jù)是典型的時序數(shù)據(jù),這些指標(biāo)預(yù)示著服務(wù)器以及服務(wù)器上的應(yīng)用是否運(yùn)行良好,因此服務(wù)器運(yùn)維領(lǐng)域的異常檢測有著重大的意義。目前對于單變量的時序數(shù)據(jù)異常檢測已經(jīng)有很多比較成熟的研究,但是對于多維的時序數(shù)據(jù)異常檢測目前仍存在很多問題。特別是在服務(wù)器運(yùn)維領(lǐng)域,服務(wù)器指標(biāo)監(jiān)控數(shù)據(jù)種類繁多、數(shù)據(jù)規(guī)模大、流速快,要求算法能快速的檢測異常。為了解決這些問題,本文具體做了如下的研究工作:(1)多維時間序列數(shù)據(jù)的異常檢測與單變量時間序列數(shù)據(jù)之間存在很多差異。例如,多維時間序列的時間連續(xù)性比單變量時間序列弱得多,此外如果多維數(shù)據(jù)中僅有某個維度異常而將整個多維數(shù)據(jù)判斷為異常是不合理的。針對此問題,本文提出了一種多維時序數(shù)據(jù)集合式異常檢測算法iForest for multidimensional time-series(以下簡稱iForestFMT),主要檢測多維時序數(shù)據(jù)中某段子序列或某個時間段的數(shù)據(jù)是否異常�？紤]到時間連續(xù)性對時序數(shù)據(jù)的異常檢測的關(guān)鍵作用,iForestFMT算法充分利用時序數(shù)據(jù)的統(tǒng)計特征,改進(jìn)了異常檢測領(lǐng)域表現(xiàn)十分優(yōu)秀的孤立森林算法。在三個真實的數(shù)據(jù)集中進(jìn)行實驗,結(jié)果證明了所提出的方法是高效的。(2)為了近似實時地檢測某個時間段內(nèi)多個服務(wù)器指標(biāo)監(jiān)控數(shù)據(jù)是否異常,本文通過在子空間添加mass信息改進(jìn)了 iForestFMT算法以適應(yīng)流數(shù)據(jù)的集合式異常檢測,提出了 iForest for multidimensional streams(以下簡稱iForestForStreams)算法。經(jīng)過實驗驗證,iForestForStreams算法在流數(shù)據(jù)的處理中具有比較穩(wěn)定的時空復(fù)雜度,并且能更及時地處理高速的流數(shù)據(jù)。此外,為了提高iForestForStreams的時間效率、穩(wěn)定性和擴(kuò)展性,本文在分布式流計算框架下重新設(shè)計并實現(xiàn)了該算法的分布式版本。實驗表明分布式版本的iForestForStreams算法的時間效率相比前者提升了 2.7倍,并且表現(xiàn)出良好的擴(kuò)展性和穩(wěn)定性。(3)設(shè)計了一個多功能的面向服務(wù)器運(yùn)維領(lǐng)域的時序數(shù)據(jù)異常檢測系統(tǒng)ADSO,該系統(tǒng)實現(xiàn)了數(shù)據(jù)采集、特征計算、模型訓(xùn)練、異常報警四個功能模塊。并模擬了服務(wù)器運(yùn)維場景,驗證了系統(tǒng)的有效性。綜上,本文提出的算法對服務(wù)器運(yùn)維領(lǐng)域的異常檢測具有一定的應(yīng)用價值。本文實驗中所使用的三個數(shù)據(jù)集來自于UCI庫,是真實的服務(wù)器網(wǎng)絡(luò)數(shù)據(jù),上述實驗驗證了本文的算法有助于發(fā)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)中的入侵行為。此外,將本文提出的算法應(yīng)用到不同種類的服務(wù)器數(shù)據(jù)上,可以檢測不同類型的服務(wù)器異常。
【圖文】：

指數(shù)平滑法？邐二次指數(shù)平滑法逡逑三次指數(shù)平滑法逡逑圖１－２時間序列的預(yù)測模型逡逑基于預(yù)測的異常檢測。如圖１－２，時間序列的預(yù)測己經(jīng)有很多模型，包括但不限于移逡逑動平均、自回歸、自回歸移動平均、指數(shù)平滑模型等。時間的異常檢測最普遍的應(yīng)用是逡逑使用基于回歸的預(yù)測模型檢測特定的瞬時的基于偏差的異常點。這些異常點是上下文的逡逑異常，因為他們將異常定義為瞬時的數(shù)據(jù)值和鄰域的數(shù)據(jù)值的關(guān)系。這種方法既可以用逡逑來檢測底層過程的突變，也可以用來過濾底層數(shù)據(jù)流的噪音。時序數(shù)據(jù)中基于偏差的異逡逑常點檢測和時序預(yù)測的問題非常接近，因為異常產(chǎn)生于和期望值有偏差的點。在這些方逡逑法中，時間連續(xù)性扮演著重要的角色，因為它假設(shè)時序中的值在連續(xù)的瞬時中高度相關(guān)，逡逑同時時間趨勢不會突變。基于偏差的異常點使用下一時刻的預(yù)測值（可基于多種回歸模逡逑型得到）。單個時序的相關(guān)性或者多個時序間的相關(guān)性，也可以用來進(jìn)行預(yù)測。逡逑基于距離的異常檢測。付培國使用密度抽樣和近鄰距離算法［％檢測數(shù)據(jù)存在的異常。逡逑如圖１－３，時間序列的相似度計算可采用歐氏距離、動態(tài)時間規(guī)整、最長公共子序列等等逡逑５逡逑

逑邐１邐２、平均偏差Ｑ邋聚類逡逑圖１－１時間序列的異常分類逡逑面向時序數(shù)據(jù)的異常檢測算法模型一般有基于預(yù)測、基于距離、基于分類、基于統(tǒng)逡逑計等方法。逡逑＿邋簡單移動平均法？逡逑移動平均法（ＭＡ）邋Ｑｆ邐邋＿逡逑邐＾邋趨勢移動平均法邋？逡逑自回歸模型（ＡＢ）邋＠逡逑邐邋自回歸滑動平均模型（ＡＢＭＡ）邋？逡逑．時序序列預(yù)順摁助］Ｑ邋求和自回歸移動平均模型（ＡＲ１ＭＡ）逡逑ＧＡＲＣＨ模型？邋ＧＡＲＣＨ對誤差的方差進(jìn)行建模，特別適用于波動性的分析和預(yù)測逡逑—次指數(shù)平滑法逡逑指數(shù)平滑法？邐二次指數(shù)平滑法逡逑三次指數(shù)平滑法逡逑圖１－２時間序列的預(yù)測模型逡逑基于預(yù)測的異常檢測。如圖１－２，時間序列的預(yù)測己經(jīng)有很多模型，包括但不限于移逡逑動平均、自回歸、自回歸移動平均、指數(shù)平滑模型等。時間的異常檢測最普遍的應(yīng)用是逡逑使用基于回歸的預(yù)測模型檢測特定的瞬時的基于偏差的異常點。這些異常點是上下文的逡逑異常，因為他們將異常定義為瞬時的數(shù)據(jù)值和鄰域的數(shù)據(jù)值的關(guān)系。這種方法既可以用逡逑來檢測底層過程的突變，，也可以用來過濾底層數(shù)據(jù)流的噪音。時序數(shù)據(jù)中基于偏差的異逡逑常點檢測和時序預(yù)測的問題非常接近，因為異常產(chǎn)生于和期望值有偏差的點。在這些方逡逑法中，時間連續(xù)性扮演著重要的角色，因為它假設(shè)時序中的值在連續(xù)的瞬時中高度相關(guān)，逡逑同時時間趨勢不會突變�；谄畹漠惓｜c使用下一時刻的預(yù)測值（可基于多種回歸模逡逑型得到）。單個時序的相關(guān)性或者多個時序間的相關(guān)性，也可以用來進(jìn)行預(yù)測。逡逑基于距離的異常檢測。付培國使用密度抽樣和近鄰距離算法［％檢測數(shù)據(jù)存在的異常。逡逑如圖１－３
【學(xué)位授予單位】：中央民族大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP311.13;TP368.5

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王妙瓊;魏凱;姜春宇;;工業(yè)互聯(lián)網(wǎng)中時序數(shù)據(jù)處理面臨的新挑戰(zhàn)[J];信息通信技術(shù)與政策;2019年05期

2 黃雄波;;基于自相關(guān)函數(shù)的非平穩(wěn)時序數(shù)據(jù)的辨識改進(jìn)[J];微型機(jī)與應(yīng)用;2016年13期

3 尚繼霞;;基于時序數(shù)據(jù)的遼寧省環(huán)境庫茲涅茨曲線實證分析[J];統(tǒng)計與咨詢;2013年04期

4 鐘清流;蔡自興;;基于統(tǒng)計特征的時序數(shù)據(jù)符號化算法[J];計算機(jī)學(xué)報;2008年10期

5 王興家;汪曉惠;趙超;;基于神經(jīng)網(wǎng)絡(luò)的混沌時序數(shù)據(jù)失真檢測方法研究[J];重慶交通大學(xué)學(xué)報(自然科學(xué)版);2007年06期

6 郝善勇,劉玉樹;基于樣本數(shù)據(jù)重抽樣的時序數(shù)據(jù)預(yù)報方法[J];北京理工大學(xué)學(xué)報;2000年05期

7 駱金維;曾德生;郭雅;黃富平;;時序數(shù)據(jù)并行壓縮速率改進(jìn)技術(shù)研究[J];電子設(shè)計工程;2018年20期

8 林芝,曹加恒,劉娟,韋豐;基于信息論網(wǎng)絡(luò)的時序數(shù)據(jù)庫挖掘[J];計算機(jī)工程與應(yīng)用;2003年01期

9 鄭斌祥,杜秀華,席裕庚;一種時序數(shù)據(jù)的離群數(shù)據(jù)挖掘新算法[J];控制與決策;2002年03期

10 朱明,蔡慶生;基于約束滿足的相似時序數(shù)據(jù)的搜索算法[J];計算機(jī)工程;2000年01期

相關(guān)會議論文 前7條

1 張榮明;鄒湘軍;顧邦軍;羅陸鋒;周艷瓊;;基于探索性分析的時序數(shù)據(jù)研究[A];中國系統(tǒng)仿真學(xué)會第五次全國會員代表大會暨2006年全國學(xué)術(shù)年會論文集[C];2006年

2 鮑遠(yuǎn)松;董文生;;一種分布式時序數(shù)據(jù)庫的存儲架構(gòu)設(shè)計及實現(xiàn)方法[A];中國計量協(xié)會冶金分會2018年會論文集[C];2018年

3 張明偉;周清波;宮攀;陳仲新;周勇;劉佳;;基于MODIS時序數(shù)據(jù)分析的作物識別方法[A];農(nóng)業(yè)工程科技創(chuàng)新與建設(shè)現(xiàn)代農(nóng)業(yè)——2005年中國農(nóng)業(yè)工程學(xué)會學(xué)術(shù)年會論文集第六分冊[C];2005年

4 劉帥;李琦;;基于重建NDVI時序數(shù)據(jù)的植被覆蓋變化研究[A];遙感定量反演算法研討會摘要集[C];2010年

5 許馨文;馬衛(wèi)國;張寶雷;;基于國家級開發(fā)區(qū)的聚類方法初探[A];京津走廊經(jīng)濟(jì)崛起與工業(yè)園區(qū)產(chǎn)業(yè)集群研究——紀(jì)念廊坊開發(fā)區(qū)建立十五周年暨工業(yè)園區(qū)產(chǎn)業(yè)集群專題征文研討活動論文集[C];2007年

6 曹暉;司剛?cè)?張彥斌;賈立新;;基于模糊時序數(shù)據(jù)挖掘的火電廠制粉系統(tǒng)優(yōu)化算法[A];2007'儀表，自動化及先進(jìn)集成技術(shù)大會論文集（一）[C];2007年

7 孫啟龍;呂穎;張利國;;基于深度學(xué)習(xí)的道路可靠性評估方法與實驗[A];第37屆中國控制會議論文集（E）[C];2018年

相關(guān)博士學(xué)位論文 前7條

1 吳吉慶;面向Internet的時序數(shù)據(jù)快速分發(fā)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

2 張貴生;數(shù)據(jù)驅(qū)動的金融時間序列預(yù)測模型研究[D];山西大學(xué);2016年

3 何周舟;基于時序數(shù)據(jù)的結(jié)構(gòu)學(xué)習(xí)與模式預(yù)測聯(lián)合優(yōu)化算法研究[D];浙江大學(xué);2016年

4 白天;連分式方法在脈沖去噪、時序數(shù)據(jù)壓縮及視頻鏡頭檢測中的應(yīng)用研究[D];合肥工業(yè)大學(xué);2014年

5 趙靜;基于高斯過程的動態(tài)系統(tǒng)研究[D];華東師范大學(xué);2016年

6 葉紅梅;面向流域生態(tài)安全的景觀格局演變研究[D];華中科技大學(xué);2009年

7 鐘清流;時序、圖像特征檢測的理論、方法及應(yīng)用研究[D];中南大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 劉雷;面向時序數(shù)據(jù)的離群點異常檢測技術(shù)應(yīng)用研究[D];中央民族大學(xué);2019年

2 王超;云環(huán)境中時序數(shù)據(jù)的預(yù)測和異常檢測算法的研究[D];南京大學(xué);2019年

3 舒?zhèn)ゲ?時序數(shù)據(jù)二分類問題的等距短shapelet轉(zhuǎn)換算法[D];中國科學(xué)技術(shù)大學(xué);2019年

4 韓日旺;關(guān)于時序網(wǎng)絡(luò)魯棒性與修復(fù)性的研究[D];華中師范大學(xué);2018年

5 李鳳;非平衡時序數(shù)據(jù)的動態(tài)時間規(guī)整過采樣方法研究[D];暨南大學(xué);2018年

6 吳俊鋒;面向TLE數(shù)據(jù)的多變量時序數(shù)據(jù)分類算法研究[D];國防科學(xué)技術(shù)大學(xué);2016年

7 楊云麗;大數(shù)據(jù)背景下的時序數(shù)據(jù)分析[D];中國科學(xué)技術(shù)大學(xué);2018年

8 李亭亭;基于時序遙感數(shù)據(jù)的水環(huán)境時空采樣布局優(yōu)化方法研究[D];武漢大學(xué);2018年

9 籍姣榮;基于仿射變換的時序數(shù)據(jù)信息處理方法研究[D];黑龍江大學(xué);2018年

10 沈亮亮;面向金融領(lǐng)域的時序數(shù)據(jù)挖掘方法研究與應(yīng)用[D];海南大學(xué);2018年

本文編號：2671298