本文關(guān)鍵詞：異質(zhì)信息網(wǎng)絡(luò)中離群點(diǎn)檢測(cè)方法研究　出處：《吉林大學(xué)》2017年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 異質(zhì)信息網(wǎng)絡(luò) 離群點(diǎn)檢測(cè) 離群點(diǎn)對(duì) 張量表示 增量計(jì)算 元路徑 CFu樹 k-步索引

【摘要】：異質(zhì)信息網(wǎng)絡(luò)是無(wú)處不在的。挖掘隱藏在異質(zhì)網(wǎng)絡(luò)中偏離正常數(shù)據(jù)對(duì)象的離群點(diǎn)是數(shù)據(jù)挖掘領(lǐng)域的重要任務(wù)之一。離群點(diǎn)檢測(cè)在入侵檢測(cè)、欺詐檢測(cè)、預(yù)測(cè)恐怖襲擊、預(yù)測(cè)可疑事件和數(shù)據(jù)去噪等領(lǐng)域都有著廣泛的應(yīng)用。研究表明,挖掘偏離正常對(duì)象的離群點(diǎn)比挖掘周期性出現(xiàn)的數(shù)據(jù)更能給用戶帶來(lái)有價(jià)值的信息。本文從靜態(tài)網(wǎng)絡(luò)離群點(diǎn)檢測(cè)、動(dòng)態(tài)網(wǎng)絡(luò)離群點(diǎn)檢測(cè)和挖掘離群點(diǎn)對(duì)等方面對(duì)離群點(diǎn)檢測(cè)技術(shù)進(jìn)行深入研究,具體研究工作如下:1)針對(duì)靜態(tài)異質(zhì)信息網(wǎng)絡(luò)提出了一種基于元路徑的離群點(diǎn)檢測(cè)方法。該方法通過(guò)分析網(wǎng)絡(luò)結(jié)構(gòu)中的鏈接關(guān)系得到源對(duì)象與目標(biāo)對(duì)象特征間的相關(guān)程度,進(jìn)而計(jì)算對(duì)象間的語(yǔ)義相似度。結(jié)合元路徑及對(duì)象間的相關(guān)程度度量不同類型對(duì)象之間的可達(dá)概率,最后通過(guò)可達(dá)概率和路徑長(zhǎng)度計(jì)算任意兩個(gè)節(jié)點(diǎn)間的離群程度。另外,每個(gè)節(jié)點(diǎn)都被賦予了一個(gè)可信度權(quán)值來(lái)提高準(zhǔn)確率。我們?cè)谡鎸?shí)數(shù)據(jù)集和模擬數(shù)據(jù)集上對(duì)該算法進(jìn)行測(cè)試,實(shí)驗(yàn)結(jié)果表明,該方法在結(jié)合節(jié)點(diǎn)語(yǔ)義信息的前提下,能夠有效地識(shí)別靜態(tài)網(wǎng)絡(luò)中的離群點(diǎn);2)聚類作為數(shù)據(jù)挖掘領(lǐng)域最重要的信息獲取方法之一,在異質(zhì)網(wǎng)絡(luò)離群點(diǎn)檢測(cè)中也有廣泛的應(yīng)用。大多數(shù)傳統(tǒng)的聚類方法在插入新數(shù)據(jù)的過(guò)程中需要重新計(jì)算整個(gè)數(shù)據(jù)集而不是增量更新一部分?jǐn)?shù)據(jù)。針對(duì)上述不足,本文提出了一種自底向上的增量聚類方法并將其用于異質(zhì)網(wǎng)絡(luò)的動(dòng)態(tài)離群點(diǎn)檢測(cè)過(guò)程中。進(jìn)行聚類前,每個(gè)節(jié)點(diǎn)都作為單獨(dú)的聚簇。此外,定義了一個(gè)新的度量標(biāo)準(zhǔn)CV(comparison variation),來(lái)迭代判斷距離最近的兩個(gè)聚簇是否能進(jìn)行合并或當(dāng)聚簇發(fā)生變化時(shí)已有聚簇是否能被分裂,并通過(guò)調(diào)節(jié)參數(shù)λ來(lái)動(dòng)態(tài)控制聚類的嚴(yán)格程度。該度量標(biāo)準(zhǔn)不需要提前確定聚類個(gè)數(shù),可以根據(jù)不同的數(shù)據(jù)集大小和數(shù)據(jù)質(zhì)量動(dòng)態(tài)確定最適合的聚類個(gè)數(shù)。實(shí)驗(yàn)結(jié)果表明,該聚類方法可以有效地進(jìn)行聚類并且增量地更新數(shù)據(jù);3)針對(duì)動(dòng)態(tài)異質(zhì)信息網(wǎng)絡(luò)提出了一種基于張量表示的離群點(diǎn)檢測(cè)方法。該方法根據(jù)張量表示的高階數(shù)據(jù)構(gòu)建張量索引樹。通過(guò)搜索張量索引樹,將特征加入到直接項(xiàng)集和間接項(xiàng)集中。根據(jù)基于短文本相關(guān)性的聚類方法判斷數(shù)據(jù)集中的數(shù)據(jù)對(duì)象是否偏離其原本所在聚簇來(lái)動(dòng)態(tài)檢測(cè)網(wǎng)絡(luò)中的離群點(diǎn)。該模型能夠在充分降低時(shí)間和空間復(fù)雜度的情況下保留異質(zhì)網(wǎng)絡(luò)中的語(yǔ)義信息。實(shí)驗(yàn)結(jié)果表明,該方法能夠快速有效地進(jìn)行動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境下的離群點(diǎn)檢測(cè);4)為了深入研究并分析異質(zhì)網(wǎng)絡(luò)中鏈接結(jié)構(gòu)相似度與語(yǔ)義關(guān)系相似度間的差異帶來(lái)的影響,本文還提出了一種基于鏈接結(jié)構(gòu)與語(yǔ)義關(guān)系的差異性來(lái)檢測(cè)離群點(diǎn)對(duì)(outlier pair)的方法。首先,構(gòu)造目標(biāo)對(duì)象間的鏈接結(jié)構(gòu)相似度與語(yǔ)義關(guān)系相似度的鄰接矩陣,分別通過(guò)分析鏈接結(jié)構(gòu)和語(yǔ)義關(guān)系來(lái)得到對(duì)象間的相似程度。分析對(duì)象在結(jié)構(gòu)上的關(guān)聯(lián)關(guān)系,得到目標(biāo)對(duì)象的鏈接結(jié)構(gòu)相似度。提出k-步索引方法來(lái)得到目標(biāo)對(duì)象的特征表示,從語(yǔ)義關(guān)系的角度計(jì)算目標(biāo)對(duì)象的相似度。最后,利用矩陣的線性變換得到任意目標(biāo)對(duì)象對(duì)在鏈接結(jié)構(gòu)和語(yǔ)義關(guān)系上的差異,較高差異值對(duì)應(yīng)的對(duì)象對(duì)被視為離群點(diǎn)對(duì)。實(shí)驗(yàn)結(jié)果表明,該方法可以有效地識(shí)別異質(zhì)網(wǎng)絡(luò)中存在的離群點(diǎn)對(duì);5)為了能夠增量檢測(cè)離群點(diǎn)對(duì),本文還提出了一種基于元組的增量離群點(diǎn)對(duì)檢測(cè)方法。利用三元組的形式來(lái)表示異質(zhì)網(wǎng)絡(luò)中的數(shù)據(jù),存儲(chǔ)了目標(biāo)對(duì)象以及對(duì)象間的鏈接權(quán)值,通過(guò)合并及鏡像過(guò)程得到對(duì)象間的結(jié)構(gòu)相似度。定義了前驅(qū)節(jié)點(diǎn)、后繼節(jié)點(diǎn)以及覆蓋率的概念,在減少參數(shù)個(gè)數(shù)的同時(shí)可以高效計(jì)算基于內(nèi)容的相似度。結(jié)合基于結(jié)構(gòu)相似度與基于內(nèi)容相似度來(lái)計(jì)算離群分?jǐn)?shù)。最后,說(shuō)明了如何通過(guò)對(duì)三元組進(jìn)行插入和刪除操作來(lái)更新對(duì)象對(duì)的結(jié)構(gòu)相似度以及內(nèi)容相似度,進(jìn)而更新對(duì)象對(duì)間的離群分?jǐn)?shù)。增量更新離群分?jǐn)?shù)可以有效降低時(shí)間及空間復(fù)雜度。實(shí)驗(yàn)結(jié)果表明,用元組形式表示異質(zhì)網(wǎng)絡(luò)中的數(shù)據(jù)可以動(dòng)態(tài)更新離群分?jǐn)?shù),很大程度上提高了效率。本文對(duì)離群點(diǎn)檢測(cè)的研究主要包含兩個(gè)方面,首先,是對(duì)于單個(gè)離群點(diǎn)檢測(cè)的研究;其次,是對(duì)于離群點(diǎn)對(duì)檢測(cè)的研究。對(duì)于這兩方面的工作,本文分別提出了兩種檢測(cè)方法:1)對(duì)于單個(gè)離群點(diǎn)檢測(cè),分別在靜態(tài)網(wǎng)絡(luò)、動(dòng)態(tài)網(wǎng)絡(luò)的環(huán)境下通過(guò)基于元路徑和基于張量表示的方法對(duì)異質(zhì)網(wǎng)絡(luò)中的離群點(diǎn)檢測(cè)進(jìn)行深入研究;2)對(duì)于離群點(diǎn)對(duì)檢測(cè),分別提出了基于鏈接結(jié)構(gòu)和語(yǔ)義關(guān)系的離群點(diǎn)對(duì)檢測(cè)方法以及基于元組的增量離群點(diǎn)對(duì)檢測(cè)方法。另外,在進(jìn)行動(dòng)態(tài)網(wǎng)絡(luò)離群點(diǎn)檢測(cè)的過(guò)程中,提出了一種增量的聚類方法。在異質(zhì)網(wǎng)絡(luò)的環(huán)境下進(jìn)行離群點(diǎn)檢測(cè)研究是一個(gè)新的嘗試,具有一定實(shí)際意義。
[Abstract]:In this paper , a new method of outlier detection based on meta - path is proposed in this paper . This paper presents a new method for detecting outliers in heterogeneous networks , which is based on the similarity of structure similarity and content similarity .

【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 魏藜,宮學(xué)慶,錢衛(wèi)寧,周傲英;高維空間中的離群點(diǎn)發(fā)現(xiàn)[J];軟件學(xué)報(bào);2002年02期

2 薛安榮;姚林;鞠時(shí)光;陳偉鶴;馬漢達(dá);;離群點(diǎn)挖掘方法綜述[J];計(jì)算機(jī)科學(xué);2008年11期

3 李存華;;l_∞度量意義下的離群點(diǎn)檢測(cè)[J];淮海工學(xué)院學(xué)報(bào)(自然科學(xué)版);2008年02期

4 李昕;顏學(xué)峰;;融合離群點(diǎn)判別的穩(wěn)態(tài)檢測(cè)方法及其應(yīng)用[J];華東理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年01期

5 封海岳;薛安榮;;基于重疊模塊度的社區(qū)離群點(diǎn)檢測(cè)[J];計(jì)算機(jī)應(yīng)用與軟件;2013年05期

6 王柏鈞,王力勤;《穩(wěn)健回歸與離群點(diǎn)檢測(cè)》介紹[J];成都?xì)庀髮W(xué)院學(xué)報(bào);1989年04期

7 黃添強(qiáng);秦小麟;葉飛躍;;基于方形鄰域的離群點(diǎn)查找新方法[J];控制與決策;2006年05期

8 熊君麗;;高維空間下基于密度的離群點(diǎn)探測(cè)算法實(shí)現(xiàn)[J];現(xiàn)代電子技術(shù);2006年15期

9 黃添強(qiáng);秦小麟;王欽敏;;空間離群點(diǎn)的模型與跳躍取樣查找算法[J];中國(guó)圖象圖形學(xué)報(bào);2006年09期

10 陳光平;葉東毅;;一種改進(jìn)的離群點(diǎn)檢測(cè)方法[J];福州大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年03期

相關(guān)會(huì)議論文 前9條

1 張鋒;常會(huì)友;;茫然第三方支持的隱私保持離群點(diǎn)探測(cè)協(xié)議[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

2 連鳳娜;吳錦林;薛永生;;一種改進(jìn)的基于距離的離群挖掘算法[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2007年

3 梁雪琴;劉紅生;代秀梅;周亞芬;;聚類離群點(diǎn)挖掘技術(shù)在內(nèi)部審計(jì)信息化中的應(yīng)用——一個(gè)來(lái)自商業(yè)銀行信用卡審計(jì)的實(shí)例[A];全國(guó)內(nèi)部審計(jì)理論研討優(yōu)秀論文集(2013)[C];2014年

4 于浩;王斌;肖剛;楊曉春;;基于距離的不確定離群點(diǎn)檢測(cè)[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（A輯）[C];2009年

5 許龍飛;熊君麗;段敏;;基于粗糙集的高維空間離群點(diǎn)發(fā)現(xiàn)算法研究[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

6 劉文遠(yuǎn);李振平;王寶文;裴繼輝;;一種多維數(shù)據(jù)的離群點(diǎn)檢測(cè)算法[A];2007年全國(guó)第十一屆企業(yè)信息化與工業(yè)工程學(xué)術(shù)會(huì)議論文集[C];2007年

7 魏藜;錢衛(wèi)寧;周傲英;;HOT:尋找高維空間中的離群點(diǎn)[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

8 周紅福;錢衛(wèi)寧;魏藜;周傲英;;EDOLOIS:高效準(zhǔn)確的子空間局部離群點(diǎn)發(fā)現(xiàn)[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

9 魏藜;錢衛(wèi)寧;周傲英;;SLOT:基于估計(jì)的高效子空間局部離群點(diǎn)發(fā)現(xiàn)[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2002年

相關(guān)博士學(xué)位論文 前10條

1 劉莘;基于時(shí)空分析的CCS泄漏預(yù)警關(guān)鍵技術(shù)研究[D];中國(guó)礦業(yè)大學(xué);2016年

2 劉露;異質(zhì)信息網(wǎng)絡(luò)中離群點(diǎn)檢測(cè)方法研究[D];吉林大學(xué);2017年

3 楊鵬;離群檢測(cè)及其優(yōu)化算法研究[D];重慶大學(xué);2010年

4 林海;離群檢測(cè)及離群釋義空間查找算法研究[D];重慶大學(xué);2012年

5 薛安榮;空間離群點(diǎn)挖掘技術(shù)的研究[D];江蘇大學(xué);2008年

6 楊茂林;離群檢測(cè)算法研究[D];華中科技大學(xué);2012年

7 金義富;高維稀疏離群數(shù)據(jù)集延伸知識(shí)發(fā)現(xiàn)研究[D];重慶大學(xué);2007年

8 雷大江;離群檢測(cè)與離群釋義算法研究[D];重慶大學(xué);2012年

9 萬(wàn)家強(qiáng);基于連通性的離群檢測(cè)與聚類研究[D];重慶大學(xué);2014年

10 唐向紅;數(shù)據(jù)流離群點(diǎn)檢測(cè)研究[D];華中科技大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 韓紅霞;基于距離離群點(diǎn)的分析與研究[D];江蘇大學(xué);2007年

2 黃馨玉;基于鄰域重心變化的離群點(diǎn)檢測(cè)算法研究[D];遼寧大學(xué);2015年

3 程百球;基于EP模式的離群點(diǎn)發(fā)現(xiàn)[D];安慶師范學(xué)院;2015年

4 歐陽(yáng)根平;Hadoop云平臺(tái)下基于離群點(diǎn)挖掘的入侵檢測(cè)技術(shù)研究[D];電子科技大學(xué);2015年

5 鄧璇;數(shù)據(jù)流挖掘關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

6 周瑩瑩;利用離群點(diǎn)檢測(cè)改進(jìn)協(xié)同過(guò)濾推薦算法[D];南京郵電大學(xué);2015年

7 陳娟;基于離群特征提取和能量計(jì)算的SVM股市預(yù)測(cè)研究[D];合肥工業(yè)大學(xué);2014年

8 文靜云;基于加權(quán)自然鄰域?qū)傩院挽氐碾x群檢測(cè)研究[D];重慶大學(xué);2015年

9 梅孝輝;基于聚類的離群點(diǎn)挖掘在入侵檢測(cè)中的應(yīng)用研究[D];重慶大學(xué);2015年

10 秦浩;基于密度的局部離群點(diǎn)挖掘及在入侵檢測(cè)中應(yīng)用研究[D];大連海事大學(xué);2016年

，

本文編號(hào)：1426058