本文選題：數(shù)據(jù)采集 + 圖數(shù)據(jù)��； 參考：《中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院)》2017年碩士論文

【摘要】：為應(yīng)對(duì)突發(fā)性公共安全事件帶來(lái)的巨大挑戰(zhàn),我國(guó)的公共安全處置策略需要從“事后處置”轉(zhuǎn)變到“事前預(yù)防”,為此,需要強(qiáng)化數(shù)據(jù)資源的綜合利用以及自動(dòng)化地、深度地?cái)?shù)據(jù)分析和信息挖掘手段,以提高信息發(fā)現(xiàn)的及時(shí)性、前瞻性,防范突發(fā)性安全事件于未然。通過(guò)建設(shè)面向公共安全的數(shù)據(jù)分析系統(tǒng),為信息挖掘應(yīng)用提供監(jiān)測(cè)和預(yù)警手段,解決安全保障部門面臨的問(wèn)題。本文在研究了面向特定網(wǎng)站的主動(dòng)式快速數(shù)據(jù)采集技術(shù),關(guān)系網(wǎng)絡(luò)分析相關(guān)的圖數(shù)據(jù)壓縮存儲(chǔ)、分析和可視化展示等技術(shù)的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一套主動(dòng)獲取數(shù)據(jù)、自動(dòng)分析數(shù)據(jù)的分析系統(tǒng),實(shí)現(xiàn)對(duì)特定人員、特定群體、異常行為、安全事件的檢測(cè)與挖掘。本文的主要工作如下:實(shí)現(xiàn)面向特定網(wǎng)站的數(shù)據(jù)采集。分析了針對(duì)公共安全領(lǐng)域內(nèi)數(shù)據(jù)查詢類網(wǎng)站進(jìn)行數(shù)據(jù)采集的技術(shù),研究基于瀏覽器模擬、瀏覽器操縱的采集方式,實(shí)現(xiàn)用戶名密碼、PKI證書(shū)登錄的認(rèn)證授權(quán),獲取數(shù)據(jù)并進(jìn)行解析,使用增量式加速、長(zhǎng)連接加速、并行加速、分布式加速等加速策略加快采集速度,并使用最近最少使用法、直接映射法對(duì)數(shù)據(jù)去重,實(shí)現(xiàn)對(duì)公共安全領(lǐng)域內(nèi)數(shù)據(jù)查詢類網(wǎng)站數(shù)據(jù)的準(zhǔn)確高效的采集,為信息挖掘應(yīng)用提供基礎(chǔ)數(shù)據(jù)來(lái)源。研究數(shù)據(jù)分析技術(shù),提出一種隱關(guān)系發(fā)現(xiàn)算法并證明其正確性。研究基于Bloom過(guò)濾器和基于Cuckoo過(guò)濾器的數(shù)據(jù)比對(duì)加速技術(shù),實(shí)現(xiàn)特定人員快速偵測(cè);通過(guò)統(tǒng)計(jì)方法挖掘隱含在人員活動(dòng)數(shù)據(jù)中的人員關(guān)系,利用多源異構(gòu)數(shù)據(jù)構(gòu)建人員關(guān)系和活動(dòng)圖,實(shí)現(xiàn)大規(guī)模圖數(shù)據(jù)的壓縮,在關(guān)系網(wǎng)絡(luò)上進(jìn)行治安效價(jià)傳遞、異常行為等分析,并進(jìn)行可視化展示,使公共安區(qū)保障部門能直觀地觀察分析和處理結(jié)果。設(shè)計(jì)并實(shí)現(xiàn)了數(shù)據(jù)分析系統(tǒng)。通過(guò)整合面向特定網(wǎng)站的數(shù)據(jù)采集技術(shù)和數(shù)據(jù)分析與圖可視化技術(shù),設(shè)計(jì)開(kāi)發(fā)一套主動(dòng)獲取數(shù)據(jù)、自動(dòng)分析數(shù)據(jù)的分析系統(tǒng),對(duì)活動(dòng)記錄進(jìn)行分析處理,實(shí)現(xiàn)對(duì)特定人員、特定群體、異常行為、安全事件的檢測(cè)與挖掘。
[Abstract]:In order to cope with the huge challenge of emergency public safety events, the strategy of public security disposal in China needs to be changed from "post treatment" to "pre prevention". Therefore, it is necessary to strengthen the comprehensive utilization of data resources and the methods of automatic and in-depth data analysis and information mining to improve the timeliness and foresight of information discovery. By building a data analysis system facing public security, it provides monitoring and early warning for information mining applications, and solves the problems faced by the security and security departments. In this paper, the active fast data acquisition technology for specific websites is studied, and the related graph data compression storage is related to the network analysis. On the basis of analysis and visualization techniques, a set of active data acquisition and analysis system is designed and implemented to realize the detection and mining of specific people, specific groups, abnormal behavior and security events. The main work of this paper is as follows: to realize data acquisition for specific websites and analyze public security. The technology of data collection in the field of data query in the field, research based on the browser simulation, the acquisition mode manipulated by the browser, realize the username cipher, the authentication authorization of the PKI certificate, obtain the data and analyze it, use incremental acceleration, accelerate the long connection, accelerate the acceleration, and accelerate the distributed acceleration strategy to speed the acquisition speed. And using the latest least use method, the direct mapping method is used to retrieve data accurately and efficiently in the field of public security. It provides the basic data source for the application of information mining. It studies the data analysis technology and presents a hidden relation discovery algorithm and proves its correctness. The research is based on the Bloom filter and the research. Based on the data comparison of the Cuckoo filter, the rapid detection of specific personnel is realized, the personnel relationship hidden in the personnel activity data is excavated by statistical method, the personnel relationship and activity graph are constructed by using multi source heterogeneous data to realize the compression of the large scale map data, and the security titer transfer and abnormal behavior are carried out on the closed network. Through the analysis and visualization, the Security Department of the public security area can observe and analyze the results intuitively. The data analysis system is designed and implemented. By integrating data acquisition technology and data analysis and graph visualization technology oriented to specific websites, a set of active data acquisition and analysis system is designed and developed. Activity records are analyzed and processed to detect and mine specific people, specific groups, abnormal behaviors and security incidents.
【學(xué)位授予單位】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP274.2

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 代美;陳林;趙惠燕;程登發(fā);;掃描昆蟲(chóng)雷達(dá)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)和研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2009年03期

2 李磊;;黑龍江郵政數(shù)據(jù)分析系統(tǒng)研究[J];林業(yè)科技情報(bào);2011年04期

3 陳起榕;陳新亮;曹世彪;;一種新的數(shù)據(jù)分析系統(tǒng)前端展示方案[J];郵電設(shè)計(jì)技術(shù);2012年10期

4 孟慶超;李永亮;;智能數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿(mào)工業(yè);2008年11期

5 郭靜;;鋼鐵企業(yè)能源數(shù)據(jù)分析系統(tǒng)的構(gòu)建[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2009年05期

6 哈文雷;;基于云計(jì)算的油田數(shù)據(jù)分析系統(tǒng)[J];中國(guó)新技術(shù)新產(chǎn)品;2013年17期

7 黃麗麗;陳華輝;;博客數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];寧波大學(xué)學(xué)報(bào)(理工版);2008年03期

8 田月潔;焦波;謝金洲;;中藥不良反應(yīng)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與應(yīng)用[J];中國(guó)藥物警戒;2007年04期

9 毛蘭斌;;基于機(jī)電結(jié)構(gòu)檢測(cè)的可靠性數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)[J];中國(guó)高新技術(shù)企業(yè);2008年08期

10 毛羽芳;王銳明;;天津市工商行政管理局?jǐn)?shù)據(jù)分析系統(tǒng)的建設(shè)[J];信息系統(tǒng)工程;2010年07期

相關(guān)會(huì)議論文 前7條

1 顧紅生;;淺談汽車行業(yè)競(jìng)品數(shù)據(jù)分析系統(tǒng)解決方案[A];第八屆中國(guó)汽車設(shè)計(jì)與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽(yáng);;數(shù)據(jù)分析系統(tǒng)中的自定義量度方案設(shè)計(jì)實(shí)現(xiàn)[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

3 尚屹;朱琦;;國(guó)家持久性有機(jī)污染物數(shù)據(jù)分析系統(tǒng)研究[A];2008中國(guó)環(huán)境科學(xué)學(xué)會(huì)學(xué)術(shù)年會(huì)優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產(chǎn)數(shù)據(jù)分析系統(tǒng)及其現(xiàn)場(chǎng)應(yīng)用[A];中國(guó)水力發(fā)電工程學(xué)會(huì)信息化專委會(huì)2010年學(xué)術(shù)交流會(huì)論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測(cè)算法的交通數(shù)據(jù)分析系統(tǒng)[A];2008全國(guó)第十三屆自動(dòng)化應(yīng)用技術(shù)學(xué)術(shù)交流會(huì)論文集[C];2008年

6 王治國(guó);王薇;訾凱;任鵬;;臨床檢驗(yàn)方法確認(rèn)與性能驗(yàn)證數(shù)據(jù)分析系統(tǒng)(MVS)的開(kāi)發(fā)與應(yīng)用[A];中華醫(yī)學(xué)會(huì)第九次全國(guó)檢驗(yàn)醫(yī)學(xué)學(xué)術(shù)會(huì)議暨中國(guó)醫(yī)院協(xié)會(huì)臨床檢驗(yàn)管理專業(yè)委員會(huì)第六屆全國(guó)臨床檢驗(yàn)實(shí)驗(yàn)室管理學(xué)術(shù)會(huì)議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數(shù)據(jù)分析系統(tǒng)[A];自動(dòng)化技術(shù)與冶金流程節(jié)能減排——全國(guó)冶金自動(dòng)化信息網(wǎng)2008年會(huì)論文集[C];2008年

相關(guān)重要報(bào)紙文章 前8條

1 記者 劉慧敏;開(kāi)發(fā)區(qū)一企業(yè)研發(fā)成功“消費(fèi)行為數(shù)據(jù)分析系統(tǒng)”[N];寧波日?qǐng)?bào);2009年

2 別志銘;基于云的大數(shù)據(jù)分析系統(tǒng)[N];網(wǎng)絡(luò)世界;2013年

3 袁毅;蘇州：數(shù)據(jù)分析系統(tǒng)精準(zhǔn)問(wèn)診城市交通[N];人民公安報(bào)·交通安全周刊;2011年

4 紹興職業(yè)技術(shù)學(xué)院 沈華峰 寧波大學(xué)信息科學(xué)與工程學(xué)院 朱雙東;基于可縮放矢量圖形數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[N];中國(guó)計(jì)算機(jī)報(bào);2010年

5 記者 董科;轉(zhuǎn)型客戶服務(wù) 打造全新競(jìng)爭(zhēng)力[N];期貨日?qǐng)?bào);2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應(yīng)完善稅收數(shù)據(jù)分析系統(tǒng)提升使用效能[N];中國(guó)稅務(wù)報(bào);2013年

7 陶利軍;路橋當(dāng)好企業(yè)經(jīng)濟(jì)分析師[N];中國(guó)工商報(bào);2007年

8 本報(bào)記者 鞏國(guó)強(qiáng);汛潮的“賣點(diǎn)”[N];山西經(jīng)濟(jì)日?qǐng)?bào);2004年

相關(guān)碩士學(xué)位論文 前10條

1 夷臻;學(xué)生事務(wù)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2015年

2 李永秋;智能化體檢數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2014年

3 翟羽佳;萊蕪供電公司經(jīng)營(yíng)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

4 張磊磊;高考錄取數(shù)據(jù)分析系統(tǒng)前端界面模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

5 韓繼軍;金卡科技公司業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

6 張志祥;某數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

7 龍少杭;基于Storm的實(shí)時(shí)大數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

8 余夢(mèng)然;面向商務(wù)智能的公共交通數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

9 張鵬宇;中國(guó)聯(lián)通ERP用戶感知業(yè)務(wù)監(jiān)控?cái)?shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

10 廖寧平;石化企業(yè)數(shù)據(jù)分析系統(tǒng)的開(kāi)發(fā)及運(yùn)營(yíng)管理中的應(yīng)用[D];浙江工業(yè)大學(xué);2014年

，

本文編號(hào)：2004015