移動(dòng)互聯(lián)網(wǎng)審計(jì)平臺(tái)數(shù)據(jù)處理方案的改進(jìn)與實(shí)現(xiàn)
本文選題:移動(dòng)互聯(lián)網(wǎng) + 安全審計(jì); 參考:《北京交通大學(xué)》2017年碩士論文
【摘要】:隨著第四代移動(dòng)通訊技術(shù)的崛起和智能終端的迅速發(fā)展,移動(dòng)設(shè)備的網(wǎng)絡(luò)連入量占據(jù)互聯(lián)網(wǎng)的份額也越來越大,在移動(dòng)互聯(lián)網(wǎng)時(shí)代,數(shù)據(jù)業(yè)務(wù)漸變成了用戶的核心需求,數(shù)據(jù)價(jià)值也將會(huì)成為運(yùn)營(yíng)商的最寶貴價(jià)值所在。因此移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)的分析與審計(jì)就會(huì)變得非常必要且重要。然而,也正因?yàn)橐苿?dòng)設(shè)備的普及和移動(dòng)應(yīng)用的全方位覆蓋,使得數(shù)據(jù)隨時(shí)隨地都在產(chǎn)生,移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)包小且雜、同一時(shí)刻的實(shí)時(shí)活躍連接數(shù)量龐大、智能終端的應(yīng)用種類繁多成了移動(dòng)互聯(lián)網(wǎng)的主要特點(diǎn),對(duì)于數(shù)據(jù)分析,處理速度要求也變的更高,高效率的實(shí)時(shí)流量處理才能令移動(dòng)業(yè)務(wù)數(shù)據(jù)產(chǎn)生相應(yīng)的價(jià)值。原有移動(dòng)互聯(lián)網(wǎng)審計(jì)平臺(tái)是單進(jìn)程多線程架構(gòu)的系統(tǒng),采用傳統(tǒng)的Libpcap工具來捕獲數(shù)據(jù)包,單純地采用DPI技術(shù)進(jìn)行數(shù)據(jù)包解析,這樣的審計(jì)系統(tǒng)性能問題諸多,頻繁的中斷請(qǐng)求和數(shù)據(jù)拷貝,耗時(shí)的DPI業(yè)務(wù)識(shí)別,串行的單任務(wù)進(jìn)程等原因嚴(yán)重限制了移動(dòng)互聯(lián)網(wǎng)審計(jì)平臺(tái)的性能,當(dāng)流量速率足夠大時(shí),原平臺(tái)的處理效率令人堪憂。本文分析指出原系統(tǒng)嚴(yán)重限制數(shù)據(jù)處理效率的原因,為提高審計(jì)平臺(tái)數(shù)據(jù)處理的能力以滿足實(shí)時(shí)高速的移動(dòng)業(yè)務(wù)數(shù)據(jù)細(xì)粒度審計(jì)的需求,提出了數(shù)據(jù)處理過程中新的階段性工作改進(jìn)方案,在數(shù)據(jù)采集階段采用基于PF_RING+NAPI的數(shù)據(jù)包捕獲方案,并結(jié)合零拷貝思想做出相應(yīng)的改進(jìn)措施,在數(shù)據(jù)解析階段采用基于DPI/DFI相結(jié)合的數(shù)據(jù)解析方式,并提出了基于緩存命中的預(yù)處理方法,大幅度降低了 DPI處理壓力。同時(shí),采用多核多進(jìn)程架構(gòu)重新設(shè)計(jì)審計(jì)平臺(tái)的數(shù)據(jù)分析模塊,在充分利用硬件資源的同時(shí),提升審計(jì)平臺(tái)的整體性能。通過階段化的驗(yàn)證試驗(yàn),對(duì)數(shù)據(jù)采集階段和數(shù)據(jù)解析階段的方案分別做了性能測(cè)試,并展示多進(jìn)程架構(gòu)下的系統(tǒng)運(yùn)行狀態(tài)。實(shí)驗(yàn)表明,本文方案完成了高速移動(dòng)網(wǎng)絡(luò)環(huán)境下,實(shí)時(shí)穩(wěn)定的業(yè)務(wù)數(shù)據(jù)處理審計(jì)任務(wù),達(dá)到了預(yù)期研究目標(biāo),可助力運(yùn)營(yíng)商開展移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)價(jià)值轉(zhuǎn)換和移動(dòng)互聯(lián)網(wǎng)安全監(jiān)管等后續(xù)工作。
[Abstract]:With the rise of the fourth generation mobile communication technology and the rapid development of intelligent terminals, the amount of network connection of mobile devices occupies an increasingly large share of the Internet. In the era of mobile Internet, data services have gradually become the core needs of users. Data value will also become the most valuable value of operators. Therefore, the analysis and audit of mobile Internet business data will become very necessary and important. However, because of the popularity of mobile devices and the omni-directional coverage of mobile applications, the data is generated anytime and anywhere, the mobile network data packets are small and miscellaneous, and the number of real-time active connections at the same time is huge. The application of intelligent terminals has become the main characteristic of mobile Internet. For data analysis, processing speed also changes higher, high efficiency real-time traffic processing can make mobile business data produce corresponding value. The original mobile Internet audit platform is a single-process multi-threaded system. The traditional Libpcap tools are used to capture data packets, and the DPI technology is used to resolve the data packets. There are many problems in the performance of the audit system. Frequent interrupt requests and data copy, time-consuming DPI service identification, serial single-task process and other reasons seriously limit the performance of the mobile Internet audit platform. When the traffic rate is large enough, the processing efficiency of the original platform is worrying. This paper analyzes and points out that the original system seriously limits the efficiency of data processing. In order to improve the capability of data processing in the audit platform to meet the needs of real-time and high-speed fine-grained audit of mobile business data, In this paper, a new stage work improvement scheme in the process of data processing is put forward. In the data acquisition stage, the packet capture scheme based on PF_RING NAPI is adopted, and the corresponding improvement measures are made in combination with the zero-copy idea. In the stage of data parsing, the data parsing method based on DPI/DFI is adopted, and the preprocessing method based on cache hit is proposed, which greatly reduces the processing pressure of DPI. At the same time, the multi-core and multi-process architecture is used to redesign the data analysis module of the audit platform, which makes full use of the hardware resources and improves the overall performance of the audit platform. The performance of the schemes in the data acquisition stage and the data analysis stage are tested by the stage verification test, and the system running state under the multi-process architecture is shown. The experimental results show that the scheme has completed the audit task of real-time and stable service data processing under the high-speed mobile network environment, and has achieved the expected research goal. Can help operators to carry out mobile network data value conversion and mobile Internet security supervision and other follow-up work.
【學(xué)位授予單位】:北京交通大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2017
【分類號(hào)】:TN929.5;TP393.01;TP274
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 楊正泉;;互聯(lián)網(wǎng)安全與管理[J];對(duì)外大傳播;2000年11期
2 ;全國(guó)人大常委會(huì)關(guān)于維護(hù)互聯(lián)網(wǎng)安全的決定[J];通信世界;2001年02期
3 志誠(chéng);全國(guó)人大法律委員會(huì)副主任委員張緒武指出:促進(jìn)互聯(lián)網(wǎng)發(fā)展 保障互聯(lián)網(wǎng)安全[J];信息安全與通信保密;2001年02期
4 ;關(guān)于維護(hù)互聯(lián)網(wǎng)安全的決定[J];中國(guó)信息導(dǎo)報(bào);2001年01期
5 ;全國(guó)人民代表大會(huì)常務(wù)委員會(huì)關(guān)于維護(hù)互聯(lián)網(wǎng)安全的決定[J];信息網(wǎng)絡(luò)安全;2001年02期
6 張春霞,姚智;略論互聯(lián)網(wǎng)安全問題[J];黑龍江水利科技;2003年02期
7 謝瑋;;互聯(lián)網(wǎng)安全問題分析和解決問題思路[J];現(xiàn)代電信科技;2006年05期
8 ;互聯(lián)網(wǎng)安全障礙在文化[J];每周電腦報(bào);2006年31期
9 曾培炎;;讓互聯(lián)網(wǎng)技術(shù)和資源更好地造福社會(huì)、造福人民[J];中國(guó)信息界;2006年18期
10 楊洋;;互聯(lián)網(wǎng)安全問題的起因及復(fù)雜性分析[J];通信世界;2007年22期
相關(guān)會(huì)議論文 前10條
1 舒華英;;互聯(lián)網(wǎng)治理的分層模型及其生命周期[A];通信發(fā)展戰(zhàn)略與管理創(chuàng)新學(xué)術(shù)研討會(huì)論文集[C];2006年
2 劉為軍;侯宇宸;;中國(guó)移動(dòng)互聯(lián)網(wǎng)安全監(jiān)管立法初探[A];第28次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2013年
3 朱金義;劉寶莉;呂洪靜;程永全;;互聯(lián)網(wǎng)盜號(hào)案件頻發(fā)原因與對(duì)策[A];第十六次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2001年
4 李冬;馬勇;張?chǎng)?;基于微博產(chǎn)業(yè)下的互聯(lián)網(wǎng)安全問題初探[A];第26次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2011年
5 張宏;;關(guān)于互聯(lián)網(wǎng)安全的幾點(diǎn)建議[A];中國(guó)航海學(xué)會(huì)通信導(dǎo)航專業(yè)委員會(huì)2003學(xué)術(shù)年會(huì)論文集[C];2003年
6 左鵬;;基于互聯(lián)網(wǎng)的基督教傳播:以大學(xué)生為對(duì)象[A];社會(huì)管理創(chuàng)新與青少年工作研究報(bào)告——第七屆中國(guó)青少年發(fā)展論壇暨中國(guó)青少年研究會(huì)優(yōu)秀論文集(2011)[C];2011年
7 王黎璐;王鴻宇;;移動(dòng)互聯(lián)網(wǎng)安全分析[A];第28次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2013年
8 焦瑞強(qiáng);;互聯(lián)網(wǎng)安全事件頻發(fā) 管理手段亟待升級(jí)[A];政府管理創(chuàng)新理論與實(shí)踐研討會(huì)論文集[C];2011年
9 康治方;;互聯(lián)網(wǎng)和安全[A];第十二屆全國(guó)計(jì)算機(jī)安全技術(shù)交流會(huì)論文集[C];1997年
10 方漢奇;;法輪功與互聯(lián)網(wǎng)[A];中國(guó)傳播學(xué):反思與前瞻——首屆中國(guó)傳播學(xué)論壇文集[C];2002年
相關(guān)重要報(bào)紙文章 前10條
1 閆強(qiáng) 舒華英;互聯(lián)網(wǎng)治理的分層模型及其生命周期[N];人民郵電;2005年
2 記者 楊揚(yáng);我市被列為政府部門互聯(lián)網(wǎng)安全接入國(guó)家試點(diǎn)城市[N];邯鄲日?qǐng)?bào);2010年
3 記者 韓婧;“360互聯(lián)網(wǎng)安全學(xué)院”啟動(dòng)[N];北京人才市場(chǎng)報(bào);2011年
4 萬佳;重建互聯(lián)網(wǎng)[N];光明日?qǐng)?bào);2013年
5 采訪 拉里·格林邁耶 (Larry Greenemeier) 翻譯 郭凱聲;互聯(lián)網(wǎng)走在崩潰邊緣[N];光明日?qǐng)?bào);2013年
6 沉風(fēng);移動(dòng)互聯(lián)網(wǎng)有多不安全?[N];人民郵電;2013年
7 本報(bào)記者 李國(guó)敏;中國(guó)互聯(lián)網(wǎng)安全大會(huì)聚焦網(wǎng)絡(luò)新威脅[N];科技日?qǐng)?bào);2013年
8 徐晶卉;中國(guó)互聯(lián)網(wǎng)安全大會(huì)聚焦手機(jī)安全[N];中國(guó)貿(mào)易報(bào);2013年
9 喬杉;移動(dòng)互聯(lián)網(wǎng):無安全則無繁榮[N];工人日?qǐng)?bào);2014年
10 忻陽;優(yōu)質(zhì)視頻傳輸成互聯(lián)網(wǎng)首要挑戰(zhàn)[N];人民郵電;2014年
相關(guān)博士學(xué)位論文 前10條
1 申琰;互聯(lián)網(wǎng)的國(guó)際博弈與合作研究[D];中共中央黨校;2009年
2 滕順祥;基于互聯(lián)網(wǎng)的行業(yè)綜合治理機(jī)制與策略研究[D];北京交通大學(xué);2010年
3 李明選;互聯(lián)網(wǎng)金融產(chǎn)業(yè)及其對(duì)傳統(tǒng)金融沖擊影響的研究[D];上海社會(huì)科學(xué)院;2015年
4 李琦;互聯(lián)網(wǎng)金融領(lǐng)域信用與風(fēng)險(xiǎn)的理論與實(shí)證分析[D];重慶大學(xué);2015年
5 郭珂瓊;互聯(lián)網(wǎng)新興權(quán)利保障研究[D];吉林大學(xué);2016年
6 劉f[;中國(guó)互聯(lián)網(wǎng)金融的發(fā)展問題研究[D];吉林大學(xué);2016年
7 曹海濤;從監(jiān)管到治理[D];武漢大學(xué);2013年
8 李元元;網(wǎng)絡(luò)宗教安全問題研究[D];中央民族大學(xué);2016年
9 柳強(qiáng);互聯(lián)網(wǎng)治理信息的共享研究[D];北京郵電大學(xué);2008年
10 申志偉;基于電信運(yùn)營(yíng)企業(yè)的互聯(lián)網(wǎng)治理研究[D];北京郵電大學(xué);2012年
相關(guān)碩士學(xué)位論文 前10條
1 莫鋒;當(dāng)代中國(guó)互聯(lián)網(wǎng)技術(shù)的倫理審視[D];廣西大學(xué);2007年
2 姚源;我國(guó)互聯(lián)網(wǎng)治理研究[D];華中師范大學(xué);2012年
3 李江;中國(guó)互聯(lián)網(wǎng)早期發(fā)展中互聯(lián)網(wǎng)創(chuàng)新能力的溯源與探究[D];浙江傳媒學(xué)院;2015年
4 王光輝;中國(guó)農(nóng)業(yè)銀行應(yīng)對(duì)互聯(lián)網(wǎng)金融挑戰(zhàn)的策略研究[D];河北大學(xué);2015年
5 曹瑞;互聯(lián)網(wǎng)金融風(fēng)險(xiǎn)管理與防范對(duì)策研究[D];內(nèi)蒙古大學(xué);2015年
6 余釗慧;三門峽市互聯(lián)網(wǎng)宣傳管理人才隊(duì)伍建設(shè)研究[D];中國(guó)地質(zhì)大學(xué)(北京);2015年
7 李星霖;互聯(lián)網(wǎng)戰(zhàn)爭(zhēng)與中國(guó)應(yīng)對(duì)[D];鄭州大學(xué);2015年
8 李楊;美國(guó)互聯(lián)網(wǎng)制度霸權(quán)對(duì)中美關(guān)系的影響[D];鄭州大學(xué);2015年
9 呂淼;互聯(lián)網(wǎng)時(shí)代我國(guó)意識(shí)形態(tài)安全問題研究[D];鄭州大學(xué);2015年
10 周萍;互聯(lián)網(wǎng)異常流量檢測(cè)技術(shù)的研究[D];曲阜師范大學(xué);2015年
,本文編號(hào):1903288
本文鏈接:http://www.sikaile.net/kejilunwen/xinxigongchenglunwen/1903288.html