隨著人們對網(wǎng)絡(luò)和通信的依賴日漸增長，維護(hù)網(wǎng)絡(luò)信息的安全以及用戶的合法權(quán)益日益重要。而網(wǎng)絡(luò)的開放性、虛擬性和不確定性無疑給這項工作增加了一個不小的難題。網(wǎng)絡(luò)身份的綁定成為必然。每個用戶常見的網(wǎng)絡(luò)、通訊行為有郵件通訊、微博發(fā)表、短信通訊以及電話通訊。每個用戶在四個系統(tǒng)中分別對應(yīng)一種身份，把四種身份綁定，確認(rèn)用戶的現(xiàn)實身份，使得網(wǎng)絡(luò)社會和現(xiàn)實社會同樣受到監(jiān)督與保證，維持網(wǎng)絡(luò)秩序。 由于數(shù)據(jù)源眾多以及各個系統(tǒng)的用戶繁多、操作頻繁，每日產(chǎn)生TB級甚至PB級的海量數(shù)據(jù)，傳統(tǒng)的關(guān)系數(shù)據(jù)庫以及不能滿足數(shù)據(jù)的存儲分析處理的要求。本系統(tǒng)利用Hadoop/hive分布式計算平臺的高可靠性、高擴展性、高效性以及高容錯性，對用戶的基礎(chǔ)信息、特征行為等進(jìn)行分析，在功能實現(xiàn)的基礎(chǔ)上展現(xiàn)出數(shù)據(jù)處理很高的效率。 本文在實際系統(tǒng)開發(fā)的基礎(chǔ)上，綜述了一種基于Hadoop/hive架構(gòu)的網(wǎng)絡(luò)身份識別系統(tǒng)設(shè)計與實現(xiàn)的開發(fā)方案。將各個數(shù)據(jù)源的原始數(shù)據(jù)利用MapReduce進(jìn)行層層清洗后，裝載入一個新建的基于事件的數(shù)據(jù)倉庫。隨后，利用HiveQL語言，在專業(yè)工作流控制工具的控制下，根據(jù)用戶要求完成數(shù)據(jù)的分析處理工作。最后，將數(shù)據(jù)分...

【文章頁數(shù)】：56 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 主要研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 本文技術(shù)基礎(chǔ)
    2.1 Hadoop
        2.1.1 Hadoop 技術(shù)背景
        2.1.2 HDFS（Hadoop Distributed File System）機制
        2.1.3 MapReduce
    2.2 Hive
        2.2.1 Hive
        2.2.2 Hive 和普通關(guān)系數(shù)據(jù)庫的區(qū)別
        2.2.3 HiveQL
    2.3 相關(guān)算法及關(guān)聯(lián)規(guī)則
    2.4 本章小結(jié)
第三章 網(wǎng)絡(luò)身份識別系統(tǒng)的設(shè)計
    3.1 需求分析
        3.1.1 指標(biāo)定義
        3.1.2 功能方法概述
    3.2 架構(gòu)設(shè)計
        3.2.1 數(shù)據(jù)存儲模塊設(shè)計
        3.2.2 數(shù)據(jù)分析模塊設(shè)計
        3.2.3 數(shù)據(jù)展現(xiàn)模塊設(shè)計
    3.3 本章小結(jié)
第四章 網(wǎng)絡(luò)身份識別系統(tǒng)的實現(xiàn)
    4.1 系統(tǒng)存儲模塊實現(xiàn)
        4.1.1 數(shù)據(jù)抽取
        4.1.2 數(shù)據(jù)倉庫構(gòu)建
    4.2 系統(tǒng)分析模塊實現(xiàn)
        4.2.1 指標(biāo)一：置信度計算的實現(xiàn)
        4.2.2 指標(biāo)二：匹配度計算的實現(xiàn)
    4.3 系統(tǒng)數(shù)據(jù)展現(xiàn)模塊實現(xiàn)
    4.4 系統(tǒng)調(diào)度
    4.5 本章小結(jié)
第五章 系統(tǒng)性能測試
    5.1 Hadoop/hive 環(huán)境配置
    5.2 系統(tǒng)運行結(jié)果分析
    5.3 本章小結(jié)
第六章 總結(jié)與展望
    6.1 本文小結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝



本文編號：3863153