本論文依據(jù)2018年在香港某運營商大數(shù)據(jù)平臺項目案例,通過梳理現(xiàn)階段此運營數(shù)據(jù)處理中存在的諸多問題與困難,例如:各方數(shù)據(jù)源未統(tǒng)一接入、數(shù)據(jù)口徑不一致、手工處理環(huán)節(jié)多、大量的單體應用堆疊,應用靠人工開發(fā),人員技能要求高,數(shù)據(jù)分析支撐的平臺小、起點低、設備少、缺乏智能化分析手段,無法有效挖掘數(shù)據(jù)價值等等。篩選匹配業(yè)界現(xiàn)有開源大數(shù)據(jù)平臺組件,利用浪潮云海大數(shù)據(jù)平臺,提供技術開放化、架構服務化、編排工具豐富易用、體系完整并滿足運營商要求的遵循國際標準,安全、穩(wěn)定、高效的建設方案。本文首先根據(jù)運營商所提出的2018年大數(shù)據(jù)平臺建設規(guī)劃,詳細介紹了改造項目通過網(wǎng)絡爬蟲、HBase集群、流計算處理引擎、搜索引擎、數(shù)據(jù)治理、數(shù)據(jù)挖掘、圖數(shù)據(jù)庫等模塊的建設,豐富數(shù)據(jù)采集手段、完善數(shù)據(jù)城邦、優(yōu)化計算和查詢效率、深度治理數(shù)據(jù),從而挖掘組織數(shù)據(jù)價值;在平臺架構上完善并實現(xiàn)大數(shù)據(jù),其次參考并遵循《中國移動企業(yè)級省大數(shù)據(jù)平臺技術規(guī)范》內容,按照“平臺+工具+服務”的模式,“一體化、分層開放”思路;提升數(shù)據(jù)統(tǒng)一支撐內外部部門多樣、靈活的大數(shù)據(jù)共享、應用服務需求,為運營商各部門多樣的靈活的大數(shù)據(jù)共享、應用和服務提供有力支撐;其次在業(yè)務上,實現(xiàn)用戶行為分析、探索用戶關系圖譜,最終通過成體系的組織數(shù)據(jù)治理為運營商業(yè)務分析和數(shù)字化轉型提供強有力的支撐。本文創(chuàng)新點在于使用業(yè)界最流行技術框架,梳理運營商0/B/M三域數(shù)據(jù)應用,尤其是專業(yè)化運營香港當?shù)氐恼Z音、數(shù)據(jù)、IDD及國際漫游等業(yè)務,為企業(yè)提供創(chuàng)新及多元化的通信服務。使數(shù)據(jù)經(jīng)過彼此的融合與開放,不斷激發(fā)巨大商業(yè)價值,孵化創(chuàng)新無限可能。并結合人工智能、機器學習等新技術,利用平臺的資源、數(shù)據(jù)、工具服務能力封裝從而使數(shù)據(jù)驅動運營商業(yè)務創(chuàng)新。也為網(wǎng)絡智能支撐體系和敏捷管理支撐體系的建設提供有力保障,更是未來公司數(shù)字化轉型的助推器。
【學位單位】：山東大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：F626;TP311.13
【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 大數(shù)據(jù)處理技術現(xiàn)狀
    1.2 大數(shù)據(jù)的應用對運營商的意義
    1.3 浪潮大數(shù)據(jù)平臺架構簡介
    1.4 論文內容及安排
第2章 大數(shù)據(jù)平臺數(shù)據(jù)采集方案
    2.1 批量數(shù)據(jù)采集
    2.2 流數(shù)據(jù)采集
        2.2.1 流數(shù)據(jù)采集
        2.2.2 SDTP采集的處理流程
        2.2.3 SDTP采集部署
    2.3 互聯(lián)網(wǎng)數(shù)據(jù)采集
        2.3.1 采集任務
        2.3.2 數(shù)據(jù)標記
        2.3.3 數(shù)據(jù)存儲
        2.3.4 數(shù)據(jù)開放
    2.4 數(shù)據(jù)存儲與處理
        2.4.1 概述
        2.4.2 數(shù)據(jù)存儲
        2.4.3 批數(shù)據(jù)處理
        2.4.4 流數(shù)據(jù)處理
            2.4.4.1 消息隊列
            2.4.4.2 流計算引擎
            2.4.4.3 流計算結果存儲
    2.5 數(shù)據(jù)服務工具
第3章 大數(shù)據(jù)平臺數(shù)據(jù)治理
    3.1 數(shù)據(jù)標準管理
        3.1.1 數(shù)據(jù)標準元數(shù)據(jù)管理
        3.1.2 數(shù)據(jù)字典標準管理
        3.1.3 數(shù)據(jù)標準導入
        3.1.4 元數(shù)據(jù)導入
        3.1.5 元數(shù)據(jù)抽取
        3.1.6 元數(shù)據(jù)瀏覽分析
        3.1.7 元數(shù)據(jù)檢索
    3.2 數(shù)據(jù)模型管理
        3.2.1 物理建模
        3.2.2 模型審批
        3.2.3 模型盤點
    3.3 數(shù)據(jù)質量管理
        3.3.1 數(shù)據(jù)質量規(guī)則
        3.3.2 數(shù)據(jù)質量監(jiān)控
        3.3.3 數(shù)據(jù)質量報告
        3.3.4 數(shù)據(jù)質量知識庫
    3.4 數(shù)據(jù)資產(chǎn)管理
        3.4.1 數(shù)據(jù)資產(chǎn)目錄
        3.4.2 資產(chǎn)生命周期
        3.4.3 資產(chǎn)統(tǒng)計分析
        3.4.4 資產(chǎn)健康度評估
        3.4.5 資產(chǎn)開放運營
    3.5 數(shù)據(jù)治理服務
        3.5.1 數(shù)據(jù)治理服務范圍
        3.5.2 數(shù)據(jù)治理服務方法
第4章 大數(shù)據(jù)平臺運維管理
    4.1 概述
    4.2 用戶管理
        4.2.1 用戶管理
        4.2.2 用戶審計
    4.3 多租戶管理
        4.3.1 門戶
        4.3.2 資源配額
        4.3.3 資源授權
        4.3.4 資源空間
        4.3.5 數(shù)據(jù)資源
    4.4 日志管理
    4.5 運維監(jiān)控
        4.5.1 儀表盤
        4.5.2 服務管理
        4.5.3 告警管理
第5章 系統(tǒng)部署方案
    5.1 平臺建設范圍
    5.2 系統(tǒng)部署圖
    5.3 操作系統(tǒng)及相關要求
    5.4 系統(tǒng)服務器列表
第6章 總結與展望
    6.1 總結
    6.2 展望
參考文獻
致謝
學位論文評閱及答辯情況表

【相似文獻】

相關期刊論文 前10條

1 ;重慶:2020年建成健康醫(yī)療大數(shù)據(jù)平臺體系[J];吉林醫(yī)學信息;2016年12期

2 張鈞;丁正喜;;用戶體驗下的政府開放數(shù)據(jù)平臺評價分析[J];中國新通信;2019年22期

3 韓陽;;大數(shù)據(jù)時代下高校智慧校園的數(shù)據(jù)平臺分析[J];營銷界;2019年43期

4 俞宙;;省級畢業(yè)生就業(yè)大數(shù)據(jù)平臺建設模式初探[J];信息系統(tǒng)工程;2018年11期

5 孫唯特;;高校智慧校園建設中的數(shù)據(jù)平臺設計[J];信息通信;2019年01期

6 張瑜;程明霞;;高校智慧校園建設中校友數(shù)據(jù)平臺的設計研究——以日照職業(yè)技術學院為例[J];中國多媒體與網(wǎng)絡教學學報(中旬刊);2019年05期

7 王勇;;企業(yè)大數(shù)據(jù)平臺建設中的問題及對策探討[J];信息系統(tǒng)工程;2019年06期

8 魏國華;郭翔宇;康志英;;內蒙古移動旅游大數(shù)據(jù)平臺項目應用創(chuàng)新[J];信息通信;2019年11期

9 張世瑛;;大數(shù)據(jù)平臺基礎能力和性能診斷分析[J];區(qū)域治理;2019年29期

10 何慶;李冠道;周樂坤;嚴敏;;大數(shù)據(jù)平臺的集中訪問控制[J];網(wǎng)絡安全和信息化;2018年01期

相關博士學位論文 前3條

1 王華偉;鐵路運輸設備技術狀態(tài)大數(shù)據(jù)平臺研究[D];中國鐵道科學研究院;2017年

2 姚競爭;數(shù)字化造船一體化數(shù)據(jù)平臺關鍵技術研究[D];哈爾濱工程大學;2011年

3 張偉;基于油田多源數(shù)據(jù)分析的油藏管理研究[D];長安大學;2013年

相關碩士學位論文 前10條

1 黃莉;中泰商務大數(shù)據(jù)平臺建設研究[D];云南財經(jīng)大學;2019年

2 沈晰強;小麥-氣象-收割機作業(yè)時間的時空分析及數(shù)據(jù)平臺研究[D];浙江大學;2019年

3 張耀隆;面向自動駕駛的數(shù)據(jù)平臺關鍵技術研究[D];哈爾濱工業(yè)大學;2019年

4 張玫;YD公司大數(shù)據(jù)旅游應用的服務營銷策略研究[D];云南大學;2017年

5 陳志晗;基于大數(shù)據(jù)平臺推進服務型政府建設研究[D];廈門大學;2018年

6 穆晨陽;大同市精準扶貧數(shù)據(jù)平臺的設計與實現(xiàn)[D];西安電子科技大學;2019年

7 張志昂;基于大數(shù)據(jù)平臺的運營商數(shù)據(jù)改造治理[D];山東大學;2019年

8 龔建行;吉林省建筑大數(shù)據(jù)平臺建設路徑研究[D];吉林建筑大學;2019年

9 李志勇;公眾使用醫(yī)療大數(shù)據(jù)平臺意愿影響因素調查分析[D];江西財經(jīng)大學;2019年

10 王金;基于深度強化學習的大數(shù)據(jù)平臺作業(yè)調度算法與仿真實現(xiàn)[D];電子科技大學;2019年

本文編號：2879140