伴隨著企業(yè)自身業(yè)務(wù)種類的快速增加以及業(yè)務(wù)范圍的不斷擴(kuò)大,企業(yè)所掌握的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)。龐大的業(yè)務(wù)數(shù)據(jù)量往往蘊(yùn)含著重要的商業(yè)價(jià)值。企業(yè)發(fā)展過(guò)程中,企業(yè)高層人員逐漸認(rèn)識(shí)到對(duì)過(guò)往數(shù)據(jù)的合理使用可以給企業(yè)帶來(lái)豐厚的回報(bào)。并且隨著大數(shù)據(jù)技術(shù)的日漸成熟,各種商業(yè)化且穩(wěn)定有效的方案可以做到既節(jié)約大量的成本,又給企業(yè)發(fā)展帶來(lái)合理有效的數(shù)據(jù)支持。當(dāng)前企業(yè)進(jìn)行大數(shù)據(jù)分析主要依靠在分布式集群如Hadoop集群上進(jìn)行數(shù)據(jù)存儲(chǔ),使用Hadoop生態(tài)圈組件如Hive、Spark、Flink、Storm進(jìn)行數(shù)據(jù)的計(jì)算,基本涵蓋了離線數(shù)據(jù)倉(cāng)庫(kù)、實(shí)時(shí)計(jì)算、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)等多個(gè)方面的功能建設(shè)。通常企業(yè)中的運(yùn)營(yíng)人員、數(shù)據(jù)分析人員并非都畢業(yè)于計(jì)算機(jī)類相關(guān)專業(yè)。他們普遍具有統(tǒng)計(jì)學(xué)類知識(shí),并且對(duì)相關(guān)業(yè)務(wù)領(lǐng)域具有較深的理解,這些人員基本掌握SQL語(yǔ)言但是對(duì)于Linux、大數(shù)據(jù)等技術(shù)了解不深。如果直接讓運(yùn)營(yíng)人員、數(shù)據(jù)分析人員直接通過(guò)CRT或Xshell等工具連接Hadoop集群進(jìn)行數(shù)據(jù)分析開(kāi)發(fā)任務(wù),可能存在學(xué)習(xí)成本高、工作效率低、數(shù)據(jù)存在泄漏、集群安全性等等一系列問(wèn)題。但是分析人員又需要可以編寫SQL腳本并且對(duì)腳本進(jìn)行試錯(cuò)修改的地方... 

【文章來(lái)源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：73 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１企業(yè)數(shù)據(jù)開(kāi)發(fā)系統(tǒng)功能劃分包圖??企業(yè)數(shù)據(jù)開(kāi)發(fā)系統(tǒng)的主要使用場(chǎng)景是數(shù)據(jù)分析人員、數(shù)據(jù)倉(cāng)庫(kù)人員創(chuàng)建數(shù)據(jù)??

?山東大學(xué)碩士學(xué)位論文???理需求分析五個(gè)主要部分。??２．３．１用戶管理需求分析??用戶管理模塊的主要功能是對(duì)用戶個(gè)人信息以及集群庫(kù)表權(quán)限等內(nèi)容統(tǒng)一??管理。在用戶管理中，使用本系統(tǒng)的數(shù)據(jù)幵發(fā)人員主要可以執(zhí)行個(gè)人權(quán)限管理、??申請(qǐng)管理、新手引導(dǎo)設(shè)置等相關(guān)操作。??用戶管理用例圖如圖２－３所示。??壞境權(quán)酵商）??々職限申９??￣ｘ￣???人＼?、￣??數(shù)紐發(fā)人員???、＾氣申請(qǐng)歷史麵））??々手引導(dǎo)??、、、＾取新耗丨＾＾??＇Ｖ￣＾??＾在線使ｓ手冊(cè)ｊ??圖２－３用戶管理用例圖??１．個(gè)人權(quán)限管理。個(gè)人權(quán)限管理是指對(duì)數(shù)據(jù)開(kāi)發(fā)人員已經(jīng)獲得的各個(gè)集群、??庫(kù)權(quán)限等信息進(jìn)行管理。主要對(duì)用戶己具備的集群、庫(kù)權(quán)限進(jìn)行列表展示、條件??檢索。??２．申請(qǐng)管理。申請(qǐng)管理主要以管理數(shù)據(jù)開(kāi)發(fā)人員在系統(tǒng)中的各項(xiàng)環(huán)境、庫(kù)表??權(quán)限的申請(qǐng)為主要任務(wù)。由于只申請(qǐng)集群環(huán)境而不申請(qǐng)庫(kù)權(quán)限仍會(huì)使得腳本無(wú)法??讀寫表，順利完成數(shù)據(jù)開(kāi)發(fā)任務(wù)。因此申請(qǐng)集群環(huán)境只能同時(shí)申請(qǐng)一個(gè)庫(kù)權(quán)限，??若需申請(qǐng)多個(gè)庫(kù)則提交多次權(quán)限申請(qǐng)，選擇同一集群環(huán)境不同庫(kù)即可。數(shù)據(jù)開(kāi)發(fā)??人員申請(qǐng)使用某個(gè)集群環(huán)境需要提交相應(yīng)集群環(huán)境申請(qǐng)信息，包括申請(qǐng)賬號(hào)、申??請(qǐng)集群環(huán)境、申請(qǐng)庫(kù)環(huán)境、申請(qǐng)?jiān)虻�。并且在用戶管理申�?qǐng)歷史中可以對(duì)己提??８??

?山東大學(xué)碩士學(xué)位論文???交申請(qǐng)記錄進(jìn)行査詢。??３．新手引導(dǎo)設(shè)置。新手引導(dǎo)設(shè)置是針對(duì)剛開(kāi)始使用企業(yè)數(shù)據(jù)開(kāi)發(fā)系統(tǒng)用戶提??供的指引功能，包括提供新手引導(dǎo)、在線使用手冊(cè)等。??２．３．２項(xiàng)目管理需求分析??項(xiàng)目管理模塊主要針對(duì)用戶的項(xiàng)目相關(guān)信息進(jìn)行管理。在項(xiàng)目管理模塊中，??使用本系統(tǒng)的數(shù)據(jù)開(kāi)發(fā)人員可以執(zhí)行普通項(xiàng)目管理、Ｇｉｔ項(xiàng)目管理、項(xiàng)目列表相??關(guān)、項(xiàng)目文件維護(hù)、項(xiàng)目傳輸?shù)认嚓P(guān)操作。??項(xiàng)目管理用例圖如圖２－４所示。??Ｘ＂＂＜＜５ｒ＞ｄｕ６ｅ？－??－４—????Ａ．?Ｊ?＜＾ｕｄｅ？?廣??＼?＾?’?項(xiàng)目使用?）??數(shù)斷發(fā)人員???Ｖ?夕??ｒ項(xiàng)＠傳輸）１＾＼?ｙ項(xiàng)目文件刪除１??ｔ?－ｉ?＼??？ｉｎｃｋｉｅ＞＾＇，?ｓ〇％ｔ?ｓ＜ｒ??＾?、、％?１?？目文麟增）??￣??ｋ瑣巨文件上傳ｊ?Ｌ文件打包下載」??圖２－４項(xiàng)目管理用例圖??１．普通項(xiàng)目管理。數(shù)據(jù)開(kāi)發(fā)使用流程中需要首先創(chuàng)建一個(gè)項(xiàng)目，可創(chuàng)建的項(xiàng)??９??

【參考文獻(xiàn)】：
期刊論文
[1]MySQL得到廣泛使用的原因以及它的嵌入應(yīng)用[J]. 鄭智方,魏愷樂(lè),李彬,謝易壯.  科技風(fēng). 2020(05)
[2]大數(shù)據(jù)實(shí)時(shí)交互式分析[J]. 袁喆,文繼榮,魏哲巍,劉家俊,姚斌,鄭凱.  軟件學(xué)報(bào). 2020(01)
[3]基于Hive的高可用雙引擎數(shù)據(jù)倉(cāng)庫(kù)[J]. 李翀,張彤彤,杜偉靜,劉學(xué)敏.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2019(09)
[4]大數(shù)據(jù)的發(fā)展及數(shù)據(jù)倉(cāng)庫(kù)的融合應(yīng)用[J]. 楊磊.  數(shù)字技術(shù)與應(yīng)用. 2019(06)
[5]大數(shù)據(jù)技術(shù)在精準(zhǔn)營(yíng)銷中的應(yīng)用[J]. 張黎平.  電子技術(shù)與軟件工程. 2019(09)
[6]大數(shù)據(jù)在企業(yè)中的應(yīng)用[J]. 劉德松.  電子技術(shù)與軟件工程. 2019(07)
[7]Hadoop變局[J]. 李昊原.  IT經(jīng)理世界. 2018(23)
[8]大數(shù)據(jù)在企業(yè)營(yíng)銷管理中的應(yīng)用分析[J]. 唐曉燕.  現(xiàn)代國(guó)企研究. 2018(20)
[9]大數(shù)據(jù)的商業(yè)應(yīng)用及問(wèn)題探究[J]. 郭堯元.  智庫(kù)時(shí)代. 2018(35)
[10]基于阿里云大數(shù)據(jù)平臺(tái)的“數(shù)據(jù)挖掘”課程實(shí)驗(yàn)教學(xué)方法探討[J]. 王振武.  實(shí)驗(yàn)室研究與探索. 2018(06)

碩士論文
[1]基于Hadoop的離線數(shù)據(jù)分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 朱雪.河北工程大學(xué) 2018
[2]基于Hive on Spark的列式存儲(chǔ)性能分析和優(yōu)化研究[D]. 聶偉.華中科技大學(xué) 2017
[3]基于hadoop的web管理系統(tǒng)[D]. 金鳳.北京郵電大學(xué) 2015



本文編號(hào)：3255074