發(fā)布時間：2018-12-12 12:21

【摘要】：近幾年來,大數(shù)據(jù)的浪潮席卷全球,這給信息科學帶來了新的挑戰(zhàn)和機遇.傳統(tǒng)的工具逐漸難以滿足目前企業(yè)的需求,如何有效地存儲與分析大規(guī)模的數(shù)據(jù),是當今研究的熱點與重點.首先闡述大數(shù)據(jù)的基本概念、4V特征,介紹了大數(shù)據(jù)的生命周期,并列舉了幾種數(shù)據(jù)處理模式與數(shù)據(jù)結構.文中歸納總結了目前針對大數(shù)據(jù)分析的硬件支持,介紹了幾種典型的大數(shù)據(jù)分析的系統(tǒng)技術,例如Hadoop、Spark、Storm、Petuum等,并對這些典型的系統(tǒng)技術進行了對比分析.最后簡述了大數(shù)據(jù)分析在政府、教育、交通、醫(yī)療中的典型應用.
[Abstract]:In recent years, big data's wave swept the world, which brought new challenges and opportunities to information science. Traditional tools are gradually difficult to meet the needs of enterprises. How to store and analyze large scale data effectively is the focus and focus of current research. Firstly, the basic concept of big data, the 4V characteristic, the life cycle of big data are introduced, and several data processing modes and data structures are listed. In this paper, the hardware support for big data analysis is summarized, and several typical system techniques of big data analysis, such as Hadoop,Spark,Storm,Petuum, are introduced, and these typical system techniques are compared and analyzed. At last, the typical application of big data analysis in government, education, transportation and medical treatment is briefly described.
【作者單位】： 華東師范大學計算機科學技術系;
【基金】：國家自然科學基金項目(61370175)資助 上海高校知識服務平臺基金項目(ZF1213)資助
【分類號】：TP311.13

【相似文獻】

相關期刊論文 前10條

1 張文霖;;數(shù)據(jù)分析初體驗[J];數(shù)據(jù);2013年05期

2 古福;;讓大數(shù)據(jù)分析更快速、更簡化[J];互聯(lián)網(wǎng)周刊;2013年11期

3 于宗民;;數(shù)據(jù)分析應用的最大障礙[J];中國金融電腦;2007年08期

4 魏巍巍;;論數(shù)據(jù)分析在企業(yè)經(jīng)營管理中的重要性[J];產業(yè)與科技論壇;2012年12期

5 張文霖;;數(shù)據(jù)分析六步曲[J];數(shù)據(jù);2013年06期

6 戴未琰;;大數(shù)據(jù)分析概要[J];物聯(lián)網(wǎng)技術;2013年08期

7 王海蘊;;大數(shù)據(jù)分析 市場成倍增長 深耕空間巨大[J];財經(jīng)界;2013年10期

8 ;大數(shù)據(jù)分析系列3:大數(shù)據(jù)分析如何權衡存儲[J];電腦與電信;2013年10期

9 馬_";;對大數(shù)據(jù)分析相關問題的思考[J];信息通信技術;2013年06期

10 ;數(shù)據(jù)分析3.0[J];董事會;2014年01期

相關會議論文 前10條

1 申敏;;數(shù)據(jù)分析的原則和一般方法[A];2010年云南電力技術論壇論文集（文摘部分）[C];2010年

2 劉剛;;小學生數(shù)據(jù)分析觀念的培養(yǎng)[A];中華教育理論與實踐科研論文成果選編(第五卷)[C];2013年

3 石勇;;在銀行和金融數(shù)據(jù)分析中的評分方法[A];Data Analysis, Econo-physics and Risk Management--Proceedings of CCAST (World Laboratory) Workshop[C];2001年

4 吳一平;;基于數(shù)據(jù)分析的離校工作改進[A];中國高等教育學會教育信息化分會第十二次學術年會論文集[C];2014年

5 呂大青;;送變電施工企業(yè)中數(shù)據(jù)分析的運用[A];第二屆浙江中西部科技論壇論文集（第一卷）[C];2005年

6 李小花;李姝;;大數(shù)據(jù)分析在指揮信息系統(tǒng)中的應用[A];2014第二屆中國指揮控制大會論文集（下）[C];2014年

7 范麗偉;唐煥文;唐一源;;空間獨立成分分析在fMRⅠ數(shù)據(jù)分析中的應用[A];第九次全國生物物理大會學術會議論文摘要集[C];2002年

8 張軍;李婕;;中國國民休閑狀態(tài)變化研究——基于網(wǎng)上數(shù)據(jù)分析[A];第十五屆全國區(qū)域旅游學術開發(fā)研討會暨度假旅游論壇論文冊[C];2010年

9 徐小龍;王汝傳;姜波;;一種新的基于P2P的電信海量數(shù)據(jù)分析業(yè)務模式[A];普適計算及其軟件新技術——第三屆長三角計算機科技論壇文集[C];2006年

10 邵東華;;高速公路的平面控制復測與數(shù)據(jù)分析[A];第四屆“測繪科學前沿技術論壇”論文精選[C];2012年

相關重要報紙文章 前10條

1 匿銘;數(shù)據(jù)分析的“磨刀階段”[N];中華讀書報;2013年

2 胡英;澳發(fā)布政府可信數(shù)據(jù)分析指導草案[N];人民郵電;2014年

3 鄭愛民;陜西加強消費維權數(shù)據(jù)分析利用[N];中國工商報;2014年

4 本報駐美國記者 吳成良;“數(shù)據(jù)分析”成了“金飯碗”[N];人民日報;2014年

5 本報記者 楊群;大數(shù)據(jù)分析亮出專家的“自貿研判”[N];解放日報;2014年

6 周桂生　湯建國;數(shù)據(jù)分析行業(yè)登陸湖南,帶來巨大商機[N];中國企業(yè)報;2008年

7 朱文明 甫瀚公司咨詢專家;數(shù)據(jù)分析提升決策智慧[N];中國審計報;2009年

8 ;國采中心空調協(xié)議供貨數(shù)據(jù)分析[N];政府采購信息報;2010年

9 武虹 審計署駐沈陽特派辦;以數(shù)據(jù)分析為統(tǒng)領開展數(shù)字化審計工作[N];中國審計報;2012年

10 杰弗尼;行走在大數(shù)據(jù)分析誤區(qū)旁的零售商[N];中國商報;2013年

相關博士學位論文 前6條

1 劉岳;區(qū)域地球化學數(shù)據(jù)分析及成礦信息融合模型研究[D];中國地質大學;2015年

2 董媛香;基于軟集合的不完備不一致數(shù)據(jù)分析及決策方法研究[D];重慶大學;2014年

3 張睿;數(shù)據(jù)分析在污染控制領域的節(jié)能優(yōu)化應用[D];中國科學技術大學;2014年

4 陳宜治;函數(shù)型數(shù)據(jù)分析若干方法及應用[D];浙江工商大學;2011年

5 郭廣報;基于并行統(tǒng)計計算的金融數(shù)據(jù)分析[D];山東大學;2012年

6 孫建強;生物磁共振數(shù)據(jù)分析中的幾個問題[D];中國科學院研究生院（武漢物理與數(shù)學研究所）;2014年

相關碩士學位論文 前10條

1 丁國輝;核磁共振數(shù)據(jù)分析中的兩個問題[D];中國科學院研究生院(武漢物理與數(shù)學研究所);2015年

2 張清;面向精準廣告投放的數(shù)據(jù)分析與可視化系統(tǒng)設計與實現(xiàn)[D];山東大學;2015年

3 周徐;基于分層采樣的DeepWeb數(shù)據(jù)分析方法研究[D];蘇州大學;2015年

4 王佳琦;糾正性反饋對高中生英語冠詞習得的影響[D];內蒙古師范大學;2015年

5 顧星竹;基于Hadoop的PCF系統(tǒng)的設計與實現(xiàn)[D];南京大學;2014年

6 張海洋;大數(shù)據(jù)的統(tǒng)計分析技術比較研究[D];南京大學;2014年

7 扎娟娟;銀保通管理系統(tǒng)的構建與實施[D];電子科技大學;2014年

8 關晨靜;高中生英語跨文化交際能力的調查研究[D];江西師范大學;2015年

9 艾熙;銀行客戶關系管理系統(tǒng)的研究與分析[D];云南大學;2015年

10 陳慶來;初中生數(shù)據(jù)分析觀念的培養(yǎng)策略研究[D];江蘇師范大學;2014年

，

本文編號：2374541