典型大數據計算框架分析
發(fā)布時間:2018-06-27 06:52
本文選題:大數據分類 + 大數據計算; 參考:《中興通訊技術》2016年02期
【摘要】:認為大數據計算技術已逐漸形成了批量計算和流計算兩個技術發(fā)展方向。批量計算技術主要針對靜態(tài)數據的離線計算,吞吐量好,但是不能保證實時性;流計算技術主要針對動態(tài)數據的在線實時計算,時效性好,但是難以獲取數據全貌。從可擴展性、容錯性、任務調度、資源利用率、時效性、輸入輸出(IO)等方面對現(xiàn)有的主流大數據計算框架進行了分析與總結,指出了未來的發(fā)展方向和研究熱點。
[Abstract]:It is considered that big data computing technology has gradually formed two developing directions: batch computing and stream computing. Batch computing technology is mainly aimed at off-line calculation of static data, good throughput, but can not guarantee real-time; Stream computing technology is mainly aimed at on-line real-time computing of dynamic data, which has good timeliness, but it is difficult to obtain the full picture of data. This paper analyzes and summarizes the existing mainstream big data computing framework from the aspects of extensibility, fault tolerance, task scheduling, resource utilization, timeliness, input and output (IO), and points out the future development direction and research focus.
【作者單位】: 清華大學計算機科學與技術系;
【基金】:國家高技術研究發(fā)展(“863”)計劃(2013AA01A213) 國家自然科學基金(61572280、61433008、U1435216、61373145)
【分類號】:TP311.13
【相似文獻】
相關期刊論文 前4條
1 彭小波;馮平;;基于MAS的CWE計算框架關鍵技術研究[J];計算機工程與應用;2007年19期
2 彭小波;馮平;王玨;;基于MAS的CWE計算框架的設計與實現(xiàn)[J];微計算機信息;2007年10期
3 徐睿峰;鄒承天;鄭燕珍;徐軍;桂林;劉濱;王曉龍;;一種基于情緒表達與情緒認知分離的新型情緒詞典[J];中文信息學報;2013年06期
4 ;[J];;年期
相關碩士學位論文 前2條
1 羅云深;森林植被仿真Agent計算框架的研究與實現(xiàn)[D];北京林業(yè)大學;2008年
2 劉效華;InfoSphere StreamS中圖處理中間件的設計與實現(xiàn)[D];華中科技大學;2012年
,本文編號:2073061
本文鏈接:http://www.sikaile.net/kejilunwen/ruanjiangongchenglunwen/2073061.html
最近更新
教材專著