當(dāng)前已是大數(shù)據(jù)時(shí)代。隨著電子科技的不斷發(fā)展革新,各種數(shù)字設(shè)備層出不窮,極大的提高了人類的生產(chǎn)能力、生活質(zhì)量。同時(shí),在生產(chǎn)、生活過(guò)程中,人類把現(xiàn)實(shí)世界數(shù)據(jù)化、產(chǎn)生數(shù)據(jù)的能力也爆炸式提高。面對(duì)前所未有的如此巨大數(shù)據(jù)量,傳統(tǒng)計(jì)算機(jī)器和計(jì)算方法已經(jīng)無(wú)法有效處理或存儲(chǔ)數(shù)據(jù)。于是工業(yè)界想到了整合現(xiàn)有計(jì)算資源、改變數(shù)據(jù)處理方法以期達(dá)到高效處理數(shù)據(jù)的目的。這就是大數(shù)據(jù)處理技術(shù)。谷歌,作為世界最大的搜索引擎公司,始終走在分布式系統(tǒng)和并行計(jì)算的前列,其三大論文奠定了大數(shù)據(jù)處理的基礎(chǔ),從此開啟了大數(shù)據(jù)時(shí)代。目前,大數(shù)據(jù)處理系統(tǒng)分為批處理和實(shí)時(shí)處理系統(tǒng),開源代表分別是Apache Hadoop批處理框架和Apache Storm實(shí)時(shí)計(jì)算框架。Storm作為實(shí)時(shí)處理的典型代表?yè)碛袕V泛的客戶群體。本文總結(jié)大數(shù)據(jù)實(shí)時(shí)處理的各種技術(shù),在總結(jié)其規(guī)律的基礎(chǔ)上,分析設(shè)計(jì)了一套基于計(jì)算拓?fù)洳呗缘姆植际綄?shí)時(shí)計(jì)算框架。這個(gè)框架既具有一般分布式實(shí)時(shí)計(jì)算框架的特點(diǎn)和優(yōu)點(diǎn),又能根據(jù)用戶計(jì)算拓?fù)潇`活搭建計(jì)算環(huán)境,既滿足客戶分布式實(shí)時(shí)計(jì)算多樣性的需求,又提高了客戶開發(fā)、部署新應(yīng)用的效率和可靠性。本論文圍繞靈活搭建計(jì)算拓?fù)錇樽罱K目的,逐步推... 

【文章來(lái)源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：103 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

代碼物理組織結(jié)構(gòu)


本文編號(hào)：3590248