本文關(guān)鍵詞：MapReduce設(shè)計(jì)模式，由筆耕文化傳播整理發(fā)布。

MapReduce設(shè)計(jì)模式 特色及評(píng)論

mapreduce作為一種分布式海量數(shù)據(jù)處理的編程框架，已經(jīng)得到業(yè)界的廣泛關(guān)注。隨著hadoop的普及，mapreduce目前已經(jīng)成為海量數(shù)據(jù)處理的*基礎(chǔ)但也是*重要的方法之一。 　　《mapreduce設(shè)計(jì)模式》是一本關(guān)于設(shè)計(jì)模式的書(shū)，為讀者提供解決問(wèn)題的模板或通用指南。書(shū)中主要介紹編程模式，即如何利用mapreduce框架解決一類問(wèn)題，重在提供解決問(wèn)題的方法和思路。作者花大量篇幅介紹各種模式的原理及實(shí)現(xiàn)機(jī)制，并給出相應(yīng)的應(yīng)用實(shí)例，讓讀者對(duì)每種模式能有更直觀的理解。 　　由于本書(shū)不會(huì)過(guò)多涉及底層框架及mapreduce api，所以希望讀者閱讀《mapreduce設(shè)計(jì)模式》之前，能夠?qū)adoop系統(tǒng)有所了解，知道如何編寫mapreduce程序，并了解mapreduce程序框架的工作原理�！�MapReduce設(shè)計(jì)模式》面向中高級(jí)mapreduce開(kāi)發(fā)者，涵蓋了絕大部分mapreduce編程可能面對(duì)的場(chǎng)景，相信初學(xué)者和專家同樣可以在本書(shū)中得到一些啟示。

MapReduce設(shè)計(jì)模式 內(nèi)容簡(jiǎn)介

到目前為止，基于mapreduce框架的設(shè)計(jì)模式散見(jiàn)于各種研究論文、博客和書(shū)籍中。這本書(shū)將各種有價(jià)值的MapReduce設(shè)計(jì)模式匯集在一起，形成一本獨(dú)特的合集，可以幫讀者節(jié)省大量的時(shí)間和精力，無(wú)論讀者身處哪個(gè)領(lǐng)域，使用哪種編程語(yǔ)言，使用什么開(kāi)發(fā)框架。

書(shū)中對(duì)每一種模式都會(huì)詳細(xì)解釋其使用的上下文、可能存在的陷阱及使用的注意事項(xiàng)，以幫助讀者在對(duì)大數(shù)據(jù)問(wèn)題架構(gòu)建模時(shí)避免常見(jiàn)的設(shè)計(jì)錯(cuò)誤。本書(shū)還提供了mapreduce的一個(gè)完整綜述，解釋其起源和實(shí)現(xiàn)，并說(shuō)明設(shè)計(jì)模式如此重要的原因。書(shū)中的所有示例代碼都是基于hadoop平臺(tái)編寫的。

MapReduce設(shè)計(jì)模式 本書(shū)目錄

目　錄



第1章　設(shè)計(jì)模式與mapreduce　1

1.1　設(shè)計(jì)模式　2

1.2　mapreduce簡(jiǎn)史　3

1.3　mapreduce和hadoop簡(jiǎn)介　4

1.4　hadoop示例：?jiǎn)卧~計(jì)數(shù)　6

1.5　pig和hive　10



第2章　概要模式　12

2.1　數(shù)值概要　12

2.1.1　模式描述　12

2.1.2　數(shù)值概要示例　16

2.2　倒排索引概要　30

2.2.1　模式描述　30

2.2.2　倒排索引示例　32

2.3　計(jì)數(shù)器計(jì)數(shù)　34

2.3.1　模式描述　34

2.3.2　計(jì)數(shù)器計(jì)數(shù)示例　36



第3章　過(guò)濾模式　39

3.1　過(guò)濾　40

3.1.1　模式描述　40

3.1.2　過(guò)濾示例　43

3.2　布隆過(guò)濾　45

3.2.1　模式描述　45

3.2.2　布隆過(guò)濾器示例　48

3.3　top 10　53

3.3.1　模式描述　53

3.3.2　top 10示例　58

3.4　去重　60

3.4.1　模式描述　60

3.4.2　去重示例　63



第4章　數(shù)據(jù)組織模式　65

4.1　分層結(jié)構(gòu)　65

4.1.1　模式描述　65

4.1.2　分層結(jié)構(gòu)示例　69

4.2　分區(qū)　76

4.2.1　模式描述　76

4.2.2　分區(qū)示例　79

4.3　分箱　81

4.3.1　模式描述　81

4.3.2　分箱示例　83

4.4　全排序　85

4.4.1　模式描述　85

4.4.2　全排序示例　88

4.5　混排　92

4.5.1　模式描述　92

4.5.2　混排示例　93



第5章　連接模式　96

5.1　連接簡(jiǎn)介　97

5.2　reduce端連接　102

5.2.1　模式描述　102

5.2.2　reduce端連接示例　104

5.2.3　使用布隆過(guò)濾器的reduce端連接　110

5.3　復(fù)制連接　112

5.3.1　模式描述　112

5.3.2　復(fù)制連接示例　114

5.4　組合連接　116

5.4.1　模式描述　116

5.4.2　組合連接示例　119

5.5　笛卡兒積　121

5.5.1　模式描述　121

5.5.2　笛卡兒積示例　124



第6章　元模式　131

6.1　作業(yè)鏈　131

6.1.1　關(guān)于驅(qū)動(dòng)程序　132

6.1.2　作業(yè)鏈?zhǔn)纠?33

6.1.3　關(guān)于shell腳本　142

6.1.4　關(guān)于jobcontrol　145

6.2　鏈折疊　149

6.2.1　chainmapper方法和chainreducer方法　153

6.2.2　鏈折疊示例　153

6.3　作業(yè)歸并　158

作業(yè)歸并示例　160



第7章　輸入和輸出模式　166

7.1　在hadoop中自定義輸入和輸出　166

7.1.1　inputformat　167

7.1.2　recordreader　168

7.1.3　outputformat　169

7.1.4　recordwriter　170

7.2　生成數(shù)據(jù)　170

7.2.1　模式描述　170

7.2.2　生成數(shù)據(jù)示例　172

7.3　外部源輸出　177

7.3.1　模式描述　177

7.3.2　外部源輸出示例　179

7.4　外部源輸入　183

7.4.1　模型描述　183

7.4.2　外部源輸入示例　185

7.5　分區(qū)裁剪　190

7.5.1　模式描述　190

7.5.2　分區(qū)裁剪示例　192



第8章　*后的思考與設(shè)計(jì)模式的未來(lái)　203

8.1　數(shù)據(jù)的本質(zhì)趨勢(shì)　203

8.1.1　圖像、音頻和視頻　203

8.1.2　流式數(shù)據(jù)　204

8.2　yarn的影響　204

8.3　作為庫(kù)或者組件的模式　205

8.4　讀者可以幫到什么　205



附錄　布隆過(guò)濾器　207

MapReduce設(shè)計(jì)模式 相關(guān)資料

“雖然mapreduce編程模型看似簡(jiǎn)單，但用來(lái)高效地解決實(shí)際問(wèn)題還需要不同的思維方式。本書(shū)清晰地傳達(dá)了只有經(jīng)過(guò)多年實(shí)踐積累才能獲得的相關(guān)經(jīng)驗(yàn)�！�
——tom white，cloudera公司技術(shù)布道師，《hadoop權(quán)威指南》作者

“真希望在我的職業(yè)生涯中早一些擁有這本書(shū)。解決我在mapreduce開(kāi)發(fā)中遇到的幾乎所有問(wèn)題，都要用到這本書(shū)中的設(shè)計(jì)模式�！�
——lance byrd，hadoop mapreduce及分布式計(jì)算技術(shù)顧問(wèn)及導(dǎo)師

MapReduce設(shè)計(jì)模式 作者介紹

Donald Miner目前是EMC Greenplum的解決方案架構(gòu)師，為實(shí)現(xiàn)與使用基于Greenplum的大數(shù)據(jù)系統(tǒng)的用戶提供咨詢和幫助。在加入Greenplum之前，Miner博士作為承包商為美國(guó)政府部署和構(gòu)建了多個(gè)規(guī)模巨大且涉及關(guān)鍵任務(wù)的Hadoop集群。他還參與了教學(xué)，在馬里蘭大學(xué)巴爾的摩分校（UMBC）講授Hadoop方面的業(yè)界前沿相關(guān)的課程以及各種人工智能課程。Miner博士在UMBC獲得了計(jì)算機(jī)科學(xué)的博士學(xué)位，讀博士期間他的研究主題為機(jī)器學(xué)習(xí)，博士論文的主題是多智能體系統(tǒng)。 Adam Shook是ClearEdge IT Solutions公司的軟件工程師，，從事一些大數(shù)據(jù)技術(shù)工作，如Hadoop、Accumulo、Pig以及ZooKeeper。Shook在馬里蘭大學(xué)巴爾的摩分校（UMBC）獲得了計(jì)算機(jī)科學(xué)的學(xué)士學(xué)位，并得到了一份為游戲工作室構(gòu)建一個(gè)全新的高性能圖像引擎的工作。為了尋求新的挑戰(zhàn)，他在UMBC就讀研究生，主要專注的研究方向是分布式計(jì)算的相關(guān)技術(shù)。他很快找到了一份開(kāi)發(fā)工作，作為美國(guó)政府承包商，從事大規(guī)模的Hadoop部署。Shook參與了Hadoop和Pig的開(kāi)發(fā)及培訓(xùn)課程的指導(dǎo)。在繁忙工作的間隙他喜歡參與相關(guān)項(xiàng)目，玩視頻游戲。

淘書(shū)團(tuán)

“名家名譯：高植譯托爾斯泰”全8冊(cè), 包括《戰(zhàn)爭(zhēng)與和平》《復(fù)活》《安娜.卡列尼娜》《...

￥88

《伊索克拉底卷：古希臘演說(shuō)辭全集》仿皮面壓花精裝，知名裝幀設(shè)計(jì)師未氓設(shè)計(jì)。收錄古...

￥59.9

《世界神話畫(huà)庫(kù)》全10冊(cè)，兒童文學(xué)泰斗嚴(yán)文井主編，盧洪剛、孫民增等畫(huà)家親筆繪制3000...

￥45

  本文關(guān)鍵詞：MapReduce設(shè)計(jì)模式，由筆耕文化傳播整理發(fā)布。