本文關鍵詞：Hadoop實戰(zhàn)，由筆耕文化傳播整理發(fā)布。

《Hadoop實戰(zhàn)（第2版）》能滿足讀者全面學習最新的Hadoop技術及其相關技術（Hive、HBase等）的需求，是一本系統(tǒng)且極具實踐指導意義的Hadoop工具書和參考書。第1版上市后廣受好評，被譽為學習Hadoop技術的經典著作之一。與第1版相比，第2版技術更新穎，所有技術都針對最新版進行了更新；內容更全面，幾乎每一個章節(jié)都增加了新內容，，而且增加了新的章節(jié)；實戰(zhàn)性更強，案例更豐富；細節(jié)更完美，對第1版中存在的缺陷和不足進行了修正。

本書內容全面，對Hadoop整個技術體系進行了全面的講解，不僅包括HDFS、MapReduce、YARN等核心內容，而且還包括Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等與Hadoop技術相關的重要內容。實戰(zhàn)性強，不僅為各個知識點精心設計了大量經典的小案例，而且還包括Yahoo！等多個大公司的企業(yè)級案例，可操作系極強。

     

《Hadoop實戰(zhàn)（第2版）》全書一共19章：第1~2章首先對Hadoop進行了全方位的宏觀介紹，然后介紹了Hadoop在三大主流操作系統(tǒng) 平臺

上的安裝與配置方法；第3~6章分別詳細講解了MapReduce計算模型、MapReduce的工作機制、MapReduce應用的開發(fā)方法，以及多個精巧的MapReduce應用案例；第7章全面講解了Hadoop的I/O操作；第8章對YARN進行了介紹；第9章對HDFS進行了詳細講解和分析；第10章細致地講解了Hadoop的管理；第11~17章對Hadoop大生態(tài)系統(tǒng)中的Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等技術進行了詳細的講解；第18章講解了Hadoop的各種常用插件，以及Hadoop插件的開發(fā)方法；第19章分析了Hadoop在Yahoo！、eBay、百度、Facebook等企業(yè)中的應用案例。

前 言

第1章 Hadoop簡介

1.1 什么是Hadoop

1.1.1 Hadoop概述

1.1.2 Hadoop的歷史

1.1.3 Hadoop的功能與作用

1.1.4 Hadoop的優(yōu)勢

1.1.5 Hadoop應用現狀和發(fā)展趨勢

1.2 Hadoop項目及其結構

1.3 Hadoop體系結構

1.4 Hadoop與分布式開發(fā)

1.5 Hadoop計算模型—MapReduce

1.6 Hadoop數據管理

1.6.1 HDFS的數據管理

1.6.2 HBase的數據管理

1.6.3 Hive的數據管理

1.7 Hadoop集群安全策略

1.8 本章小結

第2章 Hadoop的安裝與配置

2.1 在Linux上安裝與配置Hadoop

2.1.1 安裝JDK 1.6

2.1.2 配置SSH免密碼登錄

2.1.3 安裝并運行Hadoop

2.2 在Mac OSX上安裝與配置Hadoop

2.2.1 安裝Homebrew

2.2.2 使用Homebrew安裝Hadoop

2.2.3 配置SSH和使用Hadoop

2.3 在Windows上安裝與配置Hadoop

2.3.1 安裝JDK 1.6或更高版本

2.3.2 安裝Cygwin

2.3.3 配置環(huán)境變量

2.3.4 安裝sshd服務

2.3.5 啟動sshd服務

2.3.6 配置SSH免密碼登錄

2.3.7 安裝并運行Hadoop

2.4 安裝和配置Hadoop集群

2.4.1 網絡拓撲

2.4.2 定義集群拓撲

2.4.3 建立和安裝Cluster

2.5 日志分析及幾個小技巧

2.6 本章小結

第3章 MapReduce計算模型

3.1 為什么要用MapReduce

3.2 MapReduce計算模型

3.2.1 MapReduce Job

3.2.2 Hadoop中的Hello World程序

3.2.3 MapReduce的數據流和控制流

3.3 MapReduce任務的優(yōu)化

3.4 Hadoop流

3.4.1 Hadoop流的工作原理

3.4.2 Hadoop流的命令

3.4.3 兩個例子

3.5 Hadoop Pipes

3.6 本章小結

第4章 開發(fā)MapReduce應用程序

4.1 系統(tǒng)參數的配置

4.2 配置開發(fā)環(huán)境

4.3 編寫MapReduce程序

4.3.1 Map處理

4.3.2 Reduce處理

4.4 本地測試

4.5 運行MapReduce程序

4.5.1 打包

4.5.2 在本地模式下運行

4.5.3 在集群上運行

4.6 網絡用戶界面

4.6.1 JobTracker頁面

4.6.2 工作頁面

4.6.3 返回結果

4.6.4 任務頁面

4.6.5 任務細節(jié)頁面

4.7 性能調優(yōu)

4.7.1 輸入采用大文件

4.7.2 壓縮文件

4.7.3 過濾數據

4.7.4 修改作業(yè)屬性

4.8 MapReduce工作流

4.8.1 復雜的Map和Reduce函數

4.8.2 MapReduce Job中全局共享數據

4.8.3 鏈接MapReduce Job

4.9 本章小結

第5章 MapReduce應用案例

5.1 單詞計數

5.1.1 實例描述

5.1.2 設計思路

5.1.3 程序代碼

5.1.4 代碼解讀

5.1.5 程序執(zhí)行

5.1.6 代碼結果

5.1.7 代碼數據流

5.2 數據去重

5.2.1 實例描述

5.2.2 設計思路

5.2.3 程序代碼

5.3 排序

5.3.1 實例描述

5.3.2 設計思路

5.3.3 程序代碼

5.4 單表關聯

5.4.1 實例描述

5.4.2 設計思路

5.4.3 程序代碼

5.5 多表關聯

5.5.1 實例描述

5.5.2 設計思路

5.5.3 程序代碼

5.6 本章小結

第6章 MapReduce工作機制

6.1 MapReduce作業(yè)的執(zhí)行流程

6.1.1 MapReduce任務執(zhí)行總流程

6.1.2 提交作業(yè)

6.1.3 初始化作業(yè)

6.1.4 分配任務

6.1.5 執(zhí)行任務

6.1.6 更新任務執(zhí)行進度和狀態(tài)

6.1.7 完成作業(yè)

6.2 錯誤處理機制

6.2.1 硬件故障

6.2.2 任務失敗

6.3 作業(yè)調度機制

6.4 Shuffle和排序

6.4.1 Map端

6.4.2 Reduce端

6.4.3 shuffle過程的優(yōu)化

6.5 任務執(zhí)行

6.5.1 推測式執(zhí)行

6.5.2 任務JVM重用

6.5.3 跳過壞記錄

6.5.4 任務執(zhí)行環(huán)境

6.6 本章小結

第7章 Hadoop IO操作

7.1 IO操作中的數據檢查

7.2 數據的壓縮

7.2.1 Hadoop對壓縮工具的選擇

7.2.2 壓縮分割和輸入分割

7.2.3 在MapReduce程序中使用壓縮

7.3 數據的IO中序列化操作

7.3.1 Writable類

7.3.2 實現自己的Hadoop數據類型

7.4 針對Mapreduce的文件類

7.4.1 SequenceFile類

7.4.2 MapFile類

7.4.3 ArrayFile、SetFile和BloomMapFile

7.5 本章小結

第8章 下一代MapReduce：YARN

8.1 MapReduce V2設計需求

8.2 MapReduce V2主要思想和架構

8.3 MapReduce V2設計細節(jié)

8.4 MapReduce V2優(yōu)勢

8.5 本章小結

第9章 HDFS詳解

9.1 Hadoop的文件系統(tǒng)

9.2 HDFS簡介

9.3 HDFS體系結構

9.3.1 HDFS的相關概念

9.3.2 HDFS的體系結構

9.4 HDFS的基本操作

9.4.1 HDFS的命令行操作

9.4.2 HDFS的Web界面

9.5 HDFS常用Java API詳解

9.5.1 使用Hadoop URL讀取數據

9.5.2 使用FileSystem API讀取數據

9.5.3 創(chuàng)建目錄

9.5.4 寫數據

9.5.5 刪除數據

9.5.6 文件系統(tǒng)查詢

9.6 HDFS中的讀寫數據流

9.6.1 文件的讀取

9.6.2 文件的寫入

9.6.3 一致性模型

9.7 HDFS命令詳解

9.7.1 通過distcp進行并行復制

9.7.2 HDFS的平衡

9.7.3 使用Hadoop歸檔文件

9.7.4 其他命令

9.8 WebHDFS

9.8.1 WebHDFS的配置

9.8.2 WebHDFS命令

9.9 本章小結

第10章 Hadoop的管理

10.1 HDFS文件結構

10.2 Hadoop的狀態(tài)監(jiān)視和管理工具

10.2.1 審計日志

10.2.2 監(jiān)控日志

10.2.3 Metrics

10.2.4 Java管理擴展

10.2.5 Ganglia

10.2.6 Hadoop管理命令

10.3 Hadoop集群的維護

10.3.1 安全模式

10.3.2 Hadoop的備份

10.3.3 Hadoop的節(jié)點管理

10.3.4 系統(tǒng)升級

10.4 本章小結

第11章 Hive詳解

11.1 Hive簡介

11.1.1 Hive的數據存儲

11.1.2 Hive的元數據存儲

11.2 Hive的基本操作

11.2.1 在集群上安裝Hive

11.2.2 配置MySQL存儲Hive元數據

11.2.3 配置Hive

11.3 Hive QL詳解

11.3.1 數據定義（DDL）操作

11.3.2 數據操作（DML）

11.3.3 SQL操作

11.3.4 Hive QL使用實例

11.4 Hive網絡（Web UI）接口

11.4.1 Hive網絡接口配置

11.4.2 Hive網絡接口操作實例

11.5 Hive的JDBC接口

11.5.1 Eclipse環(huán)境配置

11.5.2 程序實例

11.6 Hive的優(yōu)化

11.7 本章小結

第12章 HBase詳解

12.1 HBase簡介

12.2 HBase的基本操作

12.2.1 HBase的安裝

12.2.2 運行HBase

12.2.3 HBase Shell

12.2.4 HBase配置

12.3 HBase體系結構

12.3.1 HRegion

12.3.2 HRegion服務器

12.3.3 HBase Master服務器

12.3.4 ROOT表和META表

12.3.5 ZooKeeper

12.4 HBase數據模型

12.4.1 數據模型

12.4.2 概念視圖

12.4.3 物理視圖

12.5 HBase與RDBMS

12.6 HBase與HDFS

12.7 HBase客戶端

12.8 Java API

12.9 HBase編程

12.9.1 使用Eclipse開發(fā)HBase應用程序

12.9.2 HBase編程

12.9.3 HBase與MapReduce

12.10 模式設計

12.10.1 模式設計應遵循的原則

12.10.2 學生表

12.10.3 事件表

12.11 本章小結

第13章 Mahout詳解

13.1 Mahout簡介

13.2 Mahout的安裝和配置

13.3 Mahout API簡介

13.4 Mahout中的頻繁模式挖掘

13.4.1 什么是頻繁模式挖掘

13.4.2 Mahout中的頻繁模式挖掘

13.5 Mahout中的聚類和分類

13.5.1 什么是聚類和分類

13.5.2 Mahout中的數據表示

13.5.3 將文本轉化成向量

13.5.4 Mahout中的聚類、分類算法

13.5.5 算法應用實例

13.6 Mahout應用：建立一個推薦引擎

13.6.1 推薦引擎簡介

13.6.2 使用Taste構建一個簡單的推薦引擎

13.6.3 簡單分布式系統(tǒng)下基于產品的推薦系統(tǒng)簡介

13.7 本章小結

第14章 Pig詳解

14.1 Pig簡介

14.2 Pig的安裝和配置

14.2.1 Pig的安裝條件

14.2.2 Pig的下載、安裝和配置

14.2.3 Pig運行模式

14.3 Pig Latin語言

14.3.1 Pig Latin語言簡介

14.3.2 Pig Latin的使用

14.3.3 Pig Latin的數據類型

14.3.4 Pig Latin關鍵字

14.4 用戶定義函數

14.4.1 編寫用戶定義函數

14.4.2 使用用戶定義函數

14.5 Zebra簡介

14.5.1 Zebra的安裝

14.5.2 Zebra的使用簡介

14.6 Pig實例

14.6.1 Local模式

14.6.2 MapReduce模式

14.7 Pig進階

14.7.1 數據實例

14.7.2 Pig數據分析

14.8 本章小結

第15章 ZooKeeper詳解

15.1 ZooKeeper簡介

15.1.1 ZooKeeper的設計目標

15.1.2 數據模型和層次命名空間

15.1.3 ZooKeeper中的節(jié)點和臨時節(jié)點

15.1.4 ZooKeeper的應用

15.2 ZooKeeper的安裝和配置

15.2.1 安裝ZooKeeper

15.2.2 配置ZooKeeper

15.2.3 運行ZooKeeper

15.3 ZooKeeper的簡單操作

15.3.1 使用ZooKeeper命令的簡單操作步驟

15.3.2 ZooKeeper API的簡單使用

15.4 ZooKeeper的特性

15.4.1 ZooKeeper的數據模型

15.4.2 ZooKeeper會話及狀態(tài)

15.4.3 ZooKeeper watches

15.4.4 ZooKeeper ACL

15.4.5 ZooKeeper的一致性保證

15.5 使用ZooKeeper進行Leader選舉

15.6 ZooKeeper鎖服務

15.6.1 ZooKeeper中的鎖機制

15.6.2 ZooKeeper提供的一個寫鎖的實現

15.7 使用ZooKeeper創(chuàng)建應用程序

15.7.1 使用Eclipse開發(fā)ZooKeeper應用程序

15.7.2 應用程序實例

15.8 BooKeeper

15.9 本章小結

第16章 Avro詳解

第17章 Chukwa詳解

第18章 Hadoop的常用插件與開發(fā)

第19章 企業(yè)應用實例

……

本章參考資料

附錄A 云計算

在線檢測平臺

附錄B Hadoop安裝、運行與使用說明

附錄C 使用DistributedCache的MapReduce程序

附錄D 使用ChainMapper和ChainReducer的MapReduce程序

  本文關鍵詞：Hadoop實戰(zhàn)，由筆耕文化傳播整理發(fā)布。

本文編號：326636