资源名称：Hadoop硬实战 

内容简介：

Hadoop 是一个开源的MapReduce 平台，设计运行在大型分布式集群环境中，为开发者进行数据存储、管理以及分析提供便利的方法。《Hadoop硬实战》详细讲解了Hadoop 和MapReduce 的基本概念，并收集了85 个问题及其解决方案。在关键问题领域对基础概念和实战方法做了权衡。

《Hadoop硬实战》适合使用Hadoop 进行数据存储、管理和分析的技术人员使用。

资源目录：

前言 ...............................................................................................................XV

致谢 ............................................................................................................XVII

关于本书 ..................................................................................................... XIX

第1 部分　背景和基本原理...............................................1

1　跳跃中的Hadoop....................................................................................... 3

1.1　什么是Hadoop ................................................................................................. 4

1.1.1　Hadoop 的核心组件 ............................................................................ 5

1.1.2　Hadoop 生态圈 .................................................................................... 9

1.1.3　物理架构 ............................................................................................ 10

1.1.4　谁在使用Hadoop .............................................................................. 12

1.1.5　Hadoop 的局限性 .............................................................................. 13

1.2　运行Hadoop ................................................................................................... 14

1.2.1　下载并安装Hadoop .......................................................................... 14

1.2.2　Hadoop 的配置 .................................................................................. 15

1.2.3　CLI 基本命令 ..................................................................................... 17

1.2.4　运行MapReduce 作业 ....................................................................... 18

1.3　本章小结 ........................................................................................................ 24

第2 部分　数据逻辑....................................................... 25

2　将数据导入导出Hadoop.........................................................27

2.1　导入导出的关键要素 .................................................................................... 29

2.2　将数据导入Hadoop ....................................................................................... 30

2.2.1　将日志文件导入Hadoop .................................................................. 31

技术点1　使用Flume 将系统日志文件导入HDFS ............................. 33

2.2.2　导入导出半结构化和二进制文件 .................................................... 42

技术点2　自动复制文件到HDFS 的机制 ............................................ 43

技术点3　使用Oozie 定期执行数据导入活动 ..................................... 48

2.2.3　从数据库中拉数据 ............................................................................ 52

技术点4　使用MapReduce 将数据导入数据库 ................................... 53

技术点5　使用Sqoop 从MySQL 导入数据 ......................................... 58

2.2.4　HBase ................................................................................................. 68

技术点6　HBase 导入HDFS ................................................................. 68

技术点7　将HBase 作为MapReduce 的数据源 .................................. 70

2.3　将数据导出Hadoop ....................................................................................... 73

2.3.1　将数据导入本地文件系统 ................................................................ 73

技术点8　自动复制HDFS 中的文件 .................................................... 73

2.3.2　数据库 ................................................................................................ 74

技术点9　使用Sqoop 将数据导入MySQL .......................................... 75

2.3.3　Hbase .................................................................................................. 78

技术点10　将数据从HDFS 导入HBase .............................................. 78

技术点11　使用HBase 作为MapReduce 的数据接收器 .................... 79

2.4　本章小结 ........................................................................................................ 81

3　数据序列化——处理文本文件及其他格式的文件........................83

3.1　了解MapReduce 中的输入和输出 ............................................................... 84

3.1.1　数据输入 ............................................................................................ 85

3.1.2　数据输出 ............................................................................................ 89

3.2　处理常见的序列化格式 ................................................................................ 91

3.2.1　XML ................................................................................................... 91

技术点12　MapReduce 和XML ............................................................ 91

3.2.2　JSON ................................................................................................... 95

技术点13　MapReduce 和JSON ........................................................... 95

3.3　大数据的序列化格式 .................................................................................... 99

3.3.1　比较SequenceFiles、Protocol Buffers、Thrift 和 Avro .................. 99

3.3.2　Sequence File .................................................................................... 101

技术点14　处理SequenceFile .............................................................. 103

3.3.3　Protocol Buffers ................................................................................ 109

技术点15　整合Protocol Buffers 和MapReduce ............................... 110

3.3.4　Thrift ................................................................................................. 117

技术点16　使用Thrift .......................................................................... 117

3.3.5　Avro .................................................................................................. 119

技术点17　MapReduce 的下一代数据序列化技术 ............................ 120

3.4　自定义文件格式 .......................................................................................... 127

3.4.1　输入输出格式 .................................................................................. 127

技术点18　输入和输出格式为CSV 的文件 ...................................... 128

3.4.2　output committing 的重要性 ........................................................... 136

3.5　本章小结 ...................................................................................................... 136

第3 部分　大数据模式..................................................137

.

.

第4 部分 数据科学.......................................................251

.

第5 部分　驯服大象......................................................333

.

附录A　相关技术..................................................................... 443

附录B　Hadoop 内置的数据导入导出工具.................................. 471

附录C　HDFS 解剖................................................................. 486

附录D　优化MapReduce 合并框架............................................ 493

索引.......................................................................................... 503

资源截图：