具体描述
产品特色
编辑推荐
本书面向使用Hadoop来执行数据相关作业的任何人，也适合希望更好地从任意数据存储中获取有意义信息的读者。这包括大数据解决方案架构师、Linux系统和大数据工程师、大数据平台工程师、Java程序员和数据库管理员。内容简介
使用Hadoop构建更优秀的大数据解决方案Hadoop开源且基于Java、几乎没有入门障碍，它提供了迅速占据市场的实用大数据解决方案。
《Hadoop大数据解决方案》由包括已认证Hadoop开发者、Committers和峰会演讲者在内的专家团队编写，可以作为有关该框架流程和功能的自学教程。书中单独介绍了各个组件，*后用实际项目将它们联系起来并构建示例应用。本书跳过数据库开发基础知识，直奔主题，帮助有经验的开发者快速上手，并开始在真实场景中使用Hadoop。
主要内容
◆ 向你展示使用Hadoop Stack配置存储、用户体验和内存计算的方法
◆ 解释使用Kafka实时消息和Storm数据流将Hadoop与其他系统集成的方法
◆ 演示关键安全特性与技术，同时给出保证数据安全的专家建议
◆ 讲授使用Apache BigTop打包、测试和配置的基础知识，以及使用Ignite更快速执行MapReduce的方法
◆ 带你领略示例应用构建过程，展示核心组件如何协同工作，同时提供了所有示例代码
作者简介
Benoy Antony是Apache Hadoop Committer，在eBay公司担任Hadoop架构师。Konstantin Boudnik是Memcore.io的共同创始人兼CEO，他是Hadoop的早期开发者之一，与他人共同创建了Apache Bigtop。
Cheryl Adams是医疗数据领域的一位资深云数据和基础设施架构师。
Branky Shao是eBay的软件工程师，同时也是Cascading项目的贡献者。
Cazen Lee是三星SDS公司的一位软件架构师。
Kai Sasaki是Treasure Data公司的一位软件工程师。
内页插图
目录
第1章 Hadoop概述 1
1.1 商业分析与大数据 2
1.1.1 Hadoop的组件 3
1.1.2 Hadoop分布式文件系统(HDFS) 3
1.1.3 MapReduce是什么 4
1.1.4 YARN是什么 5
1.2 ZooKeeper是什么 6
1.3 Hive是什么 7
1.4 与其他系统集成 8
1.4.1 Hadoop生态系统 9
1.4.2 数据集成与Hadoop 11
1.5 小结 16
第2章 存储 19
2.1 Hadoop HDFS的基础知识 20
2.1.1 概念 21
2.1.2 架构 25
2.1.3 接口 29
2.2 在分布式模式下设置HDFS群集 35
2.3 HDFS的高级特性 40
2.3.1 快照 41
2.3.2 离线查看器 44
2.3.3 分层存储 52
2.3.4 纠删码 55
2.4 文件格式 59
2.5 云存储 63
2.6 小结 64
第3章 计算 65
3.1 Hadoop MapReduce的基础 66
3.1.1 概念 66
3.1.2 架构 69
3.2 如何启动MapReduce作业 76
3.2.1 编写Map任务 77
3.2.2 编写reduce任务 79
3.2.3 编写MapReduce作业 80
3.2.4 配置 83
3.3 MapReduce的高级特性 85
3.3.1 分布式缓存 85
3.3.2 计数器 87
3.3.3 作业历史服务器 89
3.4 与Spark作业的区别 91
3.5 小结 92
第4章 用户体验 93
4.1 Apache Hive 94
4.1.1 安装Hive 96
4.1.2 HiveQL 97
4.1.3 UDF/SerDe 103
4.1.4 Hive调优 105
4.2 Apache Pig 106
4.2.1 安装Pig 107
4.2.2 Pig Latin 108
4.3 UDF 110
4.4 Hue 111
4.5 Apache Oozie 114
4.5.1 安装Oozie 115
4.5.2 Oozie的工作原理 118
4.5.3 工作流/协调器 119
4.5.4 Oozie CLI 124
4.6 小结 124
第5章 与其他系统集成 125
5.1 Apache Sqoop 126
5.2 Apache Flume 130
5.3 Apache Kafka 136
5.3.1 工作原理 138
5.3.2 Kafka Connect 141
5.3.3 流处理 143
5.4 Apache Storm 144
5.4.1 工作原理 145
5.4.2 Trident 148
5.4.3 Kafka集成 149
5.5 小结 152
第6章 Hadoop安全 153
6.1 提升Hadoop群集安全性 154
6.1.1 边界安全 154
6.1.2 Kerberos认证 156
6.1.3 Hadoop中的服务级授权 162
6.1.4 用户模拟 167
6.1.5 提升HTTP信道的安全性 170
6.2 提升数据安全性 174
6.2.1 数据分类 175
6.2.2 将数据传到群集 176
6.2.3 保护群集中的数据 182
6.3 增强应用程序安全性 189
6.3.1 YARN架构 189
6.3.2 YARN中的应用提交 190
6.4 小结 195
第7章 自由的生态圈：Hadoop与Apache BigTop 197
7.1 基础概念 198
7.1.1 软件栈 199
7.1.2 测试栈 200
7.1.3 在我的笔记本电脑上工作 201
7.2 开发定制的软件栈 201
7.2.1 Apache Bigtop：历史 201
7.2.2 Apache Bigtop：概念和哲学思想 202
7.2.3 项目结构 204
7.2.4 谈谈构建系统 205
7.2.5 工具链和开发环境 206
7.2.6 BOM定义 207
7.3 部署 208
7.3.1 Bigtop Provisioner 208
7.3.2 群集的无主节点Puppet部署 209
7.3.3 使用Puppet进行配置管理 213
7.4 集成验证 215
7.4.1 iTests和验证应用程序 216
7.4.2 栈集成测试开发 217
7.4.3 栈的验证 220
7.4.4 群集故障测试 221
7.4.5 栈的冒烟测试 222
7.5 将所有工作组合在一起 223
7.6 小结 224
第8章 Hadoop软件栈的In-Memory计算 227
8.1 In-Memory计算简介 229
8.2 Apache Ignite：内存优先 231
8.2.1 Apache Ignite的系统体系架构 232
8.2.2 数据网格 233
8.2.3 高可用性讨论 236
8.2.4 计算网格 237
8.2.5 服务网格 238
8.2.6 内存管理 238
8.2.7 持久化存储 240
8.3 使用Ignite加速旧式Hadoop 240
8.3.1 In-Memory存储的好处 241
8.3.2 内存文件系统：HDFS缓存 242
8.3.3 In-Memory MapReduce 243
8.4 Apache Ignite的高级用法 247
8.4.1 Spark和Ignite 247
8.4.2 共享状态 249
8.4.3 Hadoop上的In-Memory SQL 251
8.4.4 使用Ignite的SQL 252
8.4.5 使用Apache Ignite进行流处理 255
8.5 小结 256
术语表 259
精彩书摘
1.1 商业分析与大数据
商业分析通过统计和业务分析对数据进行研究。Hadoop 允许你 在其数据存储中进行业务分析。这些结果使得组织和公司能够做出 有利于自身的更好商业决策。
为加深理解，让我们勾勒一下大数据的概况。鉴于所涉及数据 的规模，它们会分布于大量存储和计算节点上，而这得益于使用 Hadoop。由于Hadoop 是分布式的(而非集中式的)，因而不具备关系 型数据库管理系统(RDBMS)的特点。这使得你能够使用Hadoop 所 提供的大型数据存储和多种数据类型。
第1 章 Hadoop 概述
3
例如，让我们考虑类似Google、Bing 或者Twitter 这样的大型 数据存储。所有这些数据存储都会随着诸如查询和庞大用户基数等 活动事件而呈现出指数增长。Hadoop 的组件可以帮助你处理这些大 型数据存储。
类似Google 这样的商业公司可使用Hadoop 来操作、管理其数 据存储并从中产生出有意义的结果。通常用于商业分析的传统工具 并不旨在处理或分析超大规模数据集，但Hadoop 是一个适用于这 些商业模型的解决方案。
1.1.1 Hadoop 的组件
Hadoop Common 是Hadoop 的基础，因为它包含主要服务和基 本进程，例如对底层操作系统及其文件系统的抽象。Hadoop Common 还包含必要的Java 归档(Java Archive，JAR)文件和用于启 动Hadoop 的脚本。Hadoop Common 包甚至提供了源代码和文档， 以及贡献者的相关内容。如果没有Hadoop Common，你无法运行 Hadoop。
与任何软件栈一样，Apache 对于配置Hadoop Common 有一定 要求。大体了解Linux 或Unix 管理员所需的技能将有助于你完成配 置。Hadoop Common 也称为Hadoop Stack，并不是为初学者设计的， 因此实现的速度取决于你的经验。事实上，Apache 在其网站上明确 指出，如果你还在努力学习如何管理Linux 环境的话，那么Hadoop 并不是你能够应付的任务。建议在尝试安装Hadoop 之前，你需要 先熟悉此类环境。
1.1.2 Hadoop 分布式文件系统(HDFS)
在Hadoop Common 安装完成后，是时候该研究Hadoop Stack 的其余组件了。HDFS(Hadoop Distributed File System)提供一个分布 式文件系统，设计目标是能够运行在基础硬件组件之上。大多数企 业被其*小化的系统配置要求所吸引。此环境可以在虚拟机(Virtual Hadoop 大数据解决方案 Machine，VM)或笔记本电脑上完成初始配置，而且可以升级到服务 器部署。它具有高度的容错性，并且被设计为能够部署在低成本的 硬件之上。它提供对应用程序数据的高吞吐量访问，适合于面向大 型数据集的应用程序。
在任何环境中，硬件故障都是不可避免的。有了HDFS，你的 数据可以跨越数千台服务器，而每台服务器上均包含一部分基础数 据。这就是容错功能发挥作用的地方。现实情况是，这么多服务器 总会遇到一台或者多台无法正常工作的风险。HDFS 具备检测故障 和快速执行自动恢复的功能。
HDFS 的设计针对批处理做了优化，它提供高吞吐量的数据访 问，而非低延迟的数据访问。运行在HDFS 上的应用程序有着大型 数据集。在HDFS 中一个典型的文件大小可以达到数百GB 或更大， 所以HDFS 显然支持大文件。它提供高效集成数据带宽，并且单个 群集可以扩展至数百节点。
Hadoop 是一个单一功能的分布式系统，为了并行读取数据集并 提供更高的吞吐量，它与群集中的机器进行直接交互。可将Hadoop 想象为一个动力车间，它让单个CPU 运行在群集中大量低成本的机 器上。既然已经介绍了用于读取数据的工具，下一步便是用 MapReduce 来处理它。
1.1.3 MapReduce 是什么
MapReduce 是Hadoop 的一个编程组件，用于处理和读取大型 数据集。MapReduce 算法赋予了Hadoop 并行化处理数据的能力。 简而言之，MapReduce 用于将大量数据浓缩为有意义的统计分析结 果。MapReduce 可以执行批处理作业，即能在处理过程中多次读取 大量数据来产生所需的结果。
对于拥有大型数据存储或者数据湖的企业和组织来说，这是一 种重要的组件，它将数据限定到可控的大小范围内。在Hadoop *近的发展中，另有一款称为YARN 的组件已经可 用于进一步管理Hadoop 生态系统。 1.1.4 YARN 是什么 YARN 基础设施(另一个资源协调器)是一项用于提供执行应用 程序所需的计算资源(内存、CPU 等)的框架。 YARN 有什么诱人的特点或是性质？其中两个重要的部分是资 源管理器和节点管理器。让我们来勾勒YARN 的框架。首先考虑一 个两层的群集，其中资源管理器在顶层(每个群集中只有一个)。资 Hadoop 大数据解决方案 6 源管理器是主节点。它了解从节点所在的位置(较底层)以及它们拥 有多少资源。它运行了多种服务，其中*重要的是用于决定如何分 配资源的资源调度器。节点管理器(每个群集中有多个)是此基础设 施的从节点。当开始运行时，它向资源管理器声明自己。此类节点 有能力向群集提供资源，它的资源容量即内存和其他资源的数量。 在运行时，资源调度器将决定如何使用该容量。Hadoop 2 中的YARN 框架允许工作负载在各种处理框架之间动态共享群集资源，这些框 架包括MapReduce、Impala 和Spark。YARN 目前用于处理内存和 CPU，并将在未来用于协调其他资源，例如磁盘和网络I/O。
……
前言/序言
Hadoop是一个在Apache 2.0许可证下可用的开源项目。它能在分布式服务器群集中管理和存储超大规模的数据集。Hadoop*具优势的特性之一是其容错性，这使得大数据应用在遇到失败事件时能够继续正常运行。使用Hadoop的另一个优势是可扩展性。这种编程逻辑拥有从单机向大量服务器扩展的潜质，而每台服务器均具备本地计算和存储能力。
本书读者对象
本书面向使用Hadoop来执行数据相关作业的任何人，也适合希望更好地从任意数据存储中获取有意义信息的读者。这包括大数据解决方案架构师、Linux系统和大数据工程师、大数据平台工程师、Java程序员和数据库管理员。
如果你有兴趣学习关于Hadoop的更多知识并且想了解如何抽取特定组件做进一步分析或研究，那么这本书正好适合你。
阅读本书的前提
你应该拥有开发经验并且了解Hadoop的基础知识，而且要对在实际环境中应用它感兴趣。
示例的源代码可以从www.wrox.com/go/professionalhadoop或者https://github.com/backstopmedia/hadoopbook下载。
本书的结构
本书共分为8章，内容如下：
第1章：Hadoop概述
第2章：存储
第3章：计算
第4章：用户体验
第5章：与其他系统集成
第6章：Hadoop安全
第7章：自由的生态圈：Hadoop与Apache BigTop
第8章：Hadoop软件栈的In-Memory计算
约定
为帮助你尽可能地理解文章含义并抓住重点，我们在本书中使用了大量约定。
文中所使用的样式如下：
● 当介绍新术语和重要词语时，我们会突出展现它们。
● 我们像这样展示正文中的代码：persistence.properties。
● 我们以此种样式来展示本书中的所有代码片段：
FileSystem fs = FileSystem.get(URI.create(uri), conf);
InputStream in = null;
try {
● 我们以这样的字体展示URL：
http://:50075
p2p.wrox.com
要与作者和同行讨论，请加入http://p2p.wrox.com上的P2P论坛。这个论坛是一个基于Web的系统，便于你张贴与Wrox图书相关的消息和相关技术，与其他读者和技术用户交流心得。该论坛提供了订阅功能，当论坛上有新的消息时，它可以给你传送感兴趣的论题。Wrox作者、编辑和其他业界专家和读者都会到这个论坛上探讨问题。
在http://p2p.wrox.com上，有许多不同的论坛，它们不仅有助于阅读本书，还有助于开发自己的应用程序。要加入论坛，可以遵循下面的步骤：
(1) 进入http://p2p.wrox.com，单击Register链接。
(2) 阅读使用协议，并单击Agree按钮。
(3) 填写加入该论坛所需要的信息和自己希望提供的其他信息，单击Submit按钮。
(4) 你会收到一封电子邮件，其中的信息描述了如何验证账户，完成加入过程。
加入论坛后，就可以张贴新消息，响应其他用户张贴的消息。可以随时在Web上阅读消息。如果要让该网站给自己发送特定论坛中的消息，可以单击论坛列表中该论坛名旁边的Subscribe to this Forum图标。
关于使用Wrox P2P的更多信息，可阅读P2P FAQ，了解论坛软件的工作情况以及P2P和Wrox图书的许多常见问题。要阅读FAQ，可以在任意P2P页面上单击FAQ链接。
源代码
读者在学习本书中的示例时，可以手动输入所有的代码，也可以使用本书附带的源代码文件。本书使用的所有源代码都可以从站点http://www.wrox.com下载。具体而言，本书的代码可以通过网站http://www.wrox.com/go/professionalhadoop上的Download Code选项卡下载。
还可以在站点http://www.wrox.com上通过输入ISBN(本书的ISBN为9781119267171)来获取本书的代码。也可以扫描封底的二维码获取本书的源代码。当前所有Wrox图书的代码下载的完整列表都可以通过www.wrox.com/dynamic/books/download.aspx站点来获取。
下载代码后，只需要用自己喜欢的解压缩软件对它进行解压缩即可。另外，也可以进入http://www.wrox.com/dynamic/books/ download.aspx上的Wrox代码下载主页，查看本书和其他Wrox图书的所有代码。
勘误表
尽管我们已经尽了各种努力来保证文章或代码中不出现错误，但是错误总是难免的，如果你在本书中找到了错误，例如拼写错误或代码错误，请告诉我们，我们将非常感激。通过勘误表，可以让其他读者避免受挫，当然，这还有助于提供更高质量的信息。
请给wkservice@vip.163.com发电子邮件，我们就会检查你的信息，如果是正确的，我们将在本书的后续版本中采用。
要在网站上找到本书的勘误表，可以登录www.wrox.com/go/ professionalhadoop，并单击Errata链接。在该页面上可以查看到Wrox编辑已提交和粘贴的所有勘误项。
如果在Book Errata页面上没有看到你找出的错误，请进入www.worx.com/contact/techsupport.shtml，并填写表单，发电子邮件，我们就会检查你的信息，如果是正确的，就在本书的勘误表中粘贴一个消息，我们将在本书的后续版本中采用。
用户评价
这本书的深度和广度都让我惊艳！它不仅仅是停留在理论层面，而是花了大量的篇幅去讲解实际应用场景和解决方案。我尤其喜欢其中关于“如何构建一个完整的大数据处理平台”的章节，作者一步一步地拆解了整个流程，从数据采集、数据存储，到数据处理、数据分析，再到数据可视化和应用开发。书中列举了多个真实世界中的案例，例如电商平台的个性化推荐、金融风控、社交媒体的情感分析等等，这些案例让我深刻体会到大数据技术的强大力量，也给了我很多启发。 让我眼前一亮的是，书中并没有局限于Hadoop本身，而是将Hadoop放在更广阔的大数据生态系统中去介绍。Spark、Hive、HBase、Kafka等一系列与Hadoop紧密相关的技术都被详细阐述，并且说明了它们各自的优势和适用场景，以及它们如何与Hadoop协同工作。例如，Spark在内存计算方面的优势，Hive在数据仓库和SQL查询方面的便捷性，HBase在实时数据读写方面的强大能力。这本书帮助我构建了一个清晰的大数据技术图谱，让我知道在不同的场景下，应该选择哪种技术组合，而不是盲目地学习每一个单独的工具。
评分这本书给我最大的感受就是“系统性”和“前瞻性”。它就像一张精心绘制的导航图，指引着我在浩瀚的大数据海洋中前进。从最基础的Hadoop架构，到数据处理的各种模型，再到生态系统中各种工具的协同工作，书中都进行了非常系统性的梳理。我感觉自己不再是零散地学习一些技术点，而是能够将它们融会贯通，理解它们之间的内在联系。 而且，作者在讲解过程中，并没有回避一些新兴的技术趋势。比如，在介绍完Hadoop之后，还对Spark等更新的技术进行了介绍，并且分析了它们在大数据处理中的优势和发展方向。这让我意识到，大数据领域是一个不断发展和变化的领域，持续学习和更新知识非常重要。这本书不仅教会了我如何使用Hadoop，更培养了我一种“拥抱变化”的学习心态，这对于我在这个快速发展的行业中保持竞争力非常有益。
评分这本《Hadoop大数据解决方案/大数据应用与技术丛书》简直是大数据领域的“百科全书”！我作为一个刚踏入这个行业的小白，一开始对Hadoop一知半解，甚至觉得它是一个遥不可及的技术名词。然而，当我翻开这本书，才发现事情远没有我想象的那么复杂。书中从最基础的概念讲起，例如大数据到底是什么，为什么需要Hadoop，Hadoop的起源和发展历程，以及它在整个大数据生态系统中的定位。作者并没有直接抛出技术细节，而是用非常通俗易懂的语言，配以生动的比喻和图示，让我这个完全没有背景知识的人也能轻松理解。 特别让我印象深刻的是，书中关于HDFS（Hadoop分布式文件系统）的讲解。它不只是简单地介绍HDFS的架构，还深入剖析了它是如何实现高可用性、容错性和数据冗余的。读到那里，我仿佛看到了一个庞大的数据存储网络是如何在后台默默运转，确保海量数据的安全和稳定。作者还详细解释了MapReduce的设计思想，如何将一个巨大的计算任务分解成无数个小任务并行处理，最后再将结果汇总。虽然MapReduce现在可能不是最前沿的计算模型，但理解它的原理对于把握大数据处理的核心思想至关重要，这本书做得非常到位。
评分不得不说，这本书的“解决问题”能力极强。我过去遇到过很多关于大数据处理的实际问题，比如数据倾斜、任务调度效率低下、集群资源利用不均衡等等，这些问题常常让我束手无策。然而，在阅读这本书的过程中，我发现很多我曾经遇到的难题，书中都有详细的分析和解决方案。作者不仅仅是列举问题，而是深入剖析问题产生的原因，并提供了具体的调优策略和实践建议。 比如，关于数据倾斜的讲解，书中就详细分析了可能导致数据倾斜的各种原因，并给出了多种应对方法，包括使用Combine、Combiner、Map端聚合，以及调整MapReduce程序的逻辑等。这些都是非常实用的技巧，我在实际工作中尝试后，确实取得了显著的效果。这本书让我深刻体会到，掌握大数据技术不仅仅是学习API，更重要的是理解其背后的原理，并能够运用这些原理去解决实际问题。这本书真正做到了“授人以渔”，让我具备了独立解决大数据相关问题的能力。
评分我一直觉得，一本好的技术书籍，不仅要讲“是什么”，更要讲“为什么”和“怎么做”。《Hadoop大数据解决方案/大数据应用与技术丛书》在这方面做得相当出色。在介绍每一个技术模块时，作者都会先解释其背后的设计哲学和解决的痛点，让你明白为什么需要这样做。比如，在介绍YARN（Yet Another Resource Negotiator）时，它不仅仅是说明YARN的功能，更深入地解析了它如何解决了Hadoop 1.x时期资源管理的瓶颈，如何实现了多框架的共存。 更重要的是，书中提供了大量的代码示例和配置说明，这对于实践者来说简直是福音。我经常会对照书中的例子，在自己的环境中进行尝试，从中学习如何部署Hadoop集群，如何编写MapReduce程序，如何使用Hive进行数据分析。这些实践性的指导，让我在学习过程中少走了很多弯路，也让我能够更快地将书本上的知识转化为实际技能。作者的讲解细致入微，即使是一些容易出错的配置项，也都有详细的解释和注意事项，这对于我们这些初学者来说，极大地降低了入门门槛。
评分很好，很好，真的很好。好书好书。很好，很好，真的很好。
评分给力的快递小哥 支持京东速度
评分32k版本。。很轻便
评分一下子买了很多很多本，印刷清晰，到货也比较快，很便宜，应该是正版。满意的说。下次再来。
评分送货很及时，东西很好
评分老公给买的，还没开始看，但愿能有所提升?
评分今冬活动力度很给力，非常感谢让我如愿以偿买了了很多好书。
评分书质量不错，只是内容不够细。都是些概念
评分送货快，书看起来不错。顺应时代的发展，工作要转型了，从做硬件转向软件和数据分析，顺不顺利就靠你们了！
相关图书
![新标准C++程序设计/北京大学“程序设计与算法”专项课程系列教材 [Fundamentals of Programming and Algorithms] pdf epub mobi 电子书 下载](https://pic.tinynews.org/12001433/589863dbN35b57b3d.jpg)
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 book.idnshop.cc All Rights Reserved. 静思书屋 版权所有