新書推薦：
《
日耳曼通识译丛：近代哲学：从笛卡尔到康德
》
售價：HK$
32.2
《
我的灵魂是日落时分空无一人的旋转木马：聂鲁达诗精选
》
售價：HK$
81.6
《
春日喜你
》
售價：HK$
55.0
《
我们八月见
》
售價：HK$
46.0
《
东线炼狱 : 德国反坦克兵的东线日记 : 1941—1942
》
售價：HK$
94.2
《
献给皇帝的礼物：Wedgwood瓷器王国与漫长的十八世纪
》
售價：HK$
127.4
《
东京札记
》
售價：HK$
151.0
《
大学问·明代国家权力结构及运行机制
》
售價：HK$
139.2
|
| 編輯推薦： |
·资深Hadoop技术专家撰写，EasyHadoop和51CTO等专业技术社区联袂推荐！
·从源代码角度深入分析MapReduce的设计理念，以及RPC框架、客户端、JobTracker、TaskTracker和Task等运行时环境的架构设计与实现原理。
·深入探讨Hadoop性能优化、多用户作业调度器、安全机制、下一代MapReduce框架等高级主题。
|
| 內容簡介： |
|
“Hadoop技术内幕”共两册，分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者亲自执笔，首先介绍了MapReduce的设计理念和编程模型，然后从源代码的角度深入分析了RPC框架、客户端、JobTracker、TaskTracker和Task等MapReduce运行时环境的架构设计与实现原理，最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。本书适合Hadoop的二次开发人员、应用开发工程师、运维工程师阅读。
|
| 關於作者： |
|
董西成，资深Hadoop技术实践者和研究者，对Hadoop技术有非常深刻的认识和理解，有着丰富的实践经验。曾经参与了商用Hadoop原型的研发，以及人民搜索的分布式日志系统、全网图片搜索引擎、Hadoop调度器等多个项目的设计与研发，实践经验非常丰富。对Hadoop的源代码有深入的研究，能通过修改Hadoop的源代码来完成二次开发和解决各种复杂的问题。热衷于分享，撰写了大量关于Hadoop的技术文章并分享在自己的博客上，由于文章技术含量高，所以非常受欢迎，这使得他在Hadoop技术圈内颇具知名度和影响力。
|
| 目錄：
|
前言
第一部分 基础篇
第1章 阅读源代码前的准备
1.1 准备源代码学习环境
1.1.1 基础软件下载
1.1.2 如何准备Windows环境
1.1.3 如何准备Linux环境
1.2 获取Hadoop源代码
1.3 搭建Hadoop源代码阅读环境
1.3.1 创建Hadoop工程
1.3.2 Hadoop源代码阅读技巧
1.4 Hadoop源代码组织结构
1.5 Hadoop初体验
1.5.1 启动Hadoop
1.5.2 Hadoop Shell介绍
1.5.3 Hadoop Eclipse插件介绍
1.6 编译及调试Hadoop源代码
1.6.1 编译Hadoop源代码
1.6.2 调试Hadoop源代码
1.7 小结
第2章 MapReduce设计理念与基本架构
2.1 Hadoop发展史
2.1.1 Hadoop产生背景
2.1.2 Apache Hadoop新版本的特性
2.1.3 Hadoop版本变迁
2.2 Hadoop MapReduce设计目标
2.3 MapReduce编程模型概述
2.3.1 MapReduce编程模型简介
2.3.2 MapReduce编程实例
2.4 Hadoop基本架构
2.4.1 HDFS架构
2.4.2 Hadoop MapReduce架构
2.5 Hadoop MapReduce作业的生命周期
2.6 小结
第二部分 MapReduce编程模型篇
第3章 MapReduce编程模型
3.1 MapReduce编程模型概述
3.1.1 MapReduce编程接口体系结构
3.1.2 新旧MapReduce API比较
3.2 MapReduce API基本概念
3.2.1 序列化
3.2.2 Reporter参数
3.2.3 回调机制
3.3 Java API解析
3.3.1 作业配置与提交
3.3.2 InputFormat接口的设计与实现
3.3.3 OutputFormat接口的设计与实现
3.3.4 Mapper与Reducer解析
3.3.5 Partitioner接口的设计与实现
3.4 非Java API解析
3.4.1 Hadoop Streaming的实现原理
3.4.2 Hadoop Pipes的实现原理
3.5 Hadoop工作流
3.5.1 JobControl的实现原理
3.5.2 ChainMapperChainReducer的实现原理
3.5.3 Hadoop工作流引擎
3.6 小结
第三部分 MapReduce核心设计篇
第4章 Hadoop RPC框架解析
4.1 Hadoop RPC框架概述
4.2 Java基础知识
4.2.1 Java反射机制与动态代理
4.2.2 Java网络编程
4.2.3 Java NIO
4.3 Hadoop RPC基本框架分析
4.3.1 RPC基本概念
4.3.2 Hadoop RPC基本框架
4.3.3 集成其他开源RPC框架
4.4 MapReduce通信协议分析
4.4.1 MapReduce 通信协议概述
4.4.2 JobSubmissionProtocol通信协议
4.4.3 InterTrackerProtocol通信协议
4.4.4 TaskUmbilicalProtocol通信协议
4.4.5 其他通信协议
4.5 小结
第5章 作业提交与初始化过程分析
5.1 作业提交与初始化概述
5.2 作业提交过程详解
5.2.1 执行Shell命令
5.2.2 作业文件上传
5.2.3 产生InputSplit文件
5.2.4 作业提交到JobTracker
5.3 作业初始化过程详解
5.4 Hadoop DistributedCache原理分析
5.4.1 使用方法介绍
5.4.2 工作原理分析
5.5 小结
第6章 JobTracker内部实现剖析
6.1 JobTracker概述
6.2 JobTracker启动过程分析
6.2.1 JobTracker启动过程概述
6.2.2 重要对象初始化
6.2.3 各种线程功能
6.2.4 作业恢复
6.3 心跳接收与应答
6.3.1 更新状态
6.3.2 下达命令
6.4 Job和Task运行时信息维护
6.4.1 作业描述模型
6.4.2 JobInProgress
6.4.3 TaskInProgress
6.4.4 作业和任务状态转换图
6.5 容错机制
6.5.1 JobTracker容错
6.5.2 TaskTracker容错
6.5.3 JobTask容错
6.5.4 Record容错
6.5.5 磁盘容错
6.6 任务推测执行原理
6.6.1 计算模型假设
6.6.2 1.0.0版本的算法
6.6.3 0.21.0版本的算法
6.6.4 2.0版本的算法
6.7 Hadoop资源管理
6.7.1 任务调度框架分析
6.7.2 任务选择策略分析
6.7.3 FIFO调度器分析
6.7.4 Hadoop资源管理优化
6.8 小结
第7章 TaskTracker内部实现剖析
7.1 TaskTracker概述
7.2 TaskTracker启动过程分析
7.2.1 重要变量初始化
7.2.2 重要对象初始化
7.2.3 连接JobTracker
7.3 心跳机制
7.3.1 单次心跳发送
7.3.2 状态发送
7.3.3 命令执行
7.4 TaskTracker行为分析
7.4.1 启动新任务
7.4.2 提交任务
7.4.3 杀死任务
7.4.4 杀死作业
7.4.5 重新初始化
7.5 作业目录管理
7.6 启动新任务
7.6.1 任务启动过程分析
7.6.2 资源隔离机制
7.7 小结
第8章 Task运行过程分析
8.1 Task运行过程概述
8.2 基本数据结构和算法
8.2.1 IFile存储格式
8.2.2 排序
8.2.3 Reporter
8.3 Map Task内部实现
8.3.1 Map Task整体流程
8.3.2 Collect过程分析
8.3.3 Spill过程分析
8.3.4 Combine过程分析
8.4 Reduce Task内部实现
8.4.1 Reduce Task整体流程
8.4.2 Shuffle和Merge阶段分析
8.4.3 Sort和Reduce阶段分析
8.5 MapReduce Task优化
8.5.1 参数调优
8.5.2 系统优化
8.6 小结
第四部分 MapReduce高级篇
第9章 Hadoop性能调优
9.1 概述
9.2 从管理员角度进行调优
9.2.1 硬件选择
9.2.2 操作系统参数调优
9.2.3 JVM参数调优
9.2.4 Hadoop参数调优
9.3 从用户角度进行调优
9.3.1 应用程序编写规范
9.3.2 作业级别参数调优
9.3.3 任务级别参数调优
9.4 小结
第10章 Hadoop多用户作业调度器
10.1 多用户调度器产生背景
10.2 HOD
10.2.1 Torque资源管理器
10.2.2 HOD作业调度
10.3 Hadoop队列管理机制
10.4 Capacity Scheduler实现
10.4.1 Capacity Scheduler功能介绍
10.4.2 Capacity Scheduler实现
10.4.3 多层队列调度
10.5 Fair Scheduler实现
10.5.1 Fair Scheduler功能介绍
10.5.2 Fair Scheduler实现
10.5.3 Fair Scheduler与Capacity Scheduler对比
10.6 其他Hadoop调度器介绍
10.7 小结
第11章 Hadoop安全机制
11.1 Hadoop安全机制概述
11.1.1 Hadoop面临的安全问题
11.1.2 Hadoop对安全方面的需求
11.1.3 Hadoop安全设计基本原则
11.2 基础知识
11.2.1 安全认证机制
11.2.2 Kerberos介绍
11.3 Hadoop安全机制实现
11.3.1 RPC
11.3.2 HDFS
11.3.3 MapReduce
11.3.4 上层服务
11.4 应用场景总结
11.4.1 文件存取
11.4.2 作业提交与运行
11.4.3 上层中间件访问Hadoop
11.5 小结
第12章 下一代MapReduce框架
12.1 第一代MapReduce框架的局限性
12.2 下一代MapReduce框架概述
12.2.1 基本设计思想
12.2.2 资源统一管理平台
12.3 Apache YARN
12.3.1 Apache YARN基本框架
12.3.2 Apache YARN工作流程
12.3.3 Apache YARN设计细节
12.3.4 MapReduce与YARN结合
12.4 Facebook Corona
12.4.1 Facebook Corona基本框架
12.4.2 Facebook Corona工作流程
12.4.3 YARN与Corona对比
12.5 Apache Mesos
12.5.1 Apache Mesos基本框架
12.5.2 Apache Mesos资源分配
12.5.3 MapReduce与Mesos结合
12.6 小结
附录A 安装Hadoop过程中可能存在的问题及解决方案
附录B Hadoop默认HTTP端口号以及HTTP地址
参考资料
|
| 內容試閱：
|
第一部分
基础篇
本部分内容
阅读源代码前的准备
MapReduce设计理念与基本架构
第1章 阅读源代码前的准备
一般而言，在深入研究一个系统的技术细节之前，先要进行一些基本的准备工作，比如，准备源代码阅读环境，搭建运行环境并尝试使用该系统等。对于Hadoop而言，由于它是一个分布式系统，且由多种守护进程组成，具有一定的复杂性，如果想深入学习其设计原理，仅仅进行以上几项准备工作是不够的，还要学习一些调试工具的使用方法，以便对Hadoop源代码进行调试、跟踪。边用边学，这样才能事半功倍。
本章的编写目的是帮助读者构建一个“高效”的Hadoop源代码学习环境，包括Hadoop源代码阅读环境、Hadoop使用环境和Hadoop源代码编译调试环境等，这主要涉及如下内容：
在Linux和Windows环境下搭建Hadoop源代码阅读环境的方法；
Hadoop的基本使用方法，主要包括Hadoop Shell和Eclipse插件两种工具的使用；
Hadoop源代码编译和调试方法，其中，调试方法包括使用Eclipse远程调试和打印调试日志两种。
考虑到大部分用户在单机上学习Hadoop源代码，所以本章内容均是基于单机环境的。本章大部分内容较为基础，已经掌握这部分内容的读者可以直接跳过本章。
1.1 准备源代码学习环境
对于大部分公司而言，实验和生产环境中的服务器集群部署的都是Linux操作系统。考虑到Linux在服务器市场中具有统治地位，Hadoop从一开始便是基于Linux操作系统开发的，因而对Linux有着非常完美的支持。尽管Hadoop采用了具有跨平台特性的Java作为主要编程语言，但由于它的一些功能实现用到了Linux操作系统相关的技术，因而对其他平台的支持不够友好，且没有进行过严格测试。换句话说，其他操作系统（如Windows）仅可作为开发环境，不可作为生产环境。对于学习源代码而言，操作系统的选择显得不是非常重要，读者可根据个人爱好自行决定。本节以64
bit Linux和32 bit Windows两种操作系统为例，介绍如何在单机上准备Hadoop源代码学习环境。
……
|
|
購物車/收銀台(
0
) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
