新書推薦：
《
我能帮上什么忙？——一位资深精神科医生的现场医疗记录（万镜·现象）
》
售價：HK$
81.6
《
智慧宫丛书026·增长：从细菌到帝国
》
售價：HK$
180.0
《
从自察到自救：别让情绪偷走你的人生
》
售價：HK$
90.0
《
晚明的崩溃：人心亡了，一切就都亡了！
》
售價：HK$
71.8
《
俄国女皇：叶卡捷琳娜二世传（精装插图版）
》
售價：HK$
81.6
《
真想让我爱的人读读这本书
》
售價：HK$
57.6
《
解套基本逻辑与六大战法
》
售價：HK$
58.8
《
超级制造
》
售價：HK$
143.9
|
| 編輯推薦： |
配套资源：教学PPT、程序源代码、集群虚拟机、扩展学习视频、课后练习题及答案。
本书特色：
系统介绍大数据三大核心技术（Linux、Hadoop、Spark）原理及其应用。
实例讲解典型大数据应用：构建基于分布式集群的大数据平台及离线/在线数据分析。
|
| 內容簡介： |
本书从大数据技术相关概念出发，系统介绍了构建大数据平台的相关技术，并在此基础上进行离线数据分析和在线数据分析。全书共三篇，分为7章，内容包括技术基础篇、分布式集群篇、平台构建篇，第壹篇包括大数据技术概述、大数据分析技术，第二篇包括Linux技术基础、Hadoop技术基础及构建Hadoop集群、Spark技术基础及构建Spark集群，第三篇包括构建基于Spark的实时交易数据统计平台、构建基于Hadoop的离线电商大数据分析平台。
本书以理论为基础，以实例为引导，完整阐述了如何从无到有搭建大数据平台，并在此平台基础上进行应用。本书配套资源丰富，包括教学PPT、所有程序的源代码、相关集群虚拟机、扩展学习视频、课后练习题及答案，可方便授课教师教学及学生自学。
本书可作为高校数据科学与大数据技术等相关专业的教材，也可作为对大数据技术感兴趣的相关人员的参考用书。
|
| 目錄：
|
目录
前言
第一篇 技术基础篇
第1章 大数据技术概述2
1.1 大数据的基本概念2
1.1.1 大数据的产生阶段2
1.1.2 大数据的特征2
1.1.3 大数据在各个领域的应用3
1.1.4 大数据的核心技术和计算模式3
1.2 分布式技术与集群4
1.2.1 分布式技术概述4
1.2.2 分布式大数据集群概述4
1.3 大数据技术生态圈7
1.3.1 Linux操作系统7
1.3.2 Hadoop生态系统9
1.3.3 Spark对Hadoop的完善13
本章小结13
本章练习13
第2章 大数据分析技术15
2.1 大数据分析流程及相关技术15
2.1.1 数据采集与预处理15
2.1.2 大数据存储16
2.1.3 大数据分析与挖掘17
2.1.4 数据可视化18
2.2 大数据分析常用方法18
2.2.1 数理统计分析18
2.2.2 聚类分析18
2.2.3 分类分析19
2.2.4 回归分析19
2.3 数据分析基础工具19
2.3.1 数据采集工具—Selenium和
PhantomJS19
2.3.2 数据清洗工具—Kettle20
2.3.3 数据存储工具—MongoDB和
MySQL21
2.3.4 机器学习工具—Scikit-learn23
2.3.5 数据可视化工具—Matplotlib、
PyEcharts、Superset23
本章小结25
本章练习26
第二篇 分布式集群篇
第3章 Linux技术基础28
3.1 用户与组管理28
3.1.1 用户管理相关命令28
3.1.2 组管理相关命令29
3.1.3 其他命令29
3.2 文件与目录管理29
3.2.1 常用文件操作命令29
3.2.2 目录操作命令31
3.2.3 改变文件或目录访问权限32
3.2.4 文件备份和压缩33
3.3 进程管理与作业控制33
3.3.1 进程查看34
3.3.2 进程调度34
3.4 磁盘存储管理34
3.4.1 磁盘管理命令35
3.4.2 存取命令35
3.5 系统管理与常用网络命令35
3.5.1 系统管理35
3.5.2 常用网络命令36
3.6 在线帮助系统36
3.7 实践：Linux操作系统的
安装与部署37
3.7.1 Linux的安装和卸载37
3.7.2 局域网主机间远程复制文件/
目录38
3.7.3 XML文件介绍38
3.7.4 VMware安装及CentOS系统
环境准备40
3.7.5 克隆虚拟机48
3.7.6 配置主机名50
3.7.7 配置网络IP地址51
本章小结53
本章练习53
第4章 Hadoop技术基础及构建
Hadoop集群55
4.1 Hadoop技术基础55
4.1.1 Hadoop的组成55
4.1.2 Hadoop的运行模式62
4.1.3 HDFS文件的存取63
4.1.4 Hadoop集群的环境配置64
4.1.5 Hadoop集群的搭建65
4.1.6 启动Hadoop集群69
4.2 ZooKeeper技术基础及部署70
4.2.1 ZooKeeper简介70
4.2.2 ZooKeeper的安装部署73
4.2.3 Leader选举机制75
4.2.4 ZooKeeper客户端访问集群
（命令行操作方式）82
4.3 HDFS与YARN高可用技术
基础84
4.3.1 HDFS高可用的工作机制84
4.3.2 HDFS高可用配置85
4.3.3 YARN高可用的工作机制93
4.3.4 YARN高可用配置94
4.4 实践：HDFS及MapReduce的
应用示例98
4.4.1 读写HDFS文件98
4.4.2 MapReduce操作 1：二次排序105
4.4.3 MapReduce操作 2：计数器110
4.4.4 MapReduce操作 3：Join操作113
本章小结119
本章练习119
第5章 Spark技术基础及构建
Spark集群121
5.1 Spark核心机制121
5.1.1 Spark基本原理121
5.1.2 Spark系统架构122
5.1.3 Spark Shell操作123
5.2 Hive原理及实践124
5.2.1 Hive定义124
5.2.2 Hive架构124
5.2.3 Hive表分类及查询操作126
5.3 HBase原理及实践130
5.3.1 HBase定义130
5.3.2 HBase集群架构130
5.3.3 HBase数据模型131
5.4 Kafka原理及实践133
5.4.1 Kafka定义133
5.4.2 Kafka消息队列133
5.4.3 Kafka基础架构134
5.5 Flume原理及实践135
5.5.1 Flume简介135
5.5.2 Flume基础架构135
5.6 实践：搭建基于Spark的实时
大数据平台137
5.6.1 Spark安装部署137
5.6.2 MySQL安装部署140
5.6.3 Hive安装部署141
5.6.4 HBase安装部署143
5.6.5 Kafka安装部署147
5.6.6 Flume安装部署149
5.6.7 Spark集群典型应用150
本章小结158
本章练习158
第三篇 平台构建篇
第6章 构建基于Spark的实时交易
数据统计平台161
6.1 系统需求与架构161
6.1.1 系统背景介绍161
6.1.2 系统功能需求162
6.1.3 系统架构设计162
6.2 Redis简介163
6.2.1 Redis数据库的作用163
6.2.2 Redis部署与启动163
6.2.3 Redis常用命令165
6.3 系统开发流程166
6.4 数据获取模块实现174
6.4.1 模拟订单数据174
6.4.2 向Kafka集群发送订单数据175
6.5 数据分析与处理模块实现178
6.5.1 分析订单数据178
6.5.2 生成结果182
6.6 数据可视化模块实现182
6.6.1 搭建Web开发环境183
6.6.2 实现数据展示功能185
6.6.3 可视化平台展示192
本章小结192
本章练习192
第7章 构建基于Hadoop的离线
电商大数据分析平台194
7.1 系统需求与架构194
7.1.1 系统背景介绍194
7.1.2 系统功能需求195
7.1.3 系统架构设计195
7.2 数据采集模块实现196
7.2.1 商品信息爬取196
7.2.2 调试分析210
7.3 数据处理与存储模块实现211
7.3.1 信息分析与处理211
7.3.2 商品信息存储220
7.3.3 调试分析222
7.4 数据可视化模块实现222
7.4.1 使用Superset连接MySQL
数据库223
7.4.2 调试分析223
本章小结226
本章练习227
参考文献228
|
| 內容試閱：
|
当今时代，大数据技术已经广泛应用于金融、医疗、教育、电信、电商等领域。各行各业每天都在产生海量数据，数据量已经从GB、TB发展到PB、EB、ZB甚至更大的量级。在计算机领域存在着“新摩尔定律”，指的是每18个月数据量将会倍增，也就是说，每18个月产生的数据量会是以往所有数据量的总和。由此可以看出，数据量的发展呈现出多而快的趋势。
2020年，国家推出了“新基建”战略，将5G、大数据中心、人工智能和工业互联网列为新型基础设施建设的重点。在国家政策的引领下，各行各业都将大数据产业列为优先发展目标，而任何行业的兴起最需要的就是相关人才，目前大数据相关人才尚处于供不应求的状况。
Hadoop作为大数据生态系统中的核心框架，承载着大数据系统的搭建与运行任务，专为离线计算和大规模数据处理而设计并实现。如果需要进行在线计算，就需要在Hadoop系统中搭建Spark运行环境，并进行在线计算。其中，Hadoop的核心组成包括HDFS和MapReduce两部分，HDFS为大数据存储提供了分布式文件系统；MapReduce则为大数据提供了分布式计算框架。Spark依托Hadoop系统，由Spark SQL、Spark Streaming、MLlib和GraphX四部分组成，主要提供了分布式在线计算框架。Apache公司提供了开源免费版本的Hadoop和Spark系统实现，在此基础之上，许多互联网公司都使用Hadoop实现本公司的核心业务并推出了商业版的Hadoop实现，国内外多家公司都在Hadoop系统的基础上进行了二次开发。由此可见，只要有大数据相关的业务，就一定有Hadoop和Spark的身影。
本书从大数据技术相关概念出发，系统介绍了构建大数据平台的相关技术，并在此基础上介绍了离线数据分析和在线数据分析。针对在学习大数据技术过程中可能遇到的问题，先介绍了大数据的基本概念、大数据技术生态圈的构成和大数据分析的基本过程；然后，介绍了构建大数据平台需要的技术及相关组件；最后，介绍了在线数据分析看板系统案例和离线数据分析案例。
全书共三篇，分为7章，第一篇为技术基础篇，其中第1章介绍了大数据技术概述，第2章介绍了大数据分析的基本过程以及基本方法、工具；第二篇为分布式集群篇，其中第3章介绍了Linux的基本概念、虚拟机的安装和使用以及在虚拟机中安装Linux操作系统的方法，第4章主要介绍搭建离线大数据平台所需组件Hadoop、ZooKeeper以及各组件的部署，第5章介绍了构建实时大数据平台所需组件以及各组件的部署，包括Spark、Hive、HBase、Kafka及Flume；第三篇为平台构建篇，其中第6章通过案例介绍了构建基于Spark的实时交易数据统计平台，第7章则介绍构建基于Hadoop的离线电商大数据分析平台。
本书的一大特色是配套丰富的教学资源，包括教学PPT、所有程序的源代码、相关集群的虚拟机压缩包、扩展学习视频、课后习题及答案，对授课教师的课堂教学给予充分支持，并方便学生自学。
在本书编写过程中，乔钢柱负责编写第2章，樊永生负责编写第3章，雷海卫负责编写第5章中Kafka相关内容，其余章节均为井超编写。在本书写作过程中，特别感谢中北大学大数据学院数据科学与大数据技术专业17级本科生句亚莉同学和18级本科生郭媛、李海永同学为我们提供的协助。在此，也向机械工业出版社的谢辉老师、王斌老师等为本书顺利出版而倾心付出的朋友们表示衷心的感谢。
井 超
于中北大学怡丁苑
|
|
購物車/收銀台(
0
) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
