新書推薦：
《
WebGIS原理及开发——基于开源框架的WebGIS技术
》
售價：HK$
94.8
《
舵手证券图书 周期与龙头 A股剑客著 解密龙头股周期性循环 游资操盘手法实战解读
》
售價：HK$
201.6
《
华夏衣裳：汉服制作实例教程
》
售價：HK$
178.8
《
狂飙年代：18世纪俄国的新文化和旧文化（第一卷）
》
售價：HK$
189.6
《
电气线路互联系统（EWIS）设计实践指南 达索析统（上海）信息技术有限公司
》
售價：HK$
178.8
《
商学精要（第12版）（工商管理经典译丛）
》
售價：HK$
118.8
《
产业政策的选择及其经济后果
》
售價：HK$
154.8
《
战争的幽灵
》
售價：HK$
105.6
|
| 內容簡介： |
|
本书结合日志易团队的多年经验，依照主流的日志管理系统设计理念，对日志分析的原理与实现步骤进行了系统性讲解。第1~3章分别介绍了日志分析的基本概念、日志管理相关的法律法规及规范要求、日志管理与分析系统的组成部分及技术选型建议。第4~9章分别针对日志采集、字段解析、日志存储、日志分析、日志告警、日志可视化等日志分析中*重要的实现步骤进行了具体阐述。第10~13章介绍了日志平台兼容性与扩展性、智能运维与SIEM相关的内容。
|
| 關於作者： |
|
日志易学院由北京优特捷信息技术有限公司创办，成员主要是优特捷公司技术骨干，专家团成员包括日志易创始人陈军、技术负责人黎吾平、产品负责人&运维专家饶琛琳等。日志易学院致力于研究、推广机器数据分析技术、实践智能运维理论与大数据安全分析场景。日志易学院名称来源于优特捷公司的核心产品“日志易平台”，该平台为日志管理与分析需求提供了完整的解决方案，技术国内领先，核心引擎自主可控，已成为数百家企业提升智能运维和安全运营能力的基础支撑平台。
|
| 目錄：
|
第1章走近日志001
1.1什么是日志002
1.1.1日志的概念002
1.1.2日志生态系统002
1.1.3日志的作用003
1.2日志数据004
1.2.1日志环境与日志类型005
1.2.2日志语法006
1.2.3日志管理规范009
1.2.4日志使用误区009
1.3云日志010
1.4日志使用场景011
1.4.1运维监控011
1.4.2安全审计012
1.4.3业务分析013
1.4.4物联网015
1.5日志未来展望016
第2章日志管理017
2.1概述018
2.2日志管理相关法律018
2.3日志管理要求019
2.4日志管理中存在的问题019
2.5日志管理的好处020
2.6日志归档024
第3章日志管理与分析系统025
3.1日志管理与分析系统的基本功能026
3.1.1日志采集026
3.1.2数据清洗027
3.1.3日志存储027
3.1.4日志告警027
3.1.5日志分析028
3.1.6日志可视化028
3.1.7日志智能分析028
3.1.8用户与权限管理029
3.1.9系统管理029
3.2日志管理与分析系统技术选型030
3.2.1日志分析的基本工具030
3.2.2开源+自研032
3.2.3商业产品032
3.3小结035
第4章日志采集036
4.1日志采集方式037
4.1.1Agent采集037
4.1.2Syslog038
4.1.3抓包039
4.1.4接口采集039
4.1.5业务埋点采集040
4.1.6Docker日志采集040
4.2日志采集常见问题041
4.2.1事件合并042
4.2.2高并发日志采集043
4.2.3深层次目录采集043
4.2.4大量小文件日志采集044
4.2.5其他日志采集问题044
4.3小结045
第5章字段解析046
5.1字段的概念047
5.2通用字段048
5.2.1时间戳048
5.2.2日志来源048
5.2.3执行结果049
5.2.4日志优先级049
5.3字段抽取049
5.3.1日志语法050
5.3.2字段抽取方法050
5.3.3常用日志类型的字段抽取052
5.4schema on write与schema on read054
5.5字段解析常见问题055
5.5.1字段存在别名055
5.5.2多个时间戳055
5.5.3特殊字符055
5.5.4封装成标准日志056
5.5.5类型转换056
5.5.6敏感信息替换056
5.5.7HEX转换057
5.6小结057
第6章日志存储058
6.1概述059
6.2日志存储形式059
6.2.1普通文本059
6.2.2二进制文本060
6.2.3压缩文本063
6.2.4加密文本064
6.3日志存储方式064
6.3.1数据库存储064
6.3.2分布式存储067
6.3.3文件检索系统存储069
6.3.4云存储071
6.4日志物理存储073
6.5日志留存策略073
6.5.1空间策略维度074
6.5.2时间策略维度074
6.5.3起始位移策略维度074
6.6日志搜索引擎074
6.6.1日志搜索概述075
6.6.2实时搜索引擎075
6.7小结077
第7章日志分析078
7.1概述079
7.2日志分析现状079
7.2.1对日志的必要性认识不足079
7.2.2缺乏日志分析专业人才079
7.2.3日志体量大且分散，问题定位难080
7.2.4数据外泄080
7.2.5忽略日志本身的价值080
7.3日志分析解决方案080
7.3.1数据集中管理080
7.3.2日志分析维度081
7.4常用分析方法082
7.4.1基线082
7.4.2聚类083
7.4.3阈值083
7.4.4异常检测083
7.4.5机器学习084
7.5日志分析案例085
7.5.1Linux系统日志分析案例085
7.5.2运营分析案例086
7.5.3交易监控案例088
7.5.4VPN异常用户行为监控案例088
7.5.5高效运维案例089
7.6SPL简介090
7.7小结092
第8章日志告警093
8.1概述094
8.2监控设置094
8.3告警监控分类098
8.3.1命中数统计类型的告警监控098
8.3.2字段统计类型的告警监控099
8.3.3连续统计类型的告警监控100
8.3.4基线对比类型的告警监控100
8.3.5自定义统计类型的告警监控101
8.3.6智能告警102
8.4告警方式102
8.4.1告警发送方式102
8.4.2告警抑制和恢复105
8.4.3告警的插件化管理105
8.5小结105
第9章日志可视化106
9.1概述107
9.2可视化分析107
9.2.1初识可视化107
9.2.2图表与数据109
9.3图表详解110
9.3.1序列类图表110
9.3.2维度类图表116
9.3.3关系类图表119
9.3.4复合类图表123
9.3.5地图类图表125
9.3.6其他图表127
9.4日志可视化案例134
9.4.1MySQL性能日志可视化134
9.4.2金融业务日志可视化138
9.5小结140
第10章日志平台兼容性与扩展性142
10.1RESTful API143
10.1.1RESTful API概述143
10.1.2常见日志管理API类型144
10.1.3API设计案例145
10.2日志App147
10.2.1日志App 概述147
10.2.2日志App的作用和特点147
10.2.3常见日志App类型148
10.2.4典型日志App案例151
10.2.5日志App的发展155
第11章智能运维157
11.1概述158
11.2异常检测159
11.2.1单指标异常检测160
11.2.2多指标异常检测166
11.3根因分析167
11.3.1相关性分析168
11.3.2事件关联关系挖掘170
11.4日志分析170
11.4.1日志预处理171
11.4.2日志模式识别172
11.4.3日志异常检测172
11.5告警收敛173
11.6趋势预测175
11.7智能运维面临的挑战176
第12章SIEM177
12.1概述178
12.2信息安全建设中存在的问题179
12.3日志分析在SIEM中的作用179
12.4日志分析与安全设备分析的异同180
12.5SIEM功能架构181
12.6SIEM适用场景182
12.7用户行为分析191
12.8小结198
参考文献199
|
| 內容試閱：
|
序 言
每位IT工程师，无论是从事开发、运维还是安全工作，都不可避免地要与IT日志打交道。IT日志，无论是系统日志、网络日志、还是应用日志，都是IT系统重要的数据之一。
我20多年前进入IT行业，在思科从事网络设备的软件开发，为了知道开发的软件是否正常运行，以及出错时及时定位问题，需要查看网络设备的日志。早我是用编辑器如vi手工查看日志的，靠肉眼搜寻日志里的信息或异常。为了提升效率，我也用grep等命令，或者写shell脚本程序，以及使用awk、sed等高级工具，对日志进行半自动化处理。
后来，我加入谷歌从事网页搜索工作。十多年前谷歌每天都要爬取100多亿个网页，在爬取各个网页时，可能遇到各种各样的错误，网页爬虫软件每天产生的日志就达数百TB。那么大的日志文件，已经无法用vi这样的编辑器打开查看，使用shell脚本程序或awk、sed等工具来查看日志，效率也非常低。当时谷歌内部已经普遍开始使用MapReduce编程架构（类似Hadoop的软件），我们就写MapReduce程序来分析日志，每天生成分析报表。每当遇到需要新的分析项时，又得添加MapReduce程序，还得运行MapReduce程序几十分钟甚至几个小时，才能生成分析结果。这是程序化处理海量日志的开始。
再后来我加入腾讯和高德地图，都需要处理数据中心或后台系统产生的大量日志，面对每天产生的海量日志，shell命令或脚本程序，以及awk、sed等工具，已经满足不了需求。我尝试过自己开发软件处理日志，以及使用Hadoop处理日志。当时，业界也有使用数据库存储、分析日志的解决方案，但日志是非结构化数据，数据库这种处理结构化数据的系统完全不适合处理日志。
大约10年前，IT进入大数据时代。运用大数据技术分析海量日志，属于IT运维分析（IT Operation Analytics，ITOA）这个新领域。在ITOA产生之前，IT运维主要还是IT运维管理（IT Operation Management，ITOM）。ITOA是ITOM的升级，是用大数据技术分析IT运维产生的海量数据的方法。数据源除了日志，还可能是网络流量，以及应用性能管理（Application Performance Management，APM）的探针数据。
Hadoop是广泛使用的大数据分析框架，后来又出现了更实时的Spark、Flink等框架。使用Hadoop/Spark/Flink等框架分析日志需要研发投入，每次有新的分析需求或新的日志，都需要投入研发资源。也有使用各种NoSQL来存储、分析日志的，如Clickhouse，MongoDB等，但这些基于Key-Value的NoSQL系统，适合预先抽取了日志里需要分析的字段，或者程序已经做了改造，使用JSON等格式，输出的日志已经基本结构化。
对于大多数难以改造的应用系统，输出的日志是自由文本格式，实时搜索引擎是好的解决方案。使用搜索引擎分析日志，可以搜索日志里的任何字段，如同网页搜索引擎可以搜索任何网页一样方便。对于需要分析的日志字段，可以在日志进入搜索引擎前抽取字段（Schema on Write）或在搜索分析日志时才抽取字段（Schema on Read，Schema on Fly，Schemaless）。与网页搜索引擎相比，日志搜索分析引擎更注重实时性，要求日志从产生到搜索分析出结果，只有几十秒的延时，而对于网页搜索的核心功能搜索相关性、搜索排序等，则基本用不上。
2003年Splunk在美国硅谷横空出世，这是个使用实时搜索引擎分析日志的产品。2010年Elasticsearch诞生，虽然Elasticsearch是个通用搜索引擎，但因为其开源免费，也被业界广泛应用于日志搜索分析。2014年日志易在中国诞生，中国用户有了更多的选择。
日志分析主要用于业务运维的可用性分析及应用性能分析，也可用于安全分析，以及实时业务分析。随着信息安全的发展，基于大数据的安全分析已经成为行业趋势。各种安全攻击层出不穷，需要基于全量日志和网络流量，对IT系统进行全面监测、分析，及时发现安全攻击。由此，诞生了基于日志的安全信息事件管理（Security Information Event Management，SIEM）及用户端点行为分析（User ＆ Entity Behavior Analytics，UEBA）解决方案，SIEM与UEBA已经成为安全运营中心（Security Operation Center，SOC）不可或缺的核心组件。
基于日志做实时业务分析，相较于基于数据库的商业智能（Business Intelligence，BI），更加实时，而且不会对主要用于支撑交易的数据库造成压力，影响业务交易，这也是现在普遍应用的在线分析处理（On-Line Analytics Processing，OLAP）技术。
物联网（Internet of Things，IoT）的兴起，产生了海量物联网数据需要分析，这些物联网数据与日志类似，都是带时间戳的时间序列机器数据，同样可以用日志搜索分析引擎进行分析。
?
近年来，日志分析又有了进一步发展。人工智能的普及，也应用到日志分析上，诞生了智能运维（AI for IT Operations，AIOps）技术，把机器学习、人工智能算法应用到分析日志等IT运维产生的数据上。同时，结合IT系统指标数据（Metrics），系统调用链数据（Tracing），及日志（Log），共同分析，实现IT系统可观察性（Observability）。
现在，苹果手机、微信等广泛使用的系统每天在后台产生的新增日志量已经达到PB级。IT日志数据这座金矿亟待开发，日志分析大有可为。
越来越多的公司在采集、管理、分析日志，为了帮助IT运维、安全及研发人员及管理人员更好地理解日志、实现日志的价值，日志易团队结合过去多年在日志管理分析领域积累的经验，凝聚集体智慧，耗时近两年，写成了《日志管理与分析》一书。这本书涵盖了日志管理、分析的各个方面，全面介绍了日志分析在运维和安全方面应用，以及智能运维。
IT运维工程师通过本书，可以了解日志系统的选型，如何分析日志，实现系统可用性监控及应用性能监控、故障发现与根因分析，以及智能运维。安全工程师通过本书，可以了解如何基于大数据进行安全分析，以及SIEM和UEBA。研发工程师通过本书，可以了解开发日志管理分析系统的关键点。IT架构师和管理人员通过本书，可以了解日志分析系统在企业IT管理中的作用及如何建设高效的日志管理分析系统。
本书由多位作者合作完成，具体分工如下：
? 第1章：张梦梦
? 第2、7章：王洪福
? 第3、4章：刘康
? 第5章：陈熠祺
? 第6、8章：刘诗韵
? 第9章：王刚、张梦梦
? 第10章：江付、赵中山
? 第11章：胡明昊、张梓聪、孟猛
? 第12章：任海峰
全书各章由郝香山、万梦晨完成统稿校对。
?
在本书写作过程中，得到清华大学孙雪老师、电子工业出版社朱雨萌老师及审稿专家的专业指导，得到饶琛琳、梁玫娟、丘木子、尹云飞、黄俊毅、黎吾平、詹凯、马阳光等日志易同事的支持与帮助，在此一并致谢。
经验所限，书中内容难免有错误不当之处，欢迎读者朋友批评指正。
陈军
日志易CEO
2021年春节于北京
|
|
購物車/收銀台(
0
) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
