新書推薦:

《
阴郁之人的晴朗之地(《床上抽烟危险》作者 恩里克斯 全新12篇惊悚入魂都市怪谈 恐怖灵异交织 拉美暗
》
售價:HK$
68.2

《
豆包AI从会用到精通
》
售價:HK$
63.8

《
HR必备法律工具书:企业用工风险防范实务操作与案例精解(第二版)
》
售價:HK$
118.8

《
日本装帧110年系谱
》
售價:HK$
173.8

《
稳富:悄悄存钱,稳稳变富
》
售價:HK$
63.8

《
神圣罗马帝国
》
售價:HK$
140.8

《
汗青堂丛书163——狄仁杰与武则天:武周革命与平民官僚的崛起
》
售價:HK$
96.8

《
历史、神话与艺术:东西方文化的解读和比较
》
售價:HK$
74.8
|
| 編輯推薦: |
|
u本书从大模型的基础理论、优化方法到能力扩展,全面覆盖了大模型的核心技术,帮助读者构建完整的知识体系,逐步深入理解大模型的技术演进与挑战。u本书深入分析了生成式人工智能在学术界和产业界的最新发展,帮助读者把握技术趋势,了解大模型技术在各个领域的应用潜力,预见未来的技术创新与突破。u本书不仅适合作为计算机相关专业的教材,还可作为生成式人工智能领域的研究参考书,具有很高的适用性与指导价值,适合高等院校教学与研究使用。
|
| 內容簡介: |
|
大模型技术正处于人工智能领域的前沿。随着模型规模的扩大,技术复杂性和资源需求急剧增加,如何优化性能、提升效率并应对相关挑战,成为当前研究的核心问题。本书深入解析大模型的基础、优化方法及复杂任务适应,全面展示其前沿技术和应用潜力。全书分为“大模型基础”“大模型优化方法”“大模型能力扩展”三部分,逐步深入地介绍了大模型的核心技术和前沿发展。第一部分“大模型基础”作为基础篇,注重理论铺垫;第二部分“大模型优化方法”作为进阶篇,深入技术细节;第三部分“大模型能力扩展”作为高级篇,聚焦前沿挑战。本书适合作为高等院校非计算机专业本科生、计算机相关专业本科生及研究生的教材。无论是通识课程还是专业课程,均能提供从入门到深入的全面知识支持。
|
| 目錄:
|
目录
第一部分大模型基础
第1章预训练语言模型基础概述3
1.1Transformer简介3
1.1.1Transformer架构3
1.1.2关键技术4
1.1.3作用与影响6
1.2预训练语言模型概述7
1.2.1基于Transformer的模型架构7
1.2.2BERT模型8
1.2.3GPT系列模型9
1.2.4BART模型12
1.2.53种模型对比13
1.3总结与习题15
1.3.1本章总结15
1.3.2本章习题15
第2章大模型架构概述17
2.1ChatGPT模型简介17
2.1.1模型架构17
2.1.2训练过程18
2.1.3模型不足19
2.2Mamba模型简介20
2.2.1模型架构20
2.2.2技术细节21
2.2.3模型原理22
2.3MoE模型简介23
2.3.1模型架构23
2.3.2技术细节23
2.3.3计算优化26
2.4总结与习题27
2.4.1本章总结27
2.4.2本章习题28
目录〖3〗第3章大模型基础调优与评估29
3.1大模型微调29
3.1.1大模型微调技术起源29
3.1.2不同模型微调数据30
3.1.3LoRA技术32
3.1.4强化反馈技术37
3.1.5思维链技术42
3.1.6大模型微调技术对比46
3.2大模型对齐47
3.2.1大模型对齐的定义与意义47
3.2.2对齐方法分类49
3.2.3主要对齐技术51
3.2.4大模型对齐评估59
3.3大模型评估65
3.3.1大模型评估的介绍65
3.3.2大模型评估体系发展阶段与分类66
3.3.3评估任务分类72
3.4总结与习题91
3.4.1本章总结91
3.4.2本章习题91
第二部分大模型优化方法
第4章大模型生成质量优化954.1大模型幻觉95
4.1.1大模型幻觉的分类方法95
4.1.2大模型幻觉的来源97
4.1.3大模型幻觉的检测方法100
4.1.4大模型的幻觉评估103
4.1.5大模型幻觉的解决方案107
4.2检索增强生成112
4.2.1检索增强生成的概念、基本框架与动机112
4.2.2检索增强生成的相关技术介绍114
4.2.3检索增强生成的分类116
4.2.4检索增强生成的方法介绍118
4.2.5评估指标与评估维度129
4.2.6检索增强生成的应用131
4.2.7挑战与未来133
4.3大模型中的知识冲突134
4.3.1知识冲突简介134
4.3.2无源冲突137
4.3.3多源冲突142
4.4大模型的可控生成148
4.4.1可控生成的定义与意义148
4.4.2面向图像的可控生成150
4.4.3面向文本的可控生成156
4.4.4数据集与评估方法159
4.5数据合成技术163
4.5.1合成数据介绍163
4.5.2合成数据的方法166
4.5.3合成数据的评价方法169
4.6总结与习题171
4.6.1本章总结171
4.6.2本章习题171
第5章大模型推理能力优化173
5.1大模型推理能力173
5.1.1大模型推理的主要任务173
5.1.2大模型推理能力分析174
5.1.3基于提示工程的方法175
5.1.4基于数据集构建的方法180
5.1.5基于蒙特卡洛的方法180
5.1.6逆转诅咒的缓解方法181
5.1.7应用场景183
5.2知识编辑技术185
5.2.1知识编辑介绍185
5.2.2知识编辑方法186
5.2.3评估方法与基准199
5.2.4不足分析205
5.3总结与习题206
5.3.1本章总结206
5.3.2本章习题207
第6章大模型的计算存储优化208
6.1大模型计算效率优化208
6.1.1大模型计算效率优化技术介绍208
6.1.2基于大模型训练效率的优化方法210
6.1.3基于大模型推理效率的优化方法220
6.1.4基于大模型生成效率的优化方法231
6.2大模型压缩技术236
6.2.1大模型压缩介绍236
6.2.2大模型压缩方法236
6.2.3大模型压缩评估250
6.2.4小模型现状255
6.2.5未来与挑战275
6.3总结与习题276
6.3.1本章总结276
6.3.2本章习题277
第三部分大模型能力扩展
第7章大模型的复杂任务适应2817.1长文本处理与生成281
7.1.1长文本处理与生成技术介绍281
7.1.2长文本处理能力扩展的关键技术282
7.1.3长文本生成能力扩展的关键技术286
7.1.4长文本处理效率的提升技术290
7.1.5长文本处理的评价292
7.1.6长文本生成的评价296
7.1.7长文本生成的应用297
7.1.8未来挑战与发展方向297
7.2大模型的表格处理299
7.2.1大模型的表格处理介绍299
7.2.2表格数据处理的难点300
7.2.3表格数据的建模方法301
7.2.4任务列举310
7.2.5表格处理的限制与未来方向318
7.3总结与习题319
7.3.1本章总结319
7.3.2本章习题320
第8章基于模态的大模型能力扩展321
8.1多模态大模型321
8.1.1多模态大模型的介绍321
8.1.2多模态大模型相关技术基础323
8.1.3多模态大模型分类329
8.1.4多模态学习的关键技术335
8.1.5多模态大模型训练方法338
8.1.6多模态应用339
8.1.7多模态学习的挑战与未来方向342
8.2图提示学习345
8.2.1图提示学习的概念、核心任务与动机345
8.2.2图提示学习的相关技术348
8.2.3图提示学习的分类349
8.2.4图提示学习的方法350
8.2.5图提示学习局限分析357
8.3总结与习题358
8.3.1本章总结358
8.3.2本章习题358
第9章基于反馈的大模型能力扩展360
9.1智能体360
9.1.1智能体的基础概念与理论框架360
9.1.2智能体的关键模块362
9.1.3智能体分类367
9.1.4智能体最新研究进展371
9.1.5智能体的安全性373
9.1.6智能体的垂域应用374
9.1.7智能体评估基准375
9.2大模型持续学习376
9.2.1持续学习介绍376
9.2.2持续学习的方法分类380
9.2.3持续预训练382
9.2.4持续自适应预训练385
9.2.5持续微调388
9.2.6外部知识395
9.2.7持续学习的发展趋势397
9.3总结与习题399
9.3.1本章总结399
9.3.2本章习题399
第10章大模型合规发展401
10.1大模型人格401
10.1.1研究背景与意义401
10.1.2研究现状与挑战402
10.1.3研究方法403
10.1.4常用数据集415
10.1.5未来研究方向416
10.2大模型生成文本检测418
10.2.1研究背景与定义418
10.2.2生成文本检测方法421
10.2.3影响可检测性的因素427
10.2.4挑战和未来方向430
10.3总结与习题432
10.3.1本章总结432
10.3.2本章习题432
|
| 內容試閱:
|
前言
生成式人工智能(Generative AI)是当今人工智能领域的核心技术之一,近年来得到了广泛关注和迅猛发展。从文本生成、图像创作到音频合成,生成式模型不仅在学术界取得了重要突破,也在产业界引发了变革。特别是以深度学习为基础的模型,如ChatGPT、Mamba等,已在自然语言处理、计算机视觉等多个领域取得显著成果,推动了智能问答、自动写作、虚拟助手、创意设计等实际应用的发展。
本书的编写,始于我们对当前大模型技术和人工智能领域快速发展的关注。生成式人工智能作为推动技术进步的核心力量,在学术界和产业界引起了广泛的讨论和应用。从自然语言处理、图像处理到跨模态系统的构建,大模型技术已经在多个领域展现出巨大潜力。同时,作为走向通用人工智能的关键技术,众多国内外研究者投身于大模型相关技术研究: 一方面使该技术领域的研究呈现蓬勃发展的状态,对应领域的研究深度、研究广度不断拓展;而另一方面也使得该技术领域的从业门槛大幅提升。高校作为高层次人才培养的主体,需要为国家培养该领域的专业人才。为此,迫切需要一本可以作为计算机相关专业本科生及研究生的生成式人工智能类专业教材,这是本书编写的重要目标。
本书的编写始于2024年4月,经过数月的资料收集和教材内容规划,至2024年9月初步确定了框架和主要内容,并于2024年10月正式启动写作。这一过程中,研究小组有超过20位师生参与,是我们研究小组迄今为止投入人数最多、持续时间最长的一项集体科研活动。力求通过清晰的结构,使不同背景的读者能够深入理解生成式人工智能的核心技术及其发展趋势。
王兴伟教授领导了本书的编写工作,确定了编写的总体目标、编写原则,以及适用对象,定期组织专家讨论编写情况,对内容提出了一系列关键建议。任飞亮教授确定了内容及组织框架,指导学生进行内容的资料收集、撰写等工作,并校对、审核了每位学生的撰写内容。李瑞婷、裴颖鑫、齐屹旸等同学为本书的撰写做出了突出贡献,负责撰写内容均超过5万字,同时协助任飞亮教授进行了最后的统稿、内容整体审核等工作。除上述编者外,还有近20位同学参与了本书的编写工作。非常感谢廖婷婧、王凌宇、唐家宝、吉喆、王嘉岐等同学,他们在本书编写过程中付出了大量辛苦工作,为编写提出了很多重要建议,并且高质量地完成了各自负责章节内容的撰写,相应内容为本书贡献的字数均超过2万字,他们撰写的内容也为其他参与同学提供了编写范例。此外,斯德鑫、张彦聪、王世超、张嘉镐、张珈硕、罗泱鸿、杨仓懿、丁炜腾、张佳旭、韩星臣、韩渊涛、李天扬和张瑞豪等同学也都参与了本书不同章节的撰写,为本书的编写同样做出了重要贡献。
我们非常希望本书可以为用户提供一些有益的帮助。但由于编者水平有限,并且涉及的内容繁多、参考资料丰富,编写过程中难免存在一些不足与疏漏的地方。在此,诚恳地希望读者能提出宝贵意见与建议,若发现错误或疏漏之处,欢迎随时联系,我们会尽快改正。
最后,衷心希望这本书能为大家提供帮助,激励更多的人投身于人工智能技术的研究与探索。
作者2025年8月
|
|