新書推薦:

《
没有明天的我们,在昨天相恋
》
售價:HK$
47.1

《
流动的白银(一部由白银打开的人类文明发展史)
》
售價:HK$
63.8

《
饮食的谬误:别让那些流行饮食法害了你
》
售價:HK$
63.8

《
三千年系列:文治三千年+武治三千年+兵器三千年
》
售價:HK$
197.3

《
甲骨文常用字字典(精) 新版
》
售價:HK$
74.8

《
赖世雄经典英语语法:2025全新修订版(赖老师经典外语教材,老版《赖氏经典英语语法》超32000条读者好评!)
》
售價:HK$
65.8

《
影神图 精装版
》
售價:HK$
140.8

《
不止于判断:判断与决策学的发展史、方法学及判断理论
》
售價:HK$
74.8
|
內容簡介: |
大语言模型(简称大模型)是一种基于深度学习技术的先进人工智能模型,特别适用于理解和生成自然语言文本,它具有文生文、文生图、文生视频甚至未来的文生X等多种多模态形式。大模型的多功能性和通用性,使其能够在未经专门训练的情况下处理多种类型的自然语言任务。随着技术的发展,大模型已经成为自然语言处理领域的重要基石,并持续推动着人工智能技术的进步和社会应用的拓展。学习大模型课程不仅有利于个人专业成长,更能对社会进步和技术创新产生积极影响。人工智能及其大模型技术,是每个高校学生甚至社会人必须关注、学习和重视的知识与现实。本书介绍的大模型知识主要包括大模型基础、模型与生成式AI、大模型架构、人工数据标注、大模型预训练数据、大模型开发组织、提示工程与微调、强化学习方法、大模型智能体、大模型应用框架、技术伦理与限制、大模型产品评估等。本书特色鲜明,易读易学,适合高等院校计算机、大数据、人工智能等相关专业学生学习,也适合对人工智能以及大模型相关领域感兴趣的读者阅读参考。
|
目錄:
|
第1章大模型基础1
1.1人工智能基础1
1.1.1人工智能的实现途径1
1.1.2机器学和深度学2
1.1.3监督与无监督学3
1.2大模型定义5
1.2.1模型预训练和微调5
1.2.2大模型的征5
1.2.3大模型的势6
1.3大模型技术的形成6
1.3.1Blockhead思维实验7
1.3.2大模型的基础7
1.3.3基于Transformer模型8
1.3.4大模型的模型问题9
1.3.5文化知识传递和语言支持10
1.4通用人工智能11
1.4.1什么是通用人工智能11
1.4.2大模型与通用人工智能11
1.4.3人工智能生成内容12
【作业】13
【实践与思考】了解典型的开源大模型14
第2章大模型与生成式AI17
2.1什么是语言模型17
2.1.1语言模型的定义17
2.1.2注意力机制18
2.1.3开源还是闭源19
2.2大模型发展三段19
2.2.1基础模型段20
2.2.2探索段20
2.2.3突破发展段20
2.3Transformer模型21
2.3.1Transformer过程21
2.3.2Transformer结构24
2.3.3Transformer模块25
2.4生成式人工智能26
2.4.1生成式AI定义27
2.4.2生成式AI层次27
2.4.3生成式预训练语言模型GPT29
【作业】30
【实践与思考】基于ChatGPT的费工具: ChatAI小组件32
第3章大模型架构36
3.1大模型生成原理36
3.1.1上下文学37
3.1.2指令微调38
3.1.3零样本/少样本38
3.1.4深度学架构38
3.1.5训练策略及化技术39
3.1.6所谓模型39
3.2多模态语言模型40
3.2.1多模态指令微调40
3.2.2多模态上下文学41
3.2.3多模态思维链41
3.2.4大模型辅助视觉推理42
3.3大模型的结构42
3.3.1LLaMA的模型结构42
3.3.2LLaMA的注意力机制42
3.4应用技术架构44
3.4.1指令工程44
3.4.2函数调用44
3.4.3检索增强生成44
3.4.4微调45
3.5OpenAI的Sora大模型45
3.5.1Sora技术报告分析45
3.5.2Sora的主要技术点46
3.5.3Sora的模型训练过程46
【作业】47
【实践与思考】熟悉阿里云大模型“通义千问”49
第4章人工数据标注52
4.1知识表示方法52
4.1.1知识的概念52
4.1.2知识表示的定义53
4.1.3知识表示的过程54
4.2什么是数据标注55
4.3数据标注分类55
4.3.1图像标注56
4.3.2语音标注56
4.3.33D点云标注57
4.3.4文本标注57
4.4制定标注规则58
4.5执行数据标注58
4.6标注团队管理60
【作业】61
【实践与思考】熟悉百度大模型“文心一言”63
第5章大模型预训练数据67
5.1数据来源68
5.1.1通用数据68
5.1.2业数据69
5.2数据处理70
5.2.1质量过滤70
5.2.2冗余去除71
5.2.3隐私71
5.2.4词元切分71
5.3数据影响分析72
5.3.1数据规模73
5.3.2数据质量73
5.4典型的开源数据集74
5.4.1Pile数据集74
5.4.2ROOTS数据集75
5.5训练集、验证集、测试集的异同77
5.5.1训练、验证与测试数据集的不同之处77
5.5.2训练、验证与测试数据集的相似之处78
5.6数据集面临的挑战79
5.6.1规模和质量待提升79
5.6.2大模型与数据集相辅相成80
5.6.3标准规范需健全80
5.6.4存储性能待提高81
【作业】81
【实践与思考】熟悉Globe Explorer智能搜索引擎83
第6章大模型开发组织86
6.1大模型开发流程86
6.2大模型的数据组织88
6.2.1数据采集89
6.2.2数据清洗和预处理89
6.2.3数据标注90
6.2.4数据集划分90
6.2.5模型设计91
6.2.6模型初始化92
6.2.7模型训练92
6.2.8模型验证93
6.2.9模型存93
6.2.10模型测试94
6.2.11模型署94
6.3分而治之的思想95
6.3.1分布式计算95
6.3.2消息传递接口(MPI)96
6.3.3MapReduce模型97
6.3.4批处理和流处理98
6.4分布式训练与策略98
6.4.1什么是分布式训练99
6.4.2数据并行性100
6.4.3模型并行性101
6.4.4流水线并行性102
6.4.5混合并行103
6.4.6分布式训练集群架构103
【作业】104
【实践与思考】熟悉科大讯飞大模型“讯飞星火认知”107
第7章提示工程与微调111
7.1什么是提示工程111
7.1.1提示工程的原理111
7.1.2提示工程应用技术113
7.1.3提示的通用技巧114
7.2大模型为什么要微调115
7.3提示学和语境学116
7.3.1提示学116
7.3.2语境学117
7.4上下文窗口扩展118
7.5指令数据的构建118
7.5.1手动构建指令119
7.5.2自动构建指令119
7.5.3开源指令数据集120
7.6微调及其PEFT流行方案120
7.6.1微调技术路线120
7.6.2提示微调120
7.6.3前缀微调121
7.6.4LoRA121
7.6.5QLoRA121
【作业】121
【实践与思考】文生图: 注册使用Midjourney绘图工具123
第8章强化学方法126
8.1强化学的概念126
8.1.1强化学的定义126
8.1.2不同于监督和无监督学128
8.1.3不同于传统机器学128
8.1.4大模型的强化学129
8.1.5先验知识与标注数据130
8.2强化学基础130
8.2.1基于模型与模型环境131
8.2.2探索与利用131
8.2.3片段还是连续任务132
8.2.4网络模型设计132
8.3强化学分类133
8.3.1从奖励中学134
8.3.2被动与主动强化学134
8.3.3学徒学135
8.4深度强化学135
【作业】137
【实践与思考】熟悉文生视频大模型Sora138
第9章大模型智能体143
9.1智能体和环境143
9.2智能体的良好行为144
9.2.1性能度量144
9.2.2理性145
9.3环境的本质146
9.3.1任务环境146
9.3.2任务环境的属性147
9.4智能体的结构149
9.4.1智能体程序150
9.4.2学型智能体151
9.4.3智能体组件的工作152
9.5构建大模型智能体153
9.6人工智能内容生成(AIGC)154
9.6.1内容孪生154
9.6.2内容编辑155
【作业】156
【实践与思考】人形机器人创业独角兽Figure AI158
第10章大模型应用框架160
10.1大模型哲学问题160
10.1.1组成性160
10.1.2天赋论与语言得161
10.1.3语言理解与基础162
10.1.4模型163
10.1.5知识传递和语言支持163
10.2大模型应用流程163
10.2.1确定需求大小164
10.2.2数据收集165
10.2.3数据集预处理166
10.2.4大模型预训练166
10.2.5任务微调167
10.2.6署167
10.3大模型应用场景167
10.3.1机器翻译、文本理解与分析168
10.3.2自然语言生成168
10.3.3搜索与知识提取169
10.3.4代码开发169
10.3.5检测和预网络攻击170
10.3.6虚拟助理和客户支持170
10.3.7SEO关键词化170
10.4案例: Magic突破Q算法171
【作业】172
【实践与思考】通垃圾分类的ZenRobotics机器人173
第11章技术伦理与限制176
11.1人工智能面临的伦理挑战176
11.1.1人工智能与人类的关系176
11.1.2人与智能机器的沟通177
11.2数据隐私护对策178
11.2.1数据主权和数据权问题178
11.2.2数据利用失衡问题179
11.2.3构建隐私护伦理准则179
11.2.4健全道德伦理约束机制180
11.3人工智能伦理原则180
11.3.1职业伦理准则的目标180
11.3.2创新发展道德伦理宣言181
11.3.3欧盟可信赖的伦理准则182
11.4大模型的知识产权护183
11.4.1大模型的诉讼案例183
11.4.2大模型生成内容的知识产权护187
11.4.3尊重隐私,障,开放187
11.4.4边缘群体的数字平等188
【作业】188
【实践与思考】完全由人工智能完成的视觉艺术品无法获得版权190
第12章大模型产品评估192
12.1模型评估概述192
12.2大模型评估体系193
12.2.1知识与193
12.2.2伦理与194
12.2.3垂直领域评估197
12.3大模型评估实践198
12.3.1基础模型评估198
12.3.2学模型评估198
12.4大模型产品对比199
12.5大模型的大趋势202
【作业】203
【实践与思考】大模型横向对比测试实践205
附录A作业参考答案209
附录B课程学与实践总结212
参考文献216
|
|