新書推薦：
《
宋时飞花
》
售價：HK$
74.8
《
从农牧之争到陆海分流 陆海书系地缘政治
》
售價：HK$
74.8
《
常用中药材及饮片验收标准图谱
》
售價：HK$
217.8
《
盛世乾隆
》
售價：HK$
85.8
《
大白话讲透逻辑学
》
售價：HK$
57.2
《
魏晋南北朝史札记
》
售價：HK$
107.8
《
诗词格律概要：精装典藏纪念版（语言学大师王力写给古诗词初学者研习格律的进阶作）
》
售價：HK$
61.6
《
何以为证：在不确定的世界里寻找确定性
》
售價：HK$
75.9
|
| 內容簡介： |
|
本书以多模态人机交互中的说话人定位与跟踪为核心，以视听融合理论与机器学习方法为基础，针对多模态异质性数据融合、多模态置信水平度量、跨模态监督、多层次信息交互、多模态多目标数据关联等问题进行了研究，旨在通过融合视觉与听觉信息的互补性，克服单模态感知的局限性，提升复杂环境下的定位精度与鲁棒性。
|
| 關於作者： |
|
李一迪，1994年10月生，中共党员，于2023年获得北京大学计算机科学与技术博士学位。现任太原理工大学计算机科学与技术学院（大数据学院）副教授。其研究工作在计算机视觉与计算机听觉交叉融合的关键领域中取得了显著的科研成果，在人工智能领域国际顶级学术会议和SCI期刊上发表论文十余篇，荣获ACM中国新星奖（太原分会）
|
| 目錄：
|
第1章 绪论
1.1 研究背景与意义
1.2 问题描述与研究难点
1.2.1 研究问题描述
1.2.2 研究难点
1.3 研究方法与现状
1.3.1 基于听觉的声源定位
1.3.2 基于视觉的目标跟踪
1.3.3 多模态融合
1.3.4 基于视听融合的说话人定位与跟踪
1.4 本书内容与结构安排
1.4.1 本书内容
1.4.2 结构安排
第2章 面向视听融合的双层粒子滤波模型
2.1 引言
2.2 基于粒子滤波的目标跟踪算法
2.2.1 贝叶斯滤波原理
2.2.2 粒子滤波算法
2.3 基于双层粒子滤波模型的视听跟踪器
2.3.1 听觉引导的目标状态转移模型
2.3.2 自适应视听融合似然
2.3.3 最优粒子集
2.4 深度度量学习辅助的双层粒子滤波模型
2.4.1 深度度量学习辅助的观测模型
2.4.2 基于长短期机制的模板更新策略
2.5 实验结果与分析
2.5.1 数据集及实验设置
2.5.2 各模块的有效性评估
2.5.3 参数评估
2.5.4 相关工作对比实验
2.6 本章小结
第3 章 基于自监督多模态感知注意力机制的说话人定位与跟踪
3.1 引言
3.2 基于视听空间映射的声学线索提取
3.2.1 成像几何原理
3.2.2 全局相干场声学线索
3.2.3 时空全局相干场声学图谱
3.3 基于自监督多模态感知注意力机制的视听跟踪器
3.3.1 多模态感知注意力网络
3.3.2 跨模态自监督学习方法
3.3.3 多模态感知跟踪器
3.4 实验结果与分析
3.4.1 数据集与实验设置
3.4.2 MPT 各模块的有效性评估
3.4.3 相关工作对比实验
3.4.4 可视化分析
3.5 本章小结
第4 章 多人场景下的语义- 空间特征融合机制
4.1 引言
4.2 视听融合的关键词语义特征编码方法
4.2.1 视听特征提取
4.2.2 语义特征编码
4.2.3 视听关键词识别模型
4.3 基于交叉注意力的语义- 空间特征融合机制
4.3.1 视觉空间特征提取
4.3.2 听觉空间特征提取
4.3.3 多人场景下的两阶段语义- 空间特征融合
4.4 整体跟踪框架
4.5 实验结果与分析
4.5.1 数据集及实验设置
4.5.2 视听关键词识别模型评估
4.5.3 SSFT 各模块的有效性评估
4.5.4 相关工作对比实验
4.6 本章小结
第5 章 唤醒词线索增强的多说话人声源定位与跟踪
5.1 引言
5.2 唤醒词线索引导的主动目标跟踪
5.2.1 活跃说话人检测
5.2.2 唤醒词线索提取
5.3 唤醒词线索增强的声学图谱估计
5.3.1 视觉观测引导的声学图谱
5.3.2 唤醒词线索增强的声学图谱
5.4 整体跟踪框架
5.5 实验结果与分析
5.5.1 数据集及实验设置
5.5.2 视听唤醒词识别模型评估
5.5.3 WWET 各模块的有效性评估
5.5.4 相关工作对比实验
5.5.5 系统集成实验平台
5.6 本章小结
第6 章 结论及展望
参考文献
|
| 內容試閱：
|
基于视听融合的说话人定位与跟踪技术旨在通过对多模态传感器获取的视听数据进行综合分析以连续地定位场景中移动说话人的空间方位。该技术是人机交互的关键技术之一，也是计算机视觉与听觉等多领域交叉融合的重要研究课题。在实际应用场景中，说话人定位与跟踪面临着环境复杂性和传感器局限性的影响，例如，视觉易受光照变化、视野有限等因素的影响，听觉易受环境噪声、房间混响、间歇性语音等因素的干扰。视听融合技术通过克服模态间的异质性差异，挖掘多模态特征的相关性，并利用不同模态数据的互补信息，提高复杂动态场景的适应性，实现更高精度的定位与跟踪。因此，本书以视听融合为核心，围绕说话人定位与跟踪任务开展深入研究。
针对多模态异质性数据的融合问题，本书介绍了一种包含音频层和视频层的双层粒子滤波模型。该模型通过分层结构增加粒子的多样性，并在粒子滤波的更新和重置步骤中实现视听数据的特征融合和决策融合。该方法通过构建最优粒子集以重置视听粒子的位置，确保粒子的有效性，缓解粒子滤波算法中的粒子退化现象。对于多模态似然计算受观测噪声干扰的问题，本书提出了一种基于深度度量学习的观测模型。该模型使用判别式方法训练孪生网络，用于计算粒子扩散区域和目标模板的相似度，以获得对环境变化感知能力更强的自适应融合因子。实验表明，基于双层粒子滤波模型的视听跟踪器能够有效融合异质性数据中的互补信息。
针对不同模态的置信水平度量和跨模态监督问题，本书提出了一种基于自监督多模态感知注意力机制的说话人定位与跟踪方法。首先，构建了一种基于视听空间映射的声学线索，采用成像几何模型将多模态数据映射到共享语义子空间中。然后，提出了一种多模态感知注意力网络来对不同模态的感知权重建模，衡量受噪声干扰的间歇性音频和视频流的可靠性和有效性。最后，设计了一种跨模态自监督学习方法，利用不同模态之间的互补性和一致性对音频和视觉特征之间的对应关系进行建模，以自监督的方式集成了来自音频和视觉模态的丰富的学习信号。实验表明，基于多模态感知注意力机制的融合方法在本质上更接近于人类感官的选择性注意力机制。本书所提出的跟踪算法在模态缺失的场景中展现出准确且鲁棒的跟踪性能。针对多模态多层次信息交互问题，本书提出了一种多人场景下的语义-空间特征融合机制。首先，设计了一个基于视听融合的关键词识别网络，用于提取视听信号中的语义特征编码。然后，通过交叉注意力机制来融合高层次语义特征与低层次空间特征，充分利用多层次特征的优势，提供更多关于跟踪目标的上下文信息。该方法利用卷积神经网络强大的空间特征提取能力和注意力机制的相关性建模能力，在提取细粒度局部特征的同时对多层次跨模态全局信息进行建模，在网络浅层进行模态内特征增强，在网络深层进行跨模态信息交互。实验表明，该方法在存在无声参与者的多人场景中能够有效提取有区分性的融合特征。
针对多模态多目标数据关联问题，本书提出了一种基于唤醒词线索增强的多说话人声源定位与跟踪算法。首先，本书设计了基于注意力机制的活跃说话人检测模块和唤醒词线索提取方法，从音视频数据中提取唤醒词线索用于跟踪器的激活与初始化。在听觉特征提取过程中，本书将唤醒词线索中的语音活跃度作为先验信息来增强视觉引导的声学图谱中与当前说话人目标相关的特征分布，实现多模态数据关联。此外，本书在跟踪网络中设计了质量感知模块，通过结合来自单模态和多模态融合特征的信息来
估计当前帧的质量得分。本书基于质量得分提出了跟踪模板的更新和重置策略，确保多模态多目标观测的匹配准确性和跟踪连续性。实验表明，唤醒词线索增强方法能自适应地调节听觉特征增益，提高复杂环境中不同说话人声学线索的可区分性。所提出的多说话人跟踪网络在国际通用数据集上取得了具有竞争力的性能。
本书是作者在总结近五年研究成果的基础上撰写的。书中内容不仅包括基于视听融合的说话人定位与跟踪技术的基本原理和技术框架，还深入探讨了各种算法和模型的设计与实现，特别是它们在实际应用中的性能评估与优化策略。从基本理论到前沿技术，本书覆盖内容广泛，既为初学者提供入门指导，也为专业研究人员和工程师提供深入的技术细节和实用的
解决方案。
最后，感谢我的导师、家人和朋友对本书出版的支持与鼓励。希望本书
能够为多模态融合技术的发展和应用贡献一份力量，激励更多的研究者和工
程师投身于这一充满前景的领域，共同推动人工智能技术的进步。
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
暢銷書架
