登入帳戶  | 訂單查詢  | 購物車/收銀台(0) | 在線留言板  | 付款方式  | 運費計算  | 聯絡我們  | 幫助中心 |  加入書簽
會員登入   新用戶登記
HOME新書上架暢銷書架好書推介特價區會員書架精選月讀2024年度TOP分類瀏覽雜誌 臺灣用戶
品種:超過100萬種各類書籍/音像和精品,正品正價,放心網購,悭钱省心 服務:香港台灣澳門海外 送貨:速遞郵局服務站

新書上架簡體書 繁體書
暢銷書架簡體書 繁體書
好書推介簡體書 繁體書

五月出版:大陸書 台灣書
四月出版:大陸書 台灣書
三月出版:大陸書 台灣書
二月出版:大陸書 台灣書
一月出版:大陸書 台灣書
12月出版:大陸書 台灣書
11月出版:大陸書 台灣書
十月出版:大陸書 台灣書
九月出版:大陸書 台灣書
八月出版:大陸書 台灣書
七月出版:大陸書 台灣書
六月出版:大陸書 台灣書
五月出版:大陸書 台灣書
四月出版:大陸書 台灣書
三月出版:大陸書 台灣書

『簡體書』OpenVINO?工具套件权威指南:轻松实现AI模型的优化和部署 武卓 李翊玮 张晶

書城自編碼: 4106233
分類:簡體書→大陸圖書→計算機/網絡人工智能
作者: 武卓 李翊玮 张晶
國際書號(ISBN): 9787111777298
出版社: 机械工业出版社
出版日期: 2024-12-01

頁數/字數: /
書度/開本: 16开 釘裝: 平装

售價:HK$ 86.9

我要買

share:

** 我創建的書架 **
未登入.



新書推薦:
智能图像处理
《 智能图像处理 》

售價:HK$ 64.9
善一分殊:儒家论形而上学、道德、礼、制度与性别 | 比较哲学翻译与研究丛书
《 善一分殊:儒家论形而上学、道德、礼、制度与性别 | 比较哲学翻译与研究丛书 》

售價:HK$ 109.8
泛逻辑理论--统一智能理论的逻辑基础
《 泛逻辑理论--统一智能理论的逻辑基础 》

售價:HK$ 327.8
戏舞霓裳:中国传统戏曲服饰制作技艺研究
《 戏舞霓裳:中国传统戏曲服饰制作技艺研究 》

售價:HK$ 184.8
丹漆随梦:中国美术馆藏漆画艺术展作品集
《 丹漆随梦:中国美术馆藏漆画艺术展作品集 》

售價:HK$ 528.0
中国非遗文化探寻绘本——舞狮男仔
《 中国非遗文化探寻绘本——舞狮男仔 》

售價:HK$ 38.5
大唐开国录——唐高祖与唐太宗 历史 杜文玉著 揭秘李渊、李世民权谋征伐,再现大唐开国风云
《 大唐开国录——唐高祖与唐太宗 历史 杜文玉著 揭秘李渊、李世民权谋征伐,再现大唐开国风云 》

售價:HK$ 107.8
无人机摄影与摄像从新手到高手
《 无人机摄影与摄像从新手到高手 》

售價:HK$ 54.8

編輯推薦:
作者来自英特尔亚太研发团队和百度飞桨。多位业内大咖推荐!
系统覆盖工具套件从入门到高阶应用,详解模型转换、性能优化、量化技术等核心技术,结合聊天机器人、Stable Diffusion、智能视频分析等多领域实战案例,提供端到端优化方案与工程化实践经验。紧跟边缘计算、大模型轻量化等技术趋势,兼顾理论与实操,助力 AI 开发者快速掌握异构加速、端边云协同等落地技巧,是提升模型推理效能、拓展智能应用场景的实用技术宝典。
內容簡介:
本书旨在帮助开发者应对AI推理计算性能优化这一重要挑战。随着深度学习模型的规模和复杂性日益增长,如何提升推理效率已成为开发者关注的核心问题。本书详细介绍了OpenVINOTM(Open Visual Inference and Neural Network Optimization)这款由英特尔推出的,专为深度学习模型的优化、加速推理和跨平台部署设计的开源工具套件。通过简单易用的功能,开发者可以快速上手,实现AI应用的高效落地。 來源:香港大書城megBookStore,http://www.megbook.com.hk
本书涵盖了从OpenVINO的基础入门到高级优化的完整内容,包括设备插件、量化技术、大语言模型和生成式AI的优化与部署等,帮助开发者灵活应对不同应用场景的需求。此外,书中还介绍了端到端AI推理计算性能提升的实战案例,以及与PyTorch、ONNX Runtime等工具的集成,确保开发者在熟悉的环境中提升开发效率。书中代码获取方式见前言。
本书不仅适合AI领域的初学者,也为有经验的开发者提供了深入的技术指南。通过OpenVINO,开发者可以轻松提升AI推理计算性能,加速AI应用项目的成功落地。
關於作者:
武卓 博士,英特尔AI软件布道师。曾任上海大学副教授,硕士生导师,主持及参与国家级及省部级科研项目十余项。并曾在贝尔实验室(中国)担任研究科学家,负责5G通信系统的新技术研发及标准化工作。在加入英特尔之前,在埃森哲(中国)有限公司担任数据科学家,负责向客户交付基于AI的解决方案。
李翊玮 英特尔开发者生态技术推广经理,主责拓展AIoT生态合作伙伴网络。台湾清华大学凝聚态物理学硕士,上海交通大学创新学院企业导师,曾在杜邦担任半导体研发工程师及苹果项目/业务经理,后在奥图码担任产品总监,专注云端、AI硬件和软件集成及商业化。兴趣包括新技术探索、游泳及球类运动等。
张晶 百度飞桨高级产品经理,Linux基金会亚太区开源布道师,英特尔创新大使,《深度学习图像识别技术》《Python语言程序设计》作者之一,LabVIEW注册构架师,上海交通大学创新学院企业导师,华南农业大学工程学院研究生第二导师,东莞理工学院企业硕士导师。

武卓,2006年获得英国约克大学电子学博士学位。2006—2014年就职于上海大学,担任副教授,研究生导师,主要负责无线通信领域算法研究,主持国家级及省部级科研项目十余项。2014—2018年就职于贝尔实验室(中国)担任研究科学家,负责5G通信标准化及AI工业应用相关研究,已授权国际国内专利十余项。2018—2021年任职于埃森哲(中国)有限公司,担任数据科学家,负责AI相关的行业解决方案制定及交付。目前担任英特尔中国区AI布道师。已在人工智能、通信等相关领域的国际期刊以及会议上发表学术论文40余篇、申请或授权的国际国内专利20余项,并出版学术著作一本。
目錄
前言
第1章OpenVINOTM工具套件快速入门
1.1OpenVINOTM 工具套件简介
1.2OpenVINOTM 常用工具和组件
1.3搭建OpenVINOTM Python开发环境
1.4使用OpenVINOTM Model Converter转换模型
1.4.1OpenVINOTM IR模型
1.4.2使用OVC转换模型
1.5使用benchmark_app评估模型推理计算性能
1.6编写OpenVINOTM同步推理程序
1.6.1OpenVINOTM同步推理程序典型流程
1.6.2创建Core对象
1.6.3读取并编译模型
1.6.4获取图像数据
1.6.5数据预处理
1.6.6执行 AI 推理计算并获得推理结果
1.6.7对推理结果进行后处理
1.6.8运行完整的推理程序
1.7本章小结
第2章优化AI模型的推理计算性能
2.1AI推理计算性能评价指标
2.1.1AI模型的推理计算性能
2.1.2端到端的AI程序推理计算性能
2.2OpenVINOTM 设备插件
2.2.1CPU插件、GPU插件和NPU插件
2.2.2自动设备选择(AUTO)
2.2.3用代码指定计算设备
2.3性能提示(Performance Hints)
2.3.1LATENCY(延迟优先)
2.3.2THROUGHPUT(吞吐量优先)
2.3.3CUMULATIVE_THROUGHPUT(累计吞吐量)
2.3.4用代码配置性能提示属性
2.4计算设备的属性
2.4.1获得属性
2.4.2设置属性
2.5推理请求数量(Number of Infer Requests)
2.5.1最佳推理请求数
2.5.2用代码设置推理请求数
2.6自动批处理(Automatic Batching)
2.6.1启用自动批处理
2.6.2设置批尺寸
2.6.3设置自动批处理超时
2.7模型缓存(Model Caching)
2.8线程调度(Thread Scheduling)
2.9共享内存(Shared Memory)
2.9.1输入共享内存
2.9.2输出共享内存
2.10编写带属性配置的OpenVINOTM同步推理程序
2.10.1创建推理请求对象
2.10.2阻塞式推理计算方法:infer()
2.10.3基于YOLOv8-cls分类模型的同步推理程序
2.10.4基于YOLOv8目标检测模型的同步推理程序
2.10.5基于YOLOv8-seg实例分割模型的同步推理程序
2.11本章小结
目录OpenVINOTM工具套件权威指南:轻松实现AI模型的优化和部署第3章模型量化技术
3.1深度学习中常见的数据类型
3.1.1如何用二进制表示浮点数
3.1.2不同数据类型的存储需求和计算效率
3.2INT8量化
3.3NNCF
3.4搭建NNCF开发环境
3.5基础量化
3.5.1准备COCO验证数据集
3.5.2编写转换函数transform_fn()
3.5.3准备校准数据集
3.5.4调用nncf.quantize()函数执行INT8量化
3.5.5保存INT8量化好的模型
3.5.6测试INT8模型性能
3.5.7基础量化小结
3.6带精度控制的量化
3.6.1准备COCO128验证数据集
3.6.2编写转换函数transform_fn()
3.6.3准备校准数据集和验证数据集
3.6.4准备验证函数
3.6.5调用nncf.quantize_with_accuracy_control()函数执行INT8量化
3.6.6保存INT8量化好的模型
3.6.7测试INT8模型性能
3.6.8带精度控制的量化小结
3.7本章小结
第4章优化端到端的AI程序推理计算性能
4.1端到端的AI程序推理计算性能
4.2预处理API
4.2.1导出YOLOv8s IR模型
4.2.2实例化PrePostProcessor对象
4.2.3声明用户输入数据信息
4.2.4声明原始模型输入节点的布局信息
4.2.5定义预处理步骤
4.2.6将预处理步骤嵌入原始AI模型
4.2.7保存嵌入预处理的AI模型
4.2.8内嵌预处理后的模型性能
4.3torchvision预处理转换器
4.4使用异步推理提升AI程序的吞吐量
4.4.1OpenVINOTM异步推理API
4.4.2YOLOv8异步推理范例
4.5使用AsyncInferQueue进一步提升AI程序的吞吐量
4.6多路视频流并行推理
4.6.1下载无版权视频
4.6.2下载person-detection-0202模型并准备前、后处理函数
4.6.3编写推理线程
4.6.4编写显示线程
4.6.5启动多线程
4.7本章小结
第5章OpenVINOTM的编程生态
5.1指定OpenVINOTM为PyTorch 2.×后端
5.1.1torch.compile简介
5.1.2OpenVINOTM后端
5.2ONNX Runtime的OpenVINOTM执行提供者
5.2.1搭建ONNX Runtime开发环境
5.2.2OpenVINOTM执行提供者范例程序
5.3Optimum Intel的OpenVINOTM后端
5.3.1搭建开发环境
5.3.2用optimum-cli对Qwen2-1.5B-Instruct模型进行INT4量化
5.3.3编写推理程序qwen2_optimum.py
5.4LangChain的OpenVINOTM后端
5.4.1LangChain支持OpenVINOTM后端
5.4.2编写推理程序qwen2_langchain.py
5.5vLLM的OpenVINOTM后端
5.5.1搭建OpenVINOTM vLLM开发环境
5.5.2vLLM的范例程序
5.6OpenVINOTM C/C API
5.6.1常用OpenVINOTM C/C API
5.6.2搭建OpenVINOTM C 开发环境
5.6.3运行OpenVINOTM C 范例程序
5.7OpenVINOTM JavaScript API
5.7.1常用OpenVINOTM JavaScript API
5.7.2搭建OpenVINOTM JavaScript开发环境
5.7.3运行OpenVINOTM JavaScript范例程序
5.8OpenVINOTM C# API
5.8.1常用OpenVINOTM C# API
5.8.2搭建OpenVINOTM C#开发环境
5.8.3运行OpenVINOTM C#范例程序
5.9OpenVINOTM Java API
5.9.1常用OpenVINOTM Java API
5.9.2搭建OpenVINOTM Java开发环境
5.9.3运行OpenVINOTM Java范例程序
5.10OpenVINOTM LabVIEW API
5.10.1常用OpenVINOTM LabVIEW API
5.10.2搭建OpenVINOTM LabVIEW开发环境
5.10.3运行OpenVINOTM LabVIEW范例程序
5.11本章小结
第6章无监督异常检测库Anomalib
6.1为什么要使用无监督异常检测
6.2Anomalib概述
6.2.1Anomalib支持的视觉任务
6.2.2Anomalib适用的数据类型
6.3Anomalib的关键组件
6.3.1Anomalib的算法
6.3.2Anomalib的功能模块
6.4Anomalib的工作流程
6.5搭建Anomalib开发环境
6.6使用命令实现模型的训练、测试和推理
6.6.1训练并测试模型
6.6.2模型推理
6.7使用API实现模型的训练、测试和推理
6.7.1模型训练
6.7.2测试模型
6.7.3导出模型
6.7.4执行推理计算
6.8本章小结
第7章大语言模型的优化与部署
7.1大语言模型简介
7.1.1基于Transformer架构的大语言模型的技术演进
7.1.2基于仅解码器架构的GPT系列模型的技术演进
7.1.3大语言模型推理计算的挑战
7.1.4键值缓存优化技术
7.1.5有状态模型
7.2使用OpenVINOTM优化大语言模型推理计算
7.2.1使用Optimum Intel工具包部署Llama 3
7.2.2使用OpenVINOTM GenAI API部署Llama 3
7.3基于Llama 3模型实现聊天机器人
7.3.1Gradio库简介
7.3.2聊天机器人的代码实现
7.4基于LangChain Llama 3模型实现RAG
7.4.1RAG简介
7.4.2LangChain框架简介
7.4.3LangChain框架对OpenVINOTM的支持
7.4.4RAG系统的代码实现
7.5基于LangChain Llama 3模型实现AI Agent
7.5.1基于LLM的AI Agent简介
7.5.2常见的开发AI Agent的框架
7.5.3AI Agent的代码实现
7.6本章小结
第8章Stable Diffusion模型的优化与部署
8.1扩散模型简介
8.2Stable Diffusion系列模型的技术演进
8.3优化和部署Stable Diffusion 3 Medium模型
8.3.1搭建开发环境
8.3.2下载权重文件到本地
8.3.3导出SD3 Medium的OpenVINOTM IR格式模型
8.3.4编写推理代码,实现一键生成创意海报
8.4本章小结
第9章多模态大模型的优化与部署
9.1单模态AI简介
9.2转向多模态AI的必要性
9.3优化和部署LLaVA-NeXT多模态模型
9.3.1搭建开发环境
9.3.2下载权重文件到本地
9.3.3模型转换为OpenVINOTM IR格式
9.3.4使用OpenVINOTM进行量化优化
9.3.5设备选择与配置
9.3.6推理流水线设置
9.3.7运行推理并展示结果
9.4本章小结
第10章开源社区资源
10.1英特尔开发人员专区及开发套件专区
10.2“英特尔物联网”公众号
10.3“英特尔创新大使”计划
內容試閱
在当前人工智能迅猛发展的背景下,如何提升AI应用的推理计算性能已成为开发者面临的重要挑战。随着模型规模的不断扩大和复杂度的增加,如何有效地优化推理速度和性能,已经成为实现高效AI应用的关键因素之一。为此,本书旨在为开发者提供一份全面且实用的OpenVINO工具套件权威指南,帮助大家充分利用这一强大的工具。
OpenVINOTM是英特尔推出的一款针对深度学习模型优化、推理加速以及快速部署的开源工具套件,旨在提升深度学习模型的推理效率以及跨平台部署速度。其简单易用的特点使得开发者能够快速上手,从而专注于AI应用的创新与实现。本书将从OpenVINOTM的快速入门开始,系统介绍其核心组件和工具,通过一个同步推理程序的编写示例,你将发现OpenVINOTM是如何简化复杂的推理过程,使AI模型的部署变得更加高效的。
OpenVINO的一个重要特点是能够显著提升AI模型的推理计算性能。在第2章,我们将深入探讨如何通过OpenVINO提供的优化工具来提升AI模型的推理计算性能。这里主要指的是提升AI模型单纯的推理计算性能,不包含数据预处理和后处理等处理步骤。这里介绍了设备插件、性能提示、自动批处理、模型缓存、线程调度等工具,开发者可以根据具体应用场景灵活运用。这些优化技术不仅提高了推理速度,也为开发者提供了更高的灵活性和可控性。
在第3章,我们将重点介绍OpenVINO中最重要的模型优化工具——神经网络压缩框架(NNCF),尤其是其中的训练后量化技术。这一技术能够简单快速地对模型进行量化压缩,显著减少模型大小,提高推理速度,同时保持模型的准确性。通过基础量化以及带精度控制的量化两个具体的实例,帮助开发者详细了解训练后量化技术的使用方法,方便实现更高效的模型部署。
第4章聚焦AI推理的端到端性能,包括数据采集、数据预处理、AI推理计算和数据后处理的整体性能。通过详细的步骤以及基于YOLOv8编写的异步推理范例,开发者能够快速掌握提升端到端AI推理计算性能的方法,确保你的AI应用能够以最佳性能运行。在本章,还提供了多路视频流并行推理的编写示例,帮助读者更好地理解和实际落地应用这些技术。
随着OpenVINO生态系统的不断扩展,第5章将深入探讨与多种编程语言的集成,包括作为推理后端与PyTorch 2.×、ONNX Runtime、LangChain、Optimum Intel等的集成。这意味着开发者能够在熟悉的环境中轻松实现高效的AI应用,降低了学习曲线,提升了开发效率。本章还将介绍OpenVINO的C/C API、JavaScript API、C# API、Java API、LabVIEW API等,使得不同背景的开发者均能找到适合自己的开发方式。
作为AI落地应用中的重要使用场景——异常检测,在OpenVINO生态中还有一个专门针对此任务的开源无监督异常检测库,即Anomalib。第6章为开发者详细介绍了Anomalib的关键组件、工作流程以及如何搭建端到端的异常检测算法的流程,帮助开发者在实际应用中实现高效可靠的异常检测,增强AI应用的实用性。
近两年生成式AI大模型的发展进入了爆发式的增长时期。第7章和第8章将分别针对大语言模型以及视觉生成式AI大模型中的文生图模型Stable Diffusion,介绍其典型结构,以及如何利用OpenVINO的多种方式优化模型、建立推理流水线以及加快模型的推理速度和实现快速部署。这一部分内容将为希望在生成式AI领域有所作为的开发者提供丰富的理论与实践指导。
本书的编写过程中,得到了众多英特尔创新大使的大力支持与贡献。他们在本书的编写过程中提供了宝贵的见解和建议,使得内容更加丰富和实用。感谢张海刚和冯浩贡献“5.6 OpenVINOTM C/C API”一节,感谢涂小丽贡献“5.7 OpenVINOTM JavaScript API”一节,感谢颜国进贡献“5.8 OpenVINOTM C# API”一节,感谢黄明明贡献“5.9 OpenVINOTM Java API”一节,感谢王立奇贡献“5.10 OpenVINOTM LabVIEW API”一节,衷心感谢褚建琪大使在EdgeX与OpenVINO整合项目中的宝贵贡献。感谢他们的不懈努力,让本书能够更好地服务于广大开发者。
希望本书能为广大开发者提供有价值的参考与指导,助力他们在AI领域的探索与创新。通过OpenVINO,开发者将能轻松地实现高效的AI推理,推动基于AI应用的项目走向成功。无论你是AI领域的初学者,还是有经验的开发者,本书都将为你提供切实可行的解决方案,助你在人工智能的旅程中不断前行。
本书的GitHub代码仓:https://github.com/openvino-book/openvino_handbook.git。
衷心感谢Intel开发者关系团队的创新大使计划,它让技术与产业得以紧密融合。特别鸣谢Preethi P. Raj、Pooja Baraskar和Dmitriy Pastushenkov在全球大使合作中的杰出贡献。

 

 

書城介紹  | 合作申請 | 索要書目  | 新手入門 | 聯絡方式  | 幫助中心 | 找書說明  | 送貨方式 | 付款方式 香港用户  | 台灣用户 | 海外用户
megBook.com.hk
Copyright © 2013 - 2025 (香港)大書城有限公司  All Rights Reserved.