具身智能与大模型融合创新技术实训研讨会成功举办

日期:第一天

时间:上午

授课内容:

1. 具身智能学习导论；

• 具身智能的发展概述

• 具身智能与大模型关系

• 具身智能（Embodied AI）和通用人工智能（GAI）概述

• 具身智能关键技术和领域

• ChatGPT与大模型的启示

2. 多模态感知层；

• 语音识别模块、视觉感知模块以及触觉传感模块

• Vision Transformer (ViT)技术

• 多模态融合感知技术、数据对齐技术

3. 自然语言处理与人机交互技术；

• 自然语言理解与生成的基本原理

• 语言数据的收集、标注与模型训练

• 自然语言与执行动作的交互

实验:

实验1：多模态感知层；

• 语音识别：通过LLM内置的语音识别工具，Whisper或开源的AppBuilder SDK将语音指令转化为文字

• 视觉感知：采用3D深度相机（Orbbec Gemini 335L和Femto Bolt iToF），用于物体识别、三维定位和空间建图，为机械臂提供环境感知支持。

实验2：语音交互实验，人机对话与任务调度；

• 测试机械臂在自然语言指令下的动作反应

• 根据语音指令进行任务规划和动作执行

日期:第一天

时间:下午

授课内容:

4. 大模型与多模态模型基础；

• 大模型与多模态模型概述

• LLaMA模型及其应用开发-学习LLaMA模型的部署和优化方法

• 大模型之模型架构：语言模型LLM,BERT, GPT系列模型比较,Transformer架构

• 大模型开发基础：大模型的训练与应用、大模型实操与API调用、提示工程技术；

• RAG基础与架构：RAG基础与架构、文档切分常见算法、向量数据库常见算法；

• 模型微调与私有化大模型：开源模型介绍、模型微调基础、GPU与算力、高效微调技术-LoRA

5. 多模态大模型开发；

• 多模态大模型基础

• 多模态模型项目剖析

• 多模态大模型开发的技术与关键技术

实验:

实验3：多模态模型实操：物体识别与抓取；

• 环境搭建与硬件连接

• 使用3D相机、麦克风等设备采集多模态数据

• 使用语音、视觉、文本三模态数据进行交互实验

• 利用大模型算法，实现机器人对语音指令的识别与理解

• 基础任务实现：使用语音指令控制机械臂，实现物体识别并进行抓取

• 3D数据的预处理方法，提升物体定位与抓取的准确性和鲁棒性

• 使用相机进行体积视频捕捉和场景重建

• 基于视觉反馈的多步任务规划

日期:第二天

时间:上午

授课内容:

6. 3D视觉与物体识别技术；

• 3D视觉感知的工作原理及技术特点

• 实现不同场景下的3D数据采集与实时分析

• 系统集成后的数据融合与处理方法

• 深度相机识别形状复杂的物体

• 结合大模型算法生成空间语义信息，提升物体定位精度

7. 视觉-语言-动作模型简介；

• 多模态数据的标注与融合算法

• 结合3D场景重建实现视觉-语言互动

• 基于场景语义理解调整任务规划

• 使用大模型算法生成动作序列，并实现视觉引导；

实验:

实验4：语音交互实验:人机对话与任务调度

• 设计语音指令并编写指令解析代码

• 测试机械臂在自然语言指令下的动作反应

• 根据语音指令进行任务规划和动作执行

• 多任务处理和优先级调度算法

• 分析并改进语音识别与理解的准确性和鲁棒性

实验5：视觉-语言-动作融合模型，实现场景交互；

• 实现视觉与语言的匹配和动作响应

• 测试机械臂对语言指令的响应与反馈

• 调试在不同条件下的任务执行稳定性

• 多模态交互应用开发

• 复杂任务规划与视觉引导

日期:第二天

时间:下午

授课内容:

8. 智能体Agent开发；

• Agent开发基础、自定义工具、深入浅出ReAct框架、深度剖析Agent核心部件

• Agent案例分享和前沿应用

• 智能设备与小参数模型：智能设备上的模型优化基础、模型在智能设备上的部署、边缘计算中的大模型应用

9. 智能体控制技术；

• 智能体Agent基本概念、常见架构和组件

• 智能体协作机器人概述

• 智能体控制算法与应用

• 协作机器人控制策略

• 智能体精度与稳定性调优

• 使用反馈控制技术提升动作的准确性

实验:

实验6: 智能体Agent的搭建与应用

• Agent架构设计

• 核心功能模块实现

• 性能测试和评估

 实验7：编程实现智能体（机械臂）的高精度抓取与安全避障；

• 智能体控制接口编程

• 使用ROS和C++编程控制机械臂

• 控制机械臂实现复杂的动态交互

• 实现复杂轨迹规划与误差补偿

• 系统鲁棒性分析与优化

日期:第三天

时间:上午

授课内容:

10. 大模型微调；

• 大模型的基础技术理解

• 主流的底座模型

• 前沿的指令微调技术

• 高效的微调方法（参数高效、内存高效）

• 各类常用的对齐技术等

11. 大模型推理优化；

• 推理过程的概述与常见挑战

• 模型推理的性能瓶颈分析

• 多机多卡分布式推理的必要性与优势

• MindIE简介与多模态推理

• MindIE架构与工作原理

• 多模态推理的挑战与解决方案

• 推理优化的前沿技术与研究调技术

实验:

实验8：llama3.1 405B模型的分布式推理实操

• 推理环境配置

• 分布式推理所需的硬件与软件环境搭建

• 基于NCCL和Horovod的分布式推理框架

• 推理演练

• 分布式推理流程解析与实操

• 通过多机多卡进行推理的性能分析与优化

• 实操：在特定任务下的llama3.1 405B模型分布式推理

日期:第三天

时间:下午

授课内容:

12. 具身智能综合设计：工业制造领域智能分拣Agent构建；  

• 需求分析与场景定义：介绍工业制造中智能分拣的需求，定义具体应用场景。

• 数据准备与预处理：讲解如何收集和处理用于训练智能分拣系统的数据，包括图像数据的标注和处理。

• 模型选择与训练：介绍适用于智能分拣任务的模型，如卷积神经网络（CNN）和目标检测模型，并讲解如何训练这些模型。

• 智能分拣Agent架构设计：阐述如何结合大语言模型（LLM）和ReAct框架，设计一个能够理解和执行分拣任务的智能Agent。

• 集成与测试：说明如何将训练好的模型集成到智能分拣系统中，并进行实际测试。

• 性能评估与优化：讲解如何评估智能分拣系统的性能，并根据评估结果进行优化。

13. AIGC应用开发实践课程-多模态大模型应用开发；  

• AIGC相关的理论和技术，包括视觉大模型和多模态大模型的原理及应用

• AIGC工具，如ChatGPT、DALL-E等技术介绍、应用案例分析

实验:

实验9：工业制造产品智能分拣系统开发；

• 系统需求分析与设计：学员根据所学知识，分析智能分拣系统的需求，并设计系统架构。

• 模型训练与调优：学员使用提供的数据集训练模型，并进行参数调优，以提高分拣准确率。

• 智能分拣Agent实现：学员利用LLM和ReAct框架，实现一个能够响应分拣指令的智能Agent。

• 系统集成与测试：学员将训练好的模型和智能Agent集成到系统中，进行整体测试。

• 性能评估与报告撰写：学员评估系统性能，并撰写实验报告，总结学习成果和经验教训。

实验10：AIGC应用；

• AIGC中文本生成图像、图像生成图像、视频生成、语音生成、音乐生成等领域的应用实践；

• 发表在《IEEE Transactions on Circuits and Systems for Video Technology》的论文“Multimodal Content Analysis and Applications”

• 发表在《Pattern Recognition》的论文“Advanced Techniques in Image Recognition”

• 发表在《Neural Computing and Applications》的论文“Neural Networks in Multimodal Data Processing”

• 发表在《Neurocomputing》的论文“Deep Learning Models for Multimodal Data”

• 发表在《Multimedia Tools and Applications》的论文“Tools and Techniques for Multimedia Data Processing”

• 发表在 NeurIPS、AAAI、ACM MM 等顶级会议的多篇论文

• “一种基于多模态数据分析的智能推荐系统”发明专利

• “大规模数据处理与优化方法”实用新型专利