主要模块如下：

1、多模态感知层

a.包括语音识别模块、视觉感知模块、以及触觉传感模块。

b. 语音识别：通过LLM内置的语音识别工具，如Whisper或开源的AppBuilder SDK，将语音指令转化为文字，并利用自然语言处理技术进一步解析指令。

c. 视觉感知：采用3D深度相机（Orbbec Gemini 335L和Femto Bolt iToF），用于物体识别、三维定位和空间建图，为机械臂提供环境感知支持。

d.触觉传感：在机械臂末端安装力矩传感器，检测机械臂与物体接触时的力反馈，确保安全抓取并提升执行精度。

2、多模态理解与决策层

e.使用大语言模型（如Yi-Large、GPT-4V、CogVLM2）处理自然语言指令，解析指令意图并生成相应的执行任务。

f.结合视觉和语音信息，构建多模态融合模型，实现对复杂指令的精准理解，支持类似“把绿色积木放到红色方块上”这样的复杂命令。

g.多模态语义融合：将语音、视觉信息和触觉数据汇总，通过LLM分析，输出物体的位置坐标、目标坐标，并转换为机械臂的操作指令。

3、行动执行层

h.执行层包括任务规划模块、运动控制模块和机械臂操作模块。

i.任务规划模块：利用逆运动学解算模块将物体坐标转化为电机的转动角度。根据大模型生成的操作步骤进行任务分解，并发送给机械臂执行。

j.运动控制模块：依托高精度六自由度机械臂（睿尔曼 RM65-B），机械臂能够根据指令进行精确运动和抓取。控制算法支持拖动示教、碰撞即停等功能，保障操作的安全性和灵活性。

k.实时反馈与修正：借助触觉传感器和视觉实时反馈，调整机械臂的运动轨迹和抓取力度，以确保任务的高精度和稳定性。

4、学习反馈层

l.利用多模态学习框架（如深度强化学习DRL）实时优化执行路径和抓取策略，使系统在执行过程中能够自主学习和优化。

m.通过自动化的错误反馈机制，收集任务执行过程中产生的错误信息和成功经验，利用强化学习算法在仿真环境中反复训练，提升系统的决策能力和任务执行成功率。

n.将实训过程中的各项数据进行记录，提供给参与实训的本科生和研究生进行分析和复盘，以便提升学生们对学习反馈层的理解。

1、语音与视觉协同处理：

语音指令通过LLM解析为动作指令，并通过视觉感知模块定位目标物体。视觉模块通过3D相机构建环境的三维模型，并实时跟踪物体位置。语音和视觉数据通过多模态大模型进行融合，以实现指令的准确传达和物体的精确定位。

2、路径规划与逆运动学求解：

通过多模态输入的坐标信息，路径规划模块利用逆运动学算法生成机械臂的关节角度路径。该过程不仅考虑目标位置，还要确保路径的碰撞避免及效率优化。

3、多传感器融合技术：

通过深度学习算法，将3D视觉数据与触觉反馈实时融合，能够显著提升机械臂的抓取和放置精度。这种方法利用视觉传感器捕获物体的颜色和纹理信息，同时通过触觉传感器获取物体表面的接触点位置和方向。在此基础上，算法能够实时修正机械臂的运动路径，优化避障和目标捕捉能力，实现精确操作。

4、强化学习的训练与优化：

在仿真环境中，我们可以通过强化学习技术对机械臂的抓取策略和路径规划算法进行预训练和优化。这种方法可以显著提高机械臂在实际操作中的精度和稳定性，同时降低失败率。通过仿真训练，我们可以模拟不同的环境和障碍物设置，让机械臂在虚拟环境中学习如何有效地避开障碍并准确抓取目标。这样，当机械臂在现实世界中执行任务时，它已经具备了一定的经验和策略，能够更加稳定和精确地完成抓取和放置操作。

日前，该“具身智能高校实训解决方案-从AI大模型+机器人到通用具身智能”基于华为技术有限公司AI框架昇思MindSpore，完成并通过昇腾相互兼容性技术认证。

1、任务分解与流程执行：

如“沏茶”任务可以分解为多个子任务：取杯、取茶、注水等。每个子任务的执行路径和动作参数通过多模态大模型生成和优化。学生可以深入理解自然语言指令到实际执行动作的整个流程。

2、多模态数据的融合与处理：

学生将有机会使用语音、视觉和触觉等多模态数据进行分析和训练，深入理解多模态数据融合的优势及其在具身智能中的应用。

3、自主学习和策略优化：

通过强化学习框架的应用，学生可以研究如何利用深度学习进行策略优化，提升机械臂在动态环境中的适应能力。

4、前沿技术研究：

结合多模态大模型与机器人控制技术，为高校在机器人领域提供前沿研究的支撑。学生可在视觉-语言-动作模型、任务规划等领域探索新的研究方法，进一步推动具身智能的技术进步。

1、真实场景模拟：

通过3D视觉和触觉传感实现环境感知和任务执行，学生可以体验从仿真到真实场景的任务转移过程，提升其实践操作能力。

2、创新性与前沿性：

系统整合了当前最前沿的大语言模型、多模态融合、深度学习和3D视觉等技术，符合当前具身智能的最新发展方向。

3、高度模块化与灵活扩展：

硬件和软件模块高度集成，可根据实际需求更换3D相机、传感器及大模型等，使平台具有高度的扩展性。

本实训解决方案面向相关专业的本科、高职和研究生。主要面向的专业包括：

1.自动化类：自动化、轨道交通信号与控制、机器人工程、智能装备与系统、工业智能、智能工程与创意设计等；

2.计算机类：计算机科学与技术、软件工程、网络工程、物联网工程、智能科学与技术、空间信息与数字技术、电子与计算机工程、数据科学与大数据技术、电影制作、服务科学与工程、虚拟现实技术等；

3.电气类：电气工程及其自动化、电气工程与智能控制、电动载运工程、电机电器智能化等；

4.电子信息类：电子信息工程、通信工程、微电子科学与工程、光电信息科学与工程、信息工程、集成电路设计与集成系统、医学信息工程、电磁场与无线技术、电子信息科学与技术、应用电子技术教育、人工智能、智能测控工程和智能视觉工程等；

5.机械类：机械工程、机械设计制造及其自动化、机械电子工程、过程装备与控制工程、车辆工程、微机电系统工程、机电技术教育、智能制造工程、智能车辆工程、仿生科学与工程、新能源汽车工程、智能交互设计、工程和农林智能装备工程等；

6.交通运输类：交通运输、交通工程、轮机工程、飞行技术、交通设备与控制工程、船舶电子电气工程、轨道交通电气与控制、智慧交通和智能运输工程等；

7.航空航天类：航空航天工程、飞行器设计与工程、飞行器制造工程、飞行器动力工程、飞行器适航技术、飞行器控制与信息工程、无人驾驶航空器系统工程、智能飞行器技术、空天智能电推进技术等；

8.兵器类：武器系统与工程、武器发射工程、探测制导与控制技术、信息对抗技术和智能无人系统技术等；

9.其他专业：农业机械化及其自动化、农业电气化、农业智能装备工程、智慧建筑与建造、公安视听技术、未来机器人、交叉工程、智能医学工程、智能影像工程、大数据管理与应用、物流工程、测控技术与仪器、智能感知工程、海洋机器人、智慧海洋技术和智能海洋装备等；

企业级AI实训项目完全从商业化出发，全部都是真实投入市场中的项目。根据不同行业对于人才的需求，对这些真实的项目进行里程碑和任务拆解、教学环节的标准化设置等及教研工作，从商业产品变成培养符合企业实际用人需求的实训项目。AI课程选取了AI不同领域的经典案例，进行标准化的二次开发和任务拆解，从传统的讲解调整为动手实操。

8门企业级AI实训课程，以AI、机器人、大模型、多模态大模型等领域为重点，并结合了具体的硬件设备（如3D相机、机械臂）和相关的技术模块（如语音识别、视觉感知、触觉传感等）。每门课程的内容遵循「多模态输入 -> 感知与理解 -> 行动执行 -> 反馈学习」的逻辑闭环过程，保证学生能够在实际操作中掌握AI与机器人的核心技术，并能够自主研发适合商业化应用的解决方案。

课程目标：掌握大模型和多模态模型的基础原理和操作，学习如何将多模态数据（如语音、文本、视觉）用于机器人的交互应用。

课程内容：

1. 大模型与多模态模型概述

a. 大模型的概念、主要应用领域以及在机器人中的应用

b. 多模态模型的基本构成及其交互方式

c. 多模态模型在智能交互中的关键作用

2.环境搭建与硬件连接

a.奥比中光3D深度相机与睿尔曼机械臂的连接和测试

b.SDK和API调用测试，通过示例程序掌握硬件的基础操作

3.多模态模型实操

a.使用3D相机、麦克风等设备采集多模态数据

b.使用语音、视觉、文本三模态数据进行交互实验

c.利用大模型算法，实现机器人对语音指令的识别与理解

4.基础任务实现：物体识别与抓取

a.基于3D深度相机进行物体的3D重建与识别

b.机械臂的抓取操作，通过算法实现简单物体的识别与分类

5. 课程项目

a.项目1：使用语音指令控制机械臂，实现物体识别并进行抓取

课程目标：掌握3D视觉感知技术，应用3D深度相机进行复杂物体的识别和定位。

课程内容：

1.3D视觉感知原理

a.深度相机的工作原理及技术特点

b.3D视觉感知在机器人中的重要性

2.奥比中光深度相机操作

a.Gemini 335L 和 Femto Bolt深度相机的配置与调试

b.实现不同场景下的3D数据采集与实时分析

c.系统集成后的数据融合与处理方法

3.物体识别与抓取实验

a.使用深度相机识别形状复杂的物体（如玻璃和透明物体）

b.结合大模型算法生成空间语义信息，提升物体定位精度

c.3D数据的预处理方法，提升物体定位与抓取的准确性和鲁棒性

4.进阶任务规划与执行

a.使用Femto Bolt相机进行体积视频捕捉和场景重建

b.基于视觉反馈的多步任务规划

5.课程项目

a.项目2：在复杂场景中，使用机械臂识别并抓取不同种类的物体

课程目标：掌握自然语言处理技术，学习如何让机器人基于语音指令执行任务。

课程内容：

1. 自然语言处理基础

a.自然语言理解与生成的基本原理

b.人机对话系统的设计与实现

2.大语言模型的应用

a.结合深度学习模型，提升机器人对语言的理解能力

b.语言数据的收集、标注与模型训练

c.模型评估与调优策略

d.实际应用中的挑战与解决方案

3.语音交互实验

a.设计语音指令并编写指令解析代码

b.测试机械臂在自然语言指令下的动作反应

4.人机对话与任务调度

a.根据语音指令进行任务规划和动作执行

b.多任务处理和优先级调度算法

c.分析并改进语音识别与理解的准确性和鲁棒性

5.课程项目

a.项目3：基于自然语言的复杂任务交互，实现多步任务的语音控制

课程目标：探索视觉、语言和动作的多模态融合应用。

课程内容：

1.视觉-语言-动作模型简介

a.Robotic Transformer等多模态模型的原理和应用场景

b.多模态数据的标注与融合算法

2.多模态数据融合实验

a.实现视觉与语言的匹配和动作响应

b.测试机械臂对语言指令的响应与反馈

3.复杂任务规划与视觉引导

a.使用大模型算法生成动作序列，并实现视觉引导

b.调试在不同条件下的任务执行稳定性

4.多模态交互应用开发

a.利用Orbbec SDK，结合3D场景重建实现视觉-语言互动

b.基于场景语义理解调整任务规划

c.多模态数据融合实验

5.课程项目

a.项目4：开发视觉-语言-动作融合模型，实现场景交互

课程目标：学习协作机器人的控制算法及应用，提升机械臂的操作精度和安全性。

课程内容：

1.协作机器人概述

a.协作机器人控制算法与应用

b.安全性与灵敏性的控制策略

2.机械臂的控制与调试

a.基于睿尔曼六自由度机械臂的控制接口

b.开发拖动示教、碰撞即停等功能

3.精度与稳定性调优

a.使用反馈控制技术提升动作的准确性

b.实现复杂轨迹规划与误差补偿

c.系统鲁棒性分析与优化

4.机器人控制接口编程

a.使用ROS和C++编程控制机械臂

b.控制机械臂实现复杂的动态交互

5.课程项目

a.项目5：编写程序实现机械臂的高精度抓取与安全避障

课程目标：深入理解机器人语义理解技术，实现多任务调度与执行。

课程内容：

1. 语义理解原理

a.大模型的语义理解与生成技术

b.多任务调度与优先级管理

2.多任务调度算法

a.任务优先级算法的设计与优化

b.基于ROS的任务调度

3.复杂任务调度实验

a.根据任务复杂度和资源需求进行任务分配

b.动态任务分配与资源管理

4.语义理解与执行

a.基于自然语言的语义解析实现任务调度

b.利用Femto Bolt相机辅助视觉引导

c.结合多模态信息提升任务执行的准确性

d.语义理解系统在不同语言和环境中的适应性

5.课程项目

a.项目6：基于语义解析的多任务调度系统，完成多个任务

课程目标：学习3D场景语义重建技术，应用于机器人任务规划。

课程内容：

1.3D场景语义重建原理

a.3DGS机器人自动三维场景语义重建技术

b.场景中的物体定位与语义分割

c.相关的深度学习模型与算法

2.场景建图实验

a.利用深度相机进行3D场景扫描

b.实现透明物体和小型物体的精确识别

3.语义分割与物体识别

a.实现场景中不同物体的语义分割

b.根据语义分割信息生成任务执行方案

4.基于场景的任务规划

a.自动生成机械臂的路径规划和任务执行流程

b.基于物体属性和空间关系的任务调整

5.课程项目

a.项目7：开发场景语义重建与识别应用，提升交互体验

课程目标：综合应用前七门课程所学内容，完成一个完整的机器人应用开发项目。

课程内容：

1.项目需求分析与方案设计

a.确定项目需求，分析实现难点与技术路径

b.设计软件架构与硬件部署方案

2.系统开发与调试

a.集成大模型、多模态数据、3D视觉与控制技术

b.实现从场景识别到任务执行的完整流程

3.实验测试与优化

a.进行多次实验测试，调整参数以保证稳定性

b.优化交互体验，确保执行效果

4.项目总结

a.总结项目开发过程中的经验与教训

b.分析项目的成功之处与不足之处

以下是为CS/AI专业本科生设计的AI课程大纲，包括2门课程，分别是《大语言模型原理及应用实践》和《AIGC应⽤开发实践》。每门课程64课时，理论32课时+实践32课时。

理论32课时+实践32课时，10个以上PPT，实验指导书8个。

课程主要围绕大语言模型技术的核心知识点展开，重点介绍背景与基础知识、大语言模型架构、预训练、微调与对齐（P-tuning、Lora、RLHF）、推理与部署、大模型应用技术（RAG、Agent）等部分，并梳理最具代表性的模型，如GPT系列、T5、ChatGLM系列以及基于MOE结构的大语言模型等。

为帮助学生更好地理解和掌握大语言模型技术，能够快速上手相关的科研与工程项目，本课程为每个核心知识点配备有趣的实验案例，并给出详细的步骤讲解。

课程内实验案例包括：

1）法律领域大模型构建：基于中国法律知识数据使用LoRA等技术微调Gemma大模型，实现法律知识问答和法条推理功能，并基于Streamlit框架实现用户交互界面，方便用户与微调后的模型以自然语言进行法律知识问答，以及根据用户的案情描述进行法条推理。案例要求至少包含构建法律知识数据集、数据预处理、Gemma大模型原理介绍、LoRA微调LLM、模型推理、WebUI构建。实验时长4课时。

2）金融领域大模型构建：基于金融数据使用QLoRA等技术微调Llama3大模型，使其具备金融知识问答、解读年报、深度金融分析的能力，能够回答用户提出的金融专业问题，以及对年报信息进行分析，并搭建WebUI界面与用户的交互。案例要求至少包含金融知识数据集构建、数据预处理、Llama3大模型原理介绍、QLoRA技术的使用、模型推理、基于Gradio构建WebUI。实验时长4课时。

3）大模型量化：基于GPTQ、AWQ、llama.cpp等技术对大模型进行量化处理，并测试量化后模型的性能。案例要求至少包含对齐数据准备、GPTQ、AWQ、llama.cpp量化技术的原理介绍、参数配置、量化后模型的推理及性能测试。实验时长4课时。

4）农业领域大模型应用：基于检索增强生成（RAG）技术构建农业知识库，在农业知识库中检索用户输入信息的上下文来优化Prompt，并输入给大模型，实现农业知识问答系统，问答内容包含作物栽培技巧、病虫害防治措施、土壤改良建议。案例要求至少包含农业语料收集与清洗、文档加载、文本分割、Embedding、Faiss向量数据库、向量相似度计算、Rerank、模型部署与推理、WebUI构建。实验时长4课时。

5）医疗领域大模型应用：基于大语言模型（LLM）+ GraphRAG构建医学知识图谱，模型能够根据用户查询信息精准做出回答实现医学知识问答功能；能够根据用户病情描述识别潜在病症与治疗建议实现智能线上问诊功能；能够帮助用户快速阅读医学文献实现医学文献摘要功能。案例要求至少包含医学数据收集与清洗、GraphRAG安装、图索引构建、全局查询、局部查询、大语言模型本地部署（vllm）、Embedding模型部署等知识点。实验时长4课时。

6）工业制造领域Agent构建：利用铸造产品数据集训练CNN分类模型，实现工业铸造产品缺陷识别工具（Tool），并通过大语言模型（LLM）和LangChain中的ReAct框架创建工业铸造产品缺陷识别智能体（Agent），Agent根据用户输入的图片自主进行思考、观察、行动，最终完成铸造产品缺陷识别的任务。案例要求至少包含训练工业铸造产品缺陷识别模型、LLM本地部署、ReAct框架的原理与运行机制、提示模板设计。实验时长4课时。

7）课程大纲包括：课程基本信息、课程教学目标、课程教学内容和要求、课程教学方法、课程考核、本课程与其他课程联系与分工、建议教材及教学参考书七个部分。

理论32课时+实践32课时，20个PPT，实验指导书8个。

课程旨在系统讲解AIGC相关的理论和技术，并配套相关的实验案例，提供包括大模型技术概述、面向理解任务的多模态大模型、面向生成任务的多模态大模型、兼顾理解和生成任务的多模态大模型、知识增强的多模态大模型、大模型的预训练与微调、大模型的评估压缩推理与部署、大模型的安全性、课程总结等课程内容，提供基于CLIP模型的智能广告生成系统、基于VATT模型的视频检索系统、基于Stable Diffusion模型的影视特效生成、基于VL-T5模型的智能教育问答系统等共计8个配套实验。

课程内实验案例包括：

1）包括基于CLIP模型的智能广告生成系统：利用先进的图像与文本匹配技术，实现自动化创作个性化高相关度广告内容，提升营销效率与用户体验。

2）包括基于VATT模型的视频检索系统：该实验融合视觉、音频、文本及时序信息，实现精准高效的视频内容搜索与定位，从而优化视频检索的用户体验。

3）包括基于DDPM模型的高质量图像生成：通过深度学习与强化学习的结合，从而可生成细腻逼真的图像，推动数字艺术与视觉内容创作的新边界。

4）包括基于Stable Diffusion模型的影视特效生成：通过扩散模型的微调，可生成影视特效画面，从而革新视觉效果制作，快速渲染逼真特效，加速影视后期制作，引领影视艺术新潮流。

5）包括基于VL-T5模型的智能教育问答系统：融合视觉与自然语言理解技术，可实现精准解答学习疑问，助力个性化教育，提升学习效率。

6）包括基于ERNIE-ViL模型的智慧医疗系统：通过深度融合视觉与语言知识，精准辅助医疗决策，提升诊疗效率与质量，引领健康医疗新未来。

7）包括基于Unified VLP模型的智慧工厂监控系统：集成视觉与自然语言处理技术，实时监控生产流程，优化资源配置，提升工厂智能化管理水平。

8）包括基于BLIP-2模型的智能音乐生成系统：融合多模态学习，自动创作个性化旋律与和声，开启音乐创作新纪元。

1）课程介绍

2）课程大纲

3）PPT课件

《大语言模型原理与应用实践》课程包含十章PPT课件，涉及内容为认识大语言模型、大语言模型基础、大语言模型的主流架构、稀疏结构大模型、大语言模型训练技术、人类对齐、大语言模型推理与部署、检索增强生成技术、智能体、大语言模型评估； 

《AIGC应用开发实践课程:多模态大模型应用开发》课程包含二十一章PPT课件，涉及大模型技术概述、大模型的基础知识、多模态大模型概述、CLIP模型原理、VATT模型原理、ALIGN模型原理、基础扩散模型原理、DDPM模型原理、DDIM模型原理、Stable Diffusion模型原理、VL-T5模型原理、Unified VLP模型原理、BLIP-2模型原理、ERNIE-ViL模型原理、大模型的预训练、大模型的微调技术、大模型的评估、大模型的压缩技术、大模型的推理与部署、大模型的安全性、课程总结与未来展望。

4）实验指导书

《大语言模型原理与应用实践》实验指导书包含8个；

《AIGC应用开发实践课程:多模态大模型应用开发》实验指导书包含8个。

5）实验相关资料

《大语言模型原理与应用实践》实验案例提供实验环境和实验指导手册。包含源码、实验目的、实验内容、实验数据、实验知识点、实验时长、实验环境介绍、实验分析、实验过程详解（模型和数据下载、代码构建与分析、实验结果）；

《AIGC应用开发实践课程:多模态大模型应用开发》实验案例提供实验环境和实验指导手册。包含源码、实验目的、实验内容、实验数据、实验知识点、实验时长、实验环境介绍、实验分析、实验过程详解（模型和数据下载、代码构建与分析、实验结果）。