【金钻就业计划】Part2-LLM大模型技术知识结构
概述
一门课程全面掌握LLM大模型技术应用开发的所有内容。本部分采用任务式和项目式的学习模式,学习资料+助教全程陪伴的学习方式。以任务制形式学习,根据每位学员的基础情况,定制不同的学习任务,完成任务并通关后进入下一个环节。
大模型开发基础:大模型的训练与应用、大模型实操与API调用、提示工程技术
RAG基础与架构:RAG基础与架构、文档切分常见算法、向量数据库常见算法
RAG与LangChain:LangChain基础应用、理解Function Calling、LangChain与Retrieval组件、LangChain与Chain组件、Advanced RAG、基于RAGAS的RAG的评估
模型微调与私有化大模型:开源模型介绍、模型微调基础、GPU与算力、高效微调技术-LoRA
Agent开发:Agent开发基础、自定义Agent工具、深入浅出ReAct框架、深度剖析Agent核心部件、Agent案例分享和前沿应用
智能设备与小参数模型:智能设备上的模型优化基础、模型在智能设备上的部署、边缘计算中的大模型应用
多模态大模型开发:多模态大模型基础、多模态模型项目剖析、多模态大模型应用分析
模块一:大模型基础与理论
1. 大模型技术概览
- 人工智能与大模型的发展历程
- 大模型在AGI时代的角色与个人定位
- 大模型的典型应用场景与案例分析
2. 大模型核心原理
- Transformer网络架构与Self-Attention机制
- Encoder-Decoder模型与Multi-head Attention
- 预训练语言模型(PLM)的学习范式
3. 大模型特性与应用
- 大模型的智能获取机制
- 生成式模型与语言模型的区别与联系
- 大模型的提示工程(Prompt Engineering)基础
模块二:大模型开发技术
4. 提示工程
- 提示(Prompt)的构成与优化
- In Context Learning与Chain-of-thought prompting
- 提示工程在对话系统、问答、文档交互中的应用
5. Function Calling与API对接
- Function Calling的原理与实现
- 用GPT模型生成函数参数的方法
- 与外部服务如高德地图的API对接
6. Embedding与向量数据库
- Embedding的概念与在大模型中的应用
- 向量数据库的设计与应用
- 相似度计算与语义搜索技术
7. LangChain与Agents开发
- LangChain框架介绍与应用场景
- LLM Chain与Memory的工作原理
- Agents的关键技术与开发实践
模块三:大模型训练与优化
8. 大模型训练关键技术
- 分布式并行计算与集合通信技术
- 混合并行技术与自动并行
- 训练加速技术:通信优化、混合精度计算
9. 大模型微调技术
- 参数高效微调技术:Adapter Tuning、Prefix Tuning
- 内存高效微调技术:Quantization、Mixed-precision
- 对齐技术:PPO、DPO、RAFT等
10. 大模型训练实战
- 预训练技术要点与finetune训练
- 高效微调技术:LoRA、AdaLoRA
- 开源框架选择与案例讲解
模块四:大模型推理与部署
11. 大模型推理优化技术
- AI编译器与工具链:TVM/MLIR/XLA
- 跨平台模型移植与性能调优技术
- 计算、显存、通信优化技术
12. 大模型推理部署实战
- 推理引擎部署为服务的方法
- 效果评估与模型量化效果评测
- 开源方案解析:Fastertransformer、TensorRT-LLM
13. 大模型在特定领域的应用
- 医疗、金融、情感等领域大模型的评估与部署
- 领域特定数据集的构建与模型微调