LLM大模型技术内训-某大型商业银行研发中心

本次培训项目是TsingtaoAI为华南某大型商业银行研发中心的产品经理、研发工程师、算法工程师定制开发的全面的大模型知识及其在金融行业中的应用培训和课题研讨。通过本次课程，学员深入了解了大语言模型（LLM）的基本原理、应用场景、案例分析以及实际操作技巧，从而在需求沟通和产品设计中能够更好地运用大模型技术。

产品经理

研发工程师

算法工程师

4天，每天6小时，一共24小时。线上或线下培训均可支持。

第一章 大模型应用培训

第一部分：大语言模型（LLM）的场景化指令微调

1.1 指令微调基础

指令微调的基本概念与操作流程

Prompt（提示词）在指令微调中的重要性

1.2 场景化指令微调应用

面向业务运营的Prompt编写技巧

面向产品经理的Prompt设计方法

案例分析：营销文案生成、客户关怀短信编写

第二部分：RAG与多Agent的Workflow编排

2.1 RAG（Retrieval-Augmented Generation）基础

RAG的工作原理与应用场景

多Agent系统的概念与实现

2.2 Workflow编排平台产品设计

支持RAG的文档解析功能

多Agent协作平台设计与实现

案例分析：字节的COZE产品及其在金融行业的应用

第三部分：图像类内容与Stable Diffusion

3.1 Stable Diffusion基本原理

Stable Diffusion的工作原理

图像生成与修复的核心技术

3.2 Stable Diffusion的场景化应用

使用Stable Diffusion-webui或comfyui界面

导入基座模型与Lora

Prompt提示词编写技巧

局部重绘、脸部与手部修复技巧

Layerdiffusion应用

第四部分：不同业务场景下的大模型选择与使用方法

4.1 大模型选择指南

各类大模型的特点与适用场景

Prompt、RAG、指令微调、二次训练、从头训练的适用场景

4.2 金融行业的实际应用场景

客户服务、风险控制、市场营销等场景的模型选择

不同业务需求下的大模型优化策略

第五部分：大模型落地团队角色与职责

5.1 团队角色介绍

大模型项目中的核心角色与职责划分

产品经理、研发工程师、算法工程师的协作模式

5.2 项目实施流程

大模型项目的实施流程与关键节点

项目管理与协作工具的使用

第六部分：Prompt编写与调优实践

6.1 Prompt编写技巧

高效Prompt编写的方法与技巧

常见错误与优化策略

6.2 Prompt调优实践

基于实际业务需求的Prompt调优

使用工具与平台进行Prompt测试与优化

第二章 课题实战

1、大模型在金融投资领域的应用：智能投研系统；

2、DISC-FinLLM在金融咨询场景的技术应用实践；

3、大模型在金融情绪分析的应用实践探索；

4、通过大模型做数据分析和与统计，以达成智能决策；

5、通过OCR大模型提升金融应用领域的字段识别精度；

6、以Qwen 2 模型为中心制作财务问答系统；

王文广 达观数据副总裁

王文广，达观数据副总裁，高级工程师，浦东新区"明珠计划"菁英人才、BroadView2023“技术成长领路人”，人工智能标准编制专家。曾获得广东省科技进步奖二等奖，上海市计算机学会科技进步奖二等奖和上海市浦东新区科技进步奖二等奖。人工智能标准编制专家，《知识图谱：认知智能理论与实战》作者，参与编撰《智能文本处理实战》，《新程序员 * 人工智能新十年》顾问专家和文章作者，专注于知识图谱、通用人工智能 AGI、大模型、AI 大工程、NLP、认知智能、强化学习、深度学习等人工智能方向。上海市人工智能技术标准化委员会委员、上海科委评审专家、中国计算机学会（CCF）高级会员、中文信息学会（CIPS）语言与知识计算专委会委员、中国人工智能学会（CAAI）深度学习专委会委员。申请有数十项人工智能领域的国家发明专利，在国内外知名期刊会议上发表有十多篇学术论文。曾带队获得国内国际顶尖算法竞赛 ACM KDD CUP、EMI Hackathon、“中国法研杯”法律智能竞赛、CCKS 知识图谱评测的冠亚季军成绩。曾获 BroadView2023“技术成长领路人”、2022 年度电子工业出版社博文观点“优秀作者”等称号，2021 年度浦东职工科技创新英才优秀奖。被聘为上海市质量和标准化研究院培训中心企业标准化总监高级研修班教课讲师，高校学生人工智能训练营（同济大学）特邀企业导师，浙江大学中国数字贸易大讲堂讲师团专家。在达观数据致力于将自然语言处理、知识图谱、计算机视觉和大数据技术产品化，以 OCR、文档智能处理、知识图谱、RPA 等产品服务于金融、智能制造、贸易、半导体、汽车工业、航空航天、新能源、双碳等领域。 

授课培训案例

1、DataFunTalk：达观数据知识图谱增强的大模型应用实践：https://mp.weixin.qq.com/s/4jvjcMMmJOG1n4F-SKo9-Q

2、CNCC｜第六届知识图谱论坛-知识图谱赋能大数据大算力：https://www.ccf.org.cn/Media_list/cncc/2022-11-14/777286.shtml

3、中国计算机学会-基于知识图谱的金融中台架构：https://dl.ccf.org.cn/video/videoDetail.html?_ack=1&id=6169180365834240

4、金融知识图谱的自动化构建：数据集和评测：https://hub.baai.ac.cn/view/9514

5、InfoQ “驯服”不受控的大模型，要搞定哪些事？| 专访达观数据副总裁王文广：https://new.qq.com/rain/a/20240509A04YTG00

6、腾讯云最具价值专家TVP：https://cloud.tencent.com/tvp/member/692

7、数创金融大讲堂-知识图谱与大模型融合应用实践：https://mp.weixin.qq.com/s/l7mXi9MPQJERc15rx8WE8Q

陈老师 大模型算法及应用开发资深专家

超过10年的AI、数据科学、软件开发和系统架构经验，专注于人工智能生成模型（AIGC）、Python、Java语言方向。现任TsingtaoAI研发及算法项目负责人。陈老师以其深厚的AI技术背景和丰富的实践经验，致力于通过高质量的培训课程帮助学员提升专业AI技能。在金融行业大模型技术的研发和实际落地方面拥有广泛的实践经验，并且多次主导和参与了针对金融行业的大模型技术培训和辅导项目。

教育背景

2005.09—2008.07 天津大学 计算机科学与技术 硕士

2001.09—2005.07 山东大学 计算机科学与技术 学士

过往培训内容

大模型（LLM）技术原理与应用

大模型在金融行业的具体落地案例分析

金融行业数据分析与智能决策

金融科技创新与未来发展趋势

机器学习与神经网络基础及进阶

Python及Java编程语言应用

金融行业研发项目

金融智能决策系统：带领团队开发基于大模型技术的金融智能决策系统，应用于多家银行的风险管理与客户推荐系统。

智能投顾平台：负责开发的智能投顾平台，帮助个人投资者提供个性化投资建议，提高用户满意度和投资收益。

培训案例

TsingtaoAI：为公司研发团队进行大模型技术培训，内容涵盖大模型的基本原理、开发实践以及在金融科技和营销业务中的应用。

苏泊尔：对IT/AI技术团队进行大模型技术培训，提升团队对大模型技术的理解、掌握和应用能力。

建设银行：开展关于大模型技术系统的专题培训，分享大模型系统设计、技术实现及实际应用中的经验和挑战。

相关知识产权和论文：一种基于大模型的金融智能决策方法；智能投顾系统及其实现方法；基于神经网络的金融数据分析方法研究。

工作&专业经验

TsingtaoAI：研发及算法负责人，负责相应的大模型微调及应用开发，开发产品包括：基于数隐产业图谱的数据流通服务平台；基于GLM大模型的智能客服应用平台；基于多模态大模型的动物X光片智能诊断系统；基于LLM的AIGC应用开发实训平台。负责大模型技术在教育培训中的应用与推广

360数科：贷前风控模型专家，根据实际业务需求，搭建完善全生命周期的风控模型产品体系，有效识别客群降低风险；对内外部数据进行特征衍生与挖掘，分析与评估，选择最合适，成本优，效果佳的数据源，平衡商业需求的同时，使得模型产品达到效果；负责项目中模型的研究、开发、部署、监控、维护、优化迭代全流程工作训项目负责人。

北京正己基业教育科技有限公司：架构师及算法研发，负责公司SaaS平台的技术架构设计与实施。

北京运道科技有限公司：技术负责人，主导智能物流及供应链金融平台的研发与应用。

赵宽 资深大模型算法专家

北京邮电大学本硕连读，拥有扎实的人工智能理论知识和丰富的项目实践经验。在字节跳动和中国银行担任算法工程师，现在在AI科技公司负责大语言模型（LLM）落地项目。已构建自研训练框架，可适配ChatGLM1&2、Baichuan1&2、Qwen14B等主流开源模型的全参/lora/Qlora微调，支持各种训练指标可视化，方便对比实验；已构建训练数据生成流程，基于不同业务需求进行训练数据处理；已构建推理服务，基于自训模型及推理服务成功在APP上线与用户交互。

教育背景

北京邮电大学 硕士研究生，人工智能专业

北京邮电大学 本科，计算机科学与技术专业

过往授课课程

Python编程与大数据应用

ChatGLM与其他LLM的部署、训练与微调

LangChain框架深度解析与实践

多模态处理与多模态大语言模型实践

知识图谱技术在大数据中的应用

大模型（LLM）数据预处理与特征工程

LLM培训案例

中信银行：LLM Driving课程

课程内容：讲解LLM的基础原理、部署策略以及微调技巧，帮助学生在实际项目中应用LLM。

培训效果：提高了学员对LLM的理解和实际操作能力，促进了项目的顺利进行。

广汽如祺：AIGC大模型应用开发技能培训

课程内容：为技术团队提供LLM模型与多模态AIGC联合应用，利用LLM能力助力多模态生成。

培训效果：提升了团队的多模态生成技术水平，增强了企业在AIGC领域的竞争力。

个人资质

精通Python、Go语言，具有丰富的后端开发经验，涉及数据库、kafka、高并发处理等。

具备深厚的大模型、NLP、语音识别（ASR）和语音测评（GOP）技术背景，曾基于kaldi和conformer+transformer框架开发相关服务。

熟悉主流开源大语言模型的全参/lora/Qlora微调技术，并能够根据不同业务需求进行定制化训练数据处理。

发表论文与发明专利

发表论文：《基于多模态大语言模型的智能客服系统研究》《大模型在金融行业的应用与实践》

发明专利：一种用于金融风险预测的多模态大语言模型；基于LLM的智能语音交互系统。

其他项目经验

Python&Go语言后端开发

项目内容：负责后端开发，涉及数据库管理、kafka消息队列、高并发处理等技术。

项目成果：提高了系统的稳定性和处理效率，满足了高并发需求。

语音测评（GOP）服务

项目内容：基于kaldi框架训练语音测评模型，实现服务端和手机端本地化推理。

项目成果：该服务成功应用于用户APP的中英文口语练习，实现了自动化打分评价。

语音识别（ASR）服务

项目内容：基于conformer+transformer框架训练端到端模型，实现服务端离线识别和流式识别。

项目成果：该服务成功应用于客服系统和语音审核场景，提高了识别准确率和效率。

林琚 大模型技术应用专家

16年产业数字化和智能化技术背景，北京航空航天大学计算机仿真专业硕士，挪威工作两年，连续创业者，深谙金融企业的数字化技术路线。

AIGC知名创新企业墨见MoLook创始人和CEO，阿里云前解决方案总监，负责基于云计算、AI、IoT的产品和解决方案沉淀、业务拓展、生态建设，挪威软件公司Prediktor前中国区负责人，ICA联盟工作组组长，阿里云CIO学院讲师。连续3年阿里云产品销售额1亿+，曾服务于陕煤、美孚、中国国网、南方电网、中烟、上海电气、宝钢、物产中大、东方希望等客户。

擅长AIGC的视觉和文本技术，作为多个AIGC项目的负责人，对AI技术在企业落地方面有丰富的经验和深刻的见解。

AI创业公司的LLM项目已落地南信投、欧冶、中烟等企业。视觉项目已落地苏美达、三彩、雅戈尔等企业。

其中南信投、欧冶、宏川等都是金融向公司，林琚率领墨见为这几家公司提供了完整的AIGC解决方案，包括基础大模型、知识库RAG、工作流等方面的技术和应用落地。南信投（资金投资）作为江苏第一大国资金融集团，墨见帮助其搭建AI大模型应用平台，并打造智慧办公、数字员工等应用，与其数字化系统紧密结合。欧冶作为贸易金融公司，墨见帮助其打造票据审核、知识库等金融服务应用。

林琚深谙云计算、大数据、物联网、AI等技术原理和路径，以及在企业落地实现的方式。是技术落地企业的实战派。作为互联网产品解决方案负责人，林琚参与规划与建设了超过300个企业数智化项目，其中包括30个大规模项目，实战经验丰富。作为AIGC公司的创始人，对AI技术以及AI在企业的应用有深度理解。

过往授课主题及培训内容

大模型技术基础

大模型的基本原理与架构

主要大模型框架与技术应用

大模型在金融行业的应用

金融数据分析与建模

风险控制与预测

客户行为分析与推荐系统

多模态内容分析

多模态数据融合技术

图像、文本与语音数据的综合处理

金融领域的LLM产品研发和培训案例

合作开发：金融风险预测系统

以外部核心技术身份参与金融科技企业研发项目，研发基于大模型的金融风险预测系统，成功提升了风险控制的准确性和效率。

为该企业技术团队提供大模型技术辅导和培训，覆盖数据预处理、模型训练与优化等内容。

合作开发：客户行为分析与推荐系统

主持开发基于多模态内容分析的客户行为分析系统，为银行提供个性化推荐服务。

对银行相关部门进行系统使用与大模型技术应用的培训，促进了新技术在实际业务中的落地。

南信投：金融大模型平台合作项目

与南信投合作开发金融大模型应用平台，推动大模型在金融行业的广泛应用。

提供针对内部技术人员的专项培训，涵盖大模型开发与应用的各个环节。

陆云昆 LLM、AI、NLP领域实践者

前微软亚洲研究院NLP研究员；

TGO鲲鹏会AIGC、AGIA社区核心成员；

工信部人工智能应用高工认证；

阿里云MVP；

前高顿教育CTO；

行业AI培训案例

国家电网工建部及上海各区分公司 ——《ChatGPT人工智能在项目管理中的技术应用》

百亿量化私募基金白鹭资管 ——《GPT在量化私募行业的技术应用》

独立基金销售机构基煜基金 ——《GPT在金融行业的技术应用》

上海头部人力资源背调公司猎查查 ——《LLM在人力资源管理行业的技术应用》

TGO鲲鹏会AI数智化转型主题培训 ——《LLM在企业数智化转型中的技术应用》

浦软孵化器AI&元宇宙主题培训 ——《大语言模型在toB业务场景中的技术应用》

TGO鲲鹏会AGIA社区主题培训 ——《LLM在数字员工产品中的技术应用》

万商俱乐部AI赋能商业主题培训 ——《ChatGPT的前世今生》

培训现场画面

孙乐成 资深大模型算法专家

毕业于中国科学技术大学自动化系，拥有20+年IT/AI经验，先后在IBM、华为、顺丰、KPMG等知名企服务于DBS,UBS,HSBC等大型银行客户。2023年起All in生成式AI应用创业，专注于金融领域的AI咨询、系统实施和培训。精通生成式AI相关技术栈和应用系统设计开发。

2023.10-至今：生成式AI研发专家

2017-2023，KPMG中国智能创新中心技术负责人

创建了KPMG中国智能创新中心，管理着从设计、开发、交付、上线到运维的全流程，团队规模将近500人。带领团队面向公司内外部客户设计和开发人工智能、大数据驱动的解决方案，围绕信用、风险、合规等业务领域构建知识库、算法模型和业务系统。服务的客户包括国内外知名企业，如HSBC，平安集团、招商银行、太平洋保险、蚂蚁金服等等。

2001-2014，IBM，从技术开发到业务管理

作为技术团队负责人，带领团队进行应用系统设计、开发、测试、上线和运维；服务的客户包括：PCCW、DBS、国泰航空、UBS、UPS、深圳机场物流园等。

TsingtaoAI拥有一支高水平的产学研一体的AI产品开发团队，核心团队主要来自清华大学、北京大学、中科院、北京邮电大学、复旦大学、中国农业大学、美团、京东、百度、中国技术创业协会和三一重工等产研组织。TsingtaoAI核心团队专长于算力、行业LLM/AIGC应用的产品研发，面向企业的大语言模型应用落地等业务，如面向智能客服、教育、人力资源、电商和轨道交通等行业领域的LLM和AIGC应用开发。公司拥有近10项LLM/AIGC相关的知识产权。

TsingtaoAI自研基于LLM大模型代码能力的AIGC应用开发实训平台、面向CS专业的AI训练实训平台和基于大语言模型的AIGC案例学习平台，聚焦虚拟现实、金融科技、医药健康、高端装备、新能源、新材料、节能环保、文化创意、农业科技和食品科技等关键行业，通过链接全球数以千计的关键领域的AI科学家和工程师，为央国企、上市公司、外资企业、政府部门和高校提供AI企业内训和高校实训服务。