近日，TsingtaoAI为某运营商技术团队交付提示词工程师高级技术培训，本课程为期2天，深入探讨深度学习与大模型技术在提示词生成与优化、客服大模型产品设计等业务场景中的应用。内容涵盖了深度学习前沿理论、大模型技术架构设计与优化、以及如何将提示词工程与电信行业的实际业务需求紧密结合。通过深入的技术探讨、案例分析和实战操作，学员将学习到最新的LLM技术和提示词工程技巧，并掌握如何在复杂的业务环境中设计、优化和部署大模型解决方案，以提高电信业务的自动化和智能化水平。

课程强调技术深度和业务场景的结合，适合技术专家、算法工程师等具有一定深度学习基础的专业人员。课程帮助学员突破技术难点，提升实际应用能力，并为企业的智能化转型和服务创新提供技术支撑。

授课现场

内训目标

1. 掌握深度学习与提示词工程的结合应用
   学员将深入理解深度学习的前沿进展，并掌握如何将深度学习技术应用于提示词优化，提升在实际业务场景中的应用能力。
2. 深入了解大模型技术架构设计与优化
   学员将学习大模型的核心架构设计原则，并通过案例分析与实战操作，掌握大模型的分布式训练、推理优化与多场景部署策略，提升模型的计算效率与应用效果。
3. 掌握提示词工程高级技巧与算法优化
   学员将学习提示词生成的高级技巧与算法优化方法，特别是在复杂场景中的实际应用，提升提示词工程的技术水平和创新能力。
4. 提升客服大模型产品设计与优化能力
   学员将掌握客服大模型的架构设计、算法优化与性能评估技术，结合电信行业的实际业务需求，设计出具备高度实用性的客服大模型解决方案。

课程大纲

第一模块：智能体（Agent）的应用

1.什么是智能体概要讲解

• • 1.1 智能体的定义与特点
  • 1.2 智能体的分类（自主智能体、交互智能体、协作智能体等）
  • 1.3 智能体的基本结构（感知、决策、行动）

2.设计智能体的因素与过程

• • 2.1 构建智能体的基本要素（感知器、效应器、学习算法等）
  • 2.2 智能体的设计流程（需求分析、模型选择、算法实现）
  • 2.3 环境对智能体构建的影响（封闭环境与开放环境）
  • 2.4 智能体的测试与验证

3.索引技术在智能体的作用

• • 任务规划与记忆管理
  • 长短时记忆协作
  • 多任务并行执行
  • 信息检索与优化

4.企业构建智能体的落地场景种类

• • 4.1 构建知识库型智能体（Knowledge-Based Agents）
  • 4.2 构建系统集成型智能体（ERP-Integrated Agents）
  • 4.3 构建决策类智能体（Decision-Making Agents）
  • 4.4 构建行动类智能体（Action-Oriented Agents）
  • 关键点回顾（技术）

信息检索、知识图谱构建

API集成、中台系统、微服务架构

机器学习（ML）、深度学习（DL）、数据分析与预测

机器人流程自动化（RPA）、物联网（IoT）、自动化控制

5.强化学习在智能体的应用

• • 5.1 强化学习的基本原理与框架
  • 5.2 强化学习在智能体中的实际应用（机器人控制、游戏AI等）
  • 5.3 强化学习的挑战与优化（探索与利用的平衡、奖励设计）

6.综合应用与讨论：

LLM Chain与ReAct Agent切换：实现对话与规划功能的融合。

双记忆机制：长时记忆与对话连贯。

ReAct能力：集成了规划与执行的循环反馈系统。

案例分享

基于llama大模型的数字人智能体的构建。agent 主要功能涉及如下：

1. 自主决策能力
2. 任务管理与自动化
3. 高度的可定制性与模块化设计
4. 增强的互动功能

第二模块：开源大模型的应用与部署，微调

1.深入探讨LLaMA3的指标和参数

• • 1.1 LLaMA3的性能指标（准确率、推理速度、参数量等）
  • 1.2 LLaMA3模型的核心架构
  • 1.3 对比其他开源模型的优势与劣势

2.LLaMA3的数据分布情况

• • 2.1 LLaMA3的训练数据源（公开数据、特定领域数据等）
  • 2.2 数据预处理与清洗的策略
  • 2.3 数据分布对模型表现的影响（领域特化、泛化能力等）

3.LLaMA3的微调技术

• • 3.1 微调的概念与必要性
  • 3.2 微调的不同方法（全模型微调、部分参数微调、LoRA等）
  • 3.3 迁移学习作为微调策略
  • 3.4 微调过程中的常见挑战（过拟合、数据不足等）

4.LLaMA3部署流程，资源评估

• • 4.1 部署前的硬件资源评估（GPU/TPU要求、内存需求等）
  • 4.2 LLaMA3模型的部署步骤（环境准备、模型加载、接口设计）
  • 4.3 部署中的成本优化建议（集群配置、弹性扩展等）

5.模型与国产适配

• • 5.1 LLaMA3与国产芯片（如昇腾）的适配方案
  • 5.2 国产大模型的竞争与合作
  • 5.3 模型适配中的性能优化措施

6.推理与优化

• • 6.1 推理速度优化的技术（模型剪枝、量化、蒸馏等）
  • 6.2 推理在不同场景中的表现分析（实时性要求、批处理应用等）
  • 6.3 推理服务的高可用性和容错机制

7.垂直领域的小模型应用

• • 7.1 垂直领域小模型的定义与优势
  • 7.2 小模型在特定行业的部署（法律、医疗、金融等）
  • 7.3 小模型在资源受限场景下的应用（低功耗设备、边缘计算等）

案例分享：基于llama3的 助教项目的案例分享，涉及以下技术：

1. llama3的在教学方向的微调
2. llam3的部署，资源的评估方式
3. 国产的适配
4. 如果通过推理和优化，提升处理能力等。

第三模块：提示词的优化

以智能客服系统为案例，重点讲述提示词的优化过程、方向和效果。以及优化过程的改进方法、数据分析和迭代的过程。

1.提示词优化的方向概要

• • 1.1 提示词在大模型中的作用
  • 1.2 提示词优化的主要方向（语言精确性、上下文连贯性、响应速度等）
  • 1.3 提示词优化对模型表现的提升（生成内容的相关性与准确性）

2.基于客服系统的提示词优化全流程

• • 2.1 客服系统提示词优化的需求分析（高效响应、个性化服务等）
  • 2.2 提示词设计的初期迭代（关键词提取、用户行为分析）
  • 2.3 提示词优化的反馈与改进（根据用户反馈不断调整）

3.基于客服系统提示词优化的总结

• • 3.1 常见提示词优化问题与解决方案
  • 3.2 提示词优化的长期维护（动态更新、定期评估）
  • 3.3 提示词优化的成功案例分析

全部课程的回顾

回答问题和讨论

讲师介绍

陈老师 大模型/深度学习/智算优化技术专家

教育背景

硕士学位 | 天津大学 专业：高性能计算

研究方向：分布式计算、深度学习模型优化、GPU加速计算。

专业领域

华为昇腾技术栈: 深入掌握华为昇腾AI计算平台，包括昇腾算子开发、HCCL集合通信优化、智算集群建设与性能调优。

智算集群建设与优化: 专注于大规模智算集群的设计、部署、设备选型、网络配置及系统集成，提升集群性能和稳定性。

深度学习与高性能计算: 研究和应用分布式训练框架、优化技术，进行大规模计算任务的高效处理。

网络与系统集成: 在复杂网络环境下进行系统集成，确保数据传输的高效性与系统的稳定性。

AI开发框架: 熟悉多种AI开发框架，包括NCE fabric、NCE insight fabric、MindX和ModelArts平台的高阶使用。

学术成就

论文发表: 在国际顶级期刊上发表多篇高影响力研究论文，涉及高性能计算与AI模型优化领域，包括：《IEEE Transactions on Neural Networks and Learning Systems》：论文集中于深度学习技术在高性能计算中的应用。《Frontiers in Immunology》：研究了GPU加速技术在生物信息学中的应用。

专利：

“图像分类方法及装置”：改进了图像分类的准确性和处理速度。

“神经网络模型的训练方法及装置”：优化了神经网络模型的训练效率。

国际会议: 多次在国际学术会议上发表演讲，涵盖AI、深度学习和高性能计算领域。

教学与培训经验

过往大模型相关的培训内容

• 大模型（LLM）技术原理与应用
• 大模型在不同行业的具体落地案例分析
• 机器学习与神经网络基础及进阶
• Python及Java编程语言应用

相关培训案例

• TsingtaoAI：为公司研发团队进行大模型技术培训，内容涵盖大模型的基本原理、开发实践以及在金融科技和营销业务中的应用。
• 苏泊尔：对IT/AI技术团队进行大模型技术培训，提升团队对大模型技术的理解、掌握和应用能力。
• 建设银行：开展关于大模型技术系统的专题培训，分享大模型系统设计、技术实现及实际应用中的经验和挑战。

孙老师，资深大模型算法专家

毕业于中国科学技术大学自动化系，拥有20+年IT/AI经验，先后在IBM、华为、顺丰、KPMG等知名企服务于DBS,UBS,HSBC等大型银行客户。2023年起All in生成式AI应用创业，专注于金融领域的AI咨询、系统实施和培训。精通生成式AI相关技术栈和应用系统设计开发。

2023.10-至今：生成式AI研发专家

 持续跟踪国内外开源和闭源大模型的发展动态，进行本地部署或通过API集成到系统，熟悉GPT, Claude, Gemini, Llama, Mistral, Command R, GLM, Qwen, Deepseek, Moonshot, Xunfei Spark, Ernie, Yi, MiniMax等模型，能够根据金融行业不同的业务场景进行模型选取

 熟悉大量开源嵌入模型和向量数据库，如BGE, Jina, Nomic等系统嵌入模型和Qdrant, Milvus, Chroma, LanceDB, Fincore等向量数据库，并能提供选型建议

 熟练掌握Langchain, Llamaindex, Langgraph等生成式AI应用开发框架，并能根据金融行业的业务场景选型和应用

 研究了多个开源和闭源平台级产品，包括Coze, DSPy和各模型厂商提供的在线chatbot和智能体平台等

 设计开发了多个生成式AI应用，从简单的多轮对话聊天机器人，到RAG、Agent、Agentic Workflow还有Vscode代码生成插件和浏览器插件；精通生成式AI应用系统架构设计和系统调优

 部署了stable-diffusion模型进行文生图能力评估测试，同时持续跟踪国内外文生图模型和平台发展, 熟悉国内厂商文生图平台及API

 部署并在系统种集成了speech-to-text和text-to-speech的模型，如Whisper, EmotiVoice

 进行了多场大模型技术应用培训，包括对金融行业的IT团队进行的“AIGC大模型技术在金融领域的场景化应用“培训。

2017-2023，KPMG中国智能创新中心技术负责人

创建了KPMG中国智能创新中心，管理着从设计、开发、交付、上线到运维的全流程，团队规模将近500人。带领团队面向公司内外部客户设计和开发人工智能、大数据驱动的解决方案，围绕信用、风险、合规等业务领域构建知识库、算法模型和业务系统。服务的客户包括国内外知名企业，如HSBC，平安集团、招商银行、太平洋保险、蚂蚁金服等等。

2001-2014，IBM，从技术开发到业务管理

作为技术团队负责人，带领团队进行应用系统设计、开发、测试、上线和运维；服务的客户包括：PCCW、DBS、国泰航空、UBS、UPS、深圳机场物流园等。

过往相关案例

训练营名称	培训周期	培训内容	服务客户
Nvidia全系技术栈培训-技术架构、智算平台、算力中心建设	14天	详尽解析英伟达技术体系，包括DGX、HGX、GPU技术及IB网络架构，及其在智算平台中的应用。不论是面向AI开发框架的深入了解，还是大模型的端到端调优，线上及线下双模式培训都将提供丰富的实操经验。让企业在英伟达系统中，提升大模型性能，优化智算中心的设计与运维，精通存储和网络基础设施的构建。	某智算集群建设厂商
从训练到推理，LLM大模型技术培训	6天	内容全面揭示大模型技术的核心原理与应用。深入探讨大模型从理论到实践的每一个环节，包括大模型的理论基础、关键技术如分布式并行计算、训练加速技术，以及推理优化技术。	中国石油数据中心
RAG&CoT深度技术课程	2天	《RAG&CoT深度技术课程》是为某IT软件上市公司的AI系统开发团队定制研发的高级培训课程，旨在深入讲解大语言模型（LLM）领域的两大前沿技术：RAG（Retrieval-Augmented Generation）和思维链（Chain of Thought, CoT）。本课程通过理论与实践相结合的方式，详细介绍RAG和CoT技术的基本原理、应用场景、技术实现方法以及最新的研究进展，帮助学员全面掌握这些技术的核心要点。	新致软件
LLM大模型技术内训	4天	本次培训项目是为华南某大型商业银行研发中心的产品经理、研发工程师、算法工程师定制开发的全面的大模型知识及其在金融行业中的应用培训和课题研讨。通过本次课程，学员深入了解了大语言模型（LLM）的基本原理、应用场景、案例分析以及实际操作技巧，从而在需求沟通和产品设计中能够更好地运用大模型技术。	广发银行
高性能计算环境下的算力集群规划与优化	12天	本课程旨在为数据中心的运维工程师、IT工程师提供一套全面且深入的培训，涵盖从算力集群的规划与设计、POC环境的搭建，到GPU、CUDA、算力模型、应用调优、应用性能监测、算力调度管理、网络调优和安全保障等多个关键领域。整个课程注重实操，旨在提升学员的动手能力，使其能够在实际工作中高效地管理和优化高性能计算环境。	某智算集群建设厂商