本文原创作者：姚瑞南 AI-agent 大模型运营专家，先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗；多年人工智能行业智能产品运营及大模型落地经验，拥有AI外呼方向国家专利与PMP项目管理证书。（转载需经授权）
目录
一、项目背景
1.1 行业背景
1.2 业务现状
1.3 部分效果展示
二、项目目标
定性目标
定量目标
三、项目详情
3.1 现有能力
3.2 初步实验效果
3.3 正向节点总结
3.4 话术可优化点（持续拓展ing）
3.5 技术方案
1) 带示例的prompt
2）不带示例的prompt
3）增加会话情景（上下文）的Prompt
四、对接流程
step1：运营提供相关信息列表
step2：运营话术check&确认
step3：task节点命名规范
1. 添加节点时
2. 回退节点时
step4：灰度上线
五、效果评估
5.1 各业务情况梳理
5.2 正负面case总结
5.3 长线监控策略
六、落地节奏
6.1 多方里程碑
6.2 分工checklist
6.3 产品能力建设checklist
一、项目背景
1.1 行业背景
①划时代技术变革：LLM的出现对传统NLP来说是划时代的技术变革，几乎改变了所有NLP任务的游戏规则，已经成为了NLP领域各个任务的全新范式。
大语言模型能够根据用户的问题和对应的标准答案，给出个性化的答案，用户体验上已经不太容易分辨出是人工客户还是机器客服，这一点上是很明显的提升。
②人机交互新机会：可以预见的是，基于LLM技术所构建的智能客服正在从根本上改变传统的人机交互过程。
大模型自动生成对话流程让运营智能客服更高效，可以提升复杂缠绕问题解决率、人机交互感知程度，以及意图理解、流程构建、知识生成等运营内容的效率
③机遇与挑战并存：LLM的出现对智能客服是挑战与机遇并存，如何用好LLM的强大能力，提升智能客服机器人的效果，目前没有相对统一的技术路线，需要各方的积极探索
1.2 业务现状
①拟人化方面，智能客服产品虽然称之为“智能”，但回答问题尤其是兜底回复时，难免给用户留下“呆板”的印象，缺乏人情味case
②丰富化方面，回答内容以写好的模版为主，虽然覆盖面已尽可能广泛，但仍然有限度
③个性化方面，回复话术千人一面，而人工逐一改写成本高；且无法很好地识别情绪，适时进行安抚甚至提供情绪价值
④情景化方面，未能结合具体时间节日，如春节、生日、毕业季等，给予特定情景的暖心关怀与问候
1.3 部分效果展示
| 子业务 |
task名称 |
节点名称 |
原话术 |
新话术（活泼风格） |
原转人工率 |
原解决率 |
新转人工率 |
新解决率 |
| 单车 |
0719车辆故障申诉流程（新版故障治理） |
车辆故障，影响骑行 |
很抱歉，给您的出行带来不便。您可点击下方【故障上报】按钮提交您的问题，我们将在72小时内为您处理费用问题。 [无法识别的内容]
温馨提示：如影响您继续骑行，建议您在安全的情况下将车辆停好并关锁，选择其他车辆或交通工具出行。 |
嘿，抱歉给你带来不便啦！车辆故障真的超郁闷的😔，不过别担心，我来帮你解决问题🤗。 你可以点击下方的【故障上报】按钮告诉我们具体问题，然后我们会在72小时内处理费用问题哦✨。 另外，如果这影响到你继续骑行的话，建议你在安全的情况下把车停好并关锁，然后选择其他车辆或者交通工具出行⛑️。 如果还有其他问题或者需要帮助，随时告诉我，我都会尽力帮你解决哒！✌️ 【单车/电单车】话术优化 |
||||
| 医药 |
商品使用方法说明 |
O2O-团APP+外卖APP |
您好，药品/产品的用法用量、功能主治、适用人群等问题，您可以： ①参考药品/产品说明书上所述内容使用 ②联系商家进行咨询 ③在医师/药师等专业人士的指导下使用 客服不具备相应专业知识，无法为您直接解答。
如您不清楚当前症状需要购买哪种药品，也可以在 栏目，找到药师免费咨询用药。 |
Hi 首先，药品的使用方法可以通过以下方式获取：🌟 1️⃣你可以参考药品说明书上所述的内容来正确使用药品。 2️⃣如果你还有其他疑问，也可以联系商家进行咨询哦~ 3️⃣最重要的是，我还建议你在专业人士的指导下使用药品，例如医师或药师。 唷 如果你不确定需要购买哪种药品，也可以在我们美团App的首页找到“看病买药”栏目，点击“问医生-用药咨询”，这样可以免费咨询药师的建议用药。 希望这些信息对你有所帮助哦~如果还有其他问题，记得随时联系我，我会尽力帮助你解决问题的！💪💛医药客服-大模型话术扩写 |
44.3% |
12.5% |
二、项目目标
本项目结合在线智能客服的实际情况，针对机器人存在的拟人化、丰富化、个性化、情景化等现状，引入LLM对机器人话术进行优化，同时保证可解释性、安全性和可控性。
定性目标
| 阶段一 |
阶段二 |
| 优化话术质量，更拟人 |
提高个性化水平：引入用户画像、订单详情、会话上下文等多维信息，针对不同用户（高价值、黑名单等）、不同场景（纠纷场景、咨询场景等）、对话特征（用户情绪）、回复篇幅（长文无分段）等有针对性的改写回复，做到回复话术的千人千面 |
| 测试多种话术风格，更丰富 |
融入情景化关怀：使回复话术更加拟人、顺畅，情绪体验良好 |
定量目标
| 指标类型 |
详情 |
| 核心指标 |
降低在线智能_不满意度 |
| 配对指标 |
降低被动_人工服务占比 |
根据已有实验，预计子业务不满意度降低5.14PP，转人工率降低0.04pp
三、项目详情
3.1 现有能力
三大能力：①解决方案润色；②不满意安抚；③寒暄
三大能力在不同场景和对话轮次上交叉使用，24年争取所有业务都用上
3.2 初步实验效果
结论先行：不论用户年龄大小，亲和、热情、友好的话术风格效果好，建议推广
| 话术风格分组 |
触发占比 |
触发量 |
转人工量 |
转人工率 |
参评量 |
不满意量 |
不满意度 |
参评率 |
分析 |
| 活泼话术-实验组 |
82.7% |
16340 |
1283 |
7.85%（胜出） |
618 |
194 |
31.39%（胜出） |
4.10% |
1.青年组触发量占比超80% 2.青年组实验组不满意度胜出5.14PP,转人工率降低0.04pp 3、结论：可以推广年轻活泼类型的话术 |
| 旧话术-对照组 |
16429 |
1296 |
7.89% |
646 |
236 |
36.53% |
4.27% |
||
| 严肃话术-实验组 |
17.3% |
3413 |
230 |
6.74%（落败） |
197 |
74 |
37.56% （落败） |
6.19% |
1.老年组触发量占比较低，小于20% 2.实验组不满意度落败13.5pp,转人工率落败0.32pp 3.结论：严肃认真型话术效果较差，不适合客服场景使用 |
| 旧话术-对照组 |
3427 |
220 |
6.42% |
212 |
51 |
24.06% |
6.61% |
3.3 正向节点总结
注：相关case分析详见5.3
话术内容
共性：与客户对话时，都应该有回应、共情和尊重
个性：与商家对话时需给予敬重，有更多的态度和原则；无解决方案或解决方案需要等待的，需要有安抚和诚恳的抱歉
话术范式
共性：与客户和商家对话，都需要有加粗和颜色做提示，隔3-4行分段更好读
个性：客服场景，可用符号“~”、表情包😉、语气词“哎呀”表示亲切；商服场景则没必要
| 场景 |
话术内容 |
话术范式 |
| 有解决方案-让人满意 |
有夸夸（哇，你真是太幸运了！）有回应（你的订单已经xxx了） 有共情（如果你想xxx）有尊重（一切都在你的掌控之中） |
符号“~”；表情包😉；字体-加粗+标绿；段落-4行不分段 |
| 有解决方案-等待处理 |
有回应（看来你在xxx呢，xxx收到了）有共情（久等了）有安抚（别担心，我们会尽快）有尊重（让你的xxx体验更加顺畅） |
语气词“哎呀”；符号“~”；表情包😉；段落-每隔两行分段 |
| 有解决方案-等待处理 |
有称谓（亲爱的） |
符号“~【】”；表情包😉；段落-每隔三行分段 |
| 有解决方案-商家自助 |
有称谓（尊敬的商家）有态度（我们将积极为您解决）（我们保证不会随意处理）有原则（评价审核机制对所有的商户都是公平一致的，这亦是我们制定此机制的初心，旨在带给所有的商户信心和鼓励）有尊重（感谢您的理解与信任） |
字体-加粗；段落-每隔三行分段 |
| 有解决方案-让人不满 |
有问候（ |
