工单路由 - Anthropic
使用案例
工单路由
本指南将介绍如何利用 Claude 的高级自然语言理解能力，基于客户意图、紧急程度、优先级、客户画像等因素大规模分类客户支持工单。
确定是否使用 Claude 进行工单路由
以下是一些关键指标，用于判断是否应该使用像 Claude 这样的 LLM 而不是传统的机器学习方法来进行分类任务：
| 传统机器学习 | Claude LLM |
|---|---|
| 需要大量标记数据集 | 只需几十个标记示例就能有效分类工单，显著减少数据准备时间和成本 |
| 建立后更改耗时费力且需要大量数据 | 随着产品或客户需求的发展，可以轻松适应类别定义的变化或新类别，无需大量重新标记训练数据 |
| 常常难以处理非结构化数据，需要大量特征工程 | 具有先进的语言理解能力，可以基于内容和上下文进行准确分类，而不是依赖严格的本体结构 |
| 通常依赖词袋模型或简单模式匹配 | 擅长理解和应用基于条件而非示例定义的潜在规则 |
| 很少提供决策过程的洞察 | 可以为分类决策提供人类可读的解释，建立对自动化系统的信任并便于需要时进行调整 |
| 对异常值和模糊输入难以处理，经常错误分类或默认归入统一类别 | 自然语言处理能力可以更好地理解支持工单中的上下文和细微差别，potentially减少需要人工干预的错误路由或未分类工单数量 |
| 通常每种支持的语言都需要单独的模型或大量翻译流程 | 多语言能力允许在不需要单独模型或大量翻译流程的情况下分类各种语言的工单，简化全球客户群的支持 |
构建和部署您的 LLM 支持工作流程
了解您当前的支持方法
在开始自动化之前，了解现有的工单 系统至关重要。首先调查您的支持团队当前如何处理工单路由。
考虑以下问题：
- 使用什么标准来确定应用哪种 SLA/服务级别？
- 工单路由是否用于确定工单应该分配给哪个支持级别或产品专家？
- 是否已有自动化规则或工作流程？在什么情况下会失败？
- 如何处理边缘案例或模糊的工单？
- 团队如何确定工单优先级？
越了解人类如何处理某些情况，就越能更好地与 Claude 合作完成任务。
定义用户意图类别
对于使用 Claude 进行准确的支持工单分类，明确定义的用户意图类别列表至关重要。Claude 在您系统中路由工单的能力直接与您系统类别的定义程度成正比。
以下是一些用户意图类别和子类别示例：
- 硬件问题
- 软件故障
- 兼容性问题
- 性能问题
- 密码重置
- 账户访问问题
- 账单查询
- 订阅变更
- 功能咨询
- 产品兼容性问题
- 价格信息
- 可用性查询
- 使用方法问题
- 功能使用帮助
- 最佳实践建议
- 故障排除指导
- 错误报告
- 功能请求
- 一般反馈或建议
- 投诉
- 订单状态查询
- 运输信息
- 退货和换货
- 订单修改
- 安装协助
- 升级请求
- 维护调度
- 服务取消
- 数据隐私查询
- 可疑活动报告
- 安全功能协助
- 法规合规问题
- 服务条款查询
- 法律文档请求
- 关键系统故障
- 紧急安全问题
- 时间敏感问题
- 产品培训请求
- 文档查询
- 网络研讨会或工作坊信息
- 集成协助
- API 使用问题
- 第三方兼容性查询
除了意图之外，工单路由和优先级还可能受其他因素影响，如紧急程度、客户类型、SLA 或语言。在构建自动化路由系统时，请确保考虑其他路由标准。
建立成功标准
与您的支持团队合作，定义清晰的成功标准，包括可衡量的基准、阈值和目标。
以下是使用 LLM 进行支持工单路由时的一些标准标准和基准：
| 评估标准 | 目标基准 |
|---|---|
| 分类一致性 | 95%或更高的一致性率 |
| 适应性衡量 | 在50-100个样本工单内达到>90%准确率 |
| 多语言处理能力 | 非主要语言的准确率下降不超过5-10% |
| 边缘案例处理 | challenging输入至少80%的准确率 |
| 公平性评估 | 所有客户群的路由准确率差异在2-3%以内 |
| Token效率 | 仅使用工单标题和简短描述即可达到90%+准确率 |
| 解释质量 | 人工评分平均达到4分或更高（5分制） |
以下是无论是否使用 LLM 都可能有用的一些常见成功标准：
| 标准 | 行业基准 |
|---|---|
| 路由准确率 | 90-95% |
| 分配时间 | 平均低于5分钟 |
| 重新路由率 | 低于10%（最佳表现可达5%或更低） |
| 一次性解决率 | 70-75%（最佳表现可达80%或更高） |
| 平均处理时间 | 非关键 问题24小时内 |
| 客户满意度评分 | 90%或更高（最佳表现可达95%+） |
| 升级率 | 低于20%（最佳系统可达10%或更低） |
| 代理生产力 | 实施新路由系统后提升10-20% |
| 工单分流率 | 20-30%（最佳表现可达40%或更高） |
| 每个工单成本 | 实施改进后降低10-15% |
选择合适的 Claude 模型
模型选择取决于成本、准确性和响应时间之间的权衡。许多客户发现 claude-3-haiku-20240307 是工单路由的理想模型，因为它是 Claude 3 系列中最快速和最具成本效益的模型，同时仍能提供出色的结果。如果您的分类问题需要深入的主题专业知识或大量复杂推理的意图类别，您可能会选择更大的 Sonnet 模型。
构建强大的提示词
工单路由是一种分类任务。Claude 分析支持工单的内容，并根据问题类型、紧急程度、所需专业知识或其他相关因素将其分类到预定义的类别中。
让我们编写一个工单分类提示词。我们的初始提示词应包含用户请求的内容，并返回推理过程和意图。
在 Anthropic Console 上使用提示词生成器，让 Claude 为您编写初稿。
以下是一个工单路由分类提示词示例：
def classify_support_request(ticket_contents):
# 定义分类任务的提示词
classification_prompt = f"""你将作为客户支持工单分类系统。你的任务是分析客户支持请求，
并输出每个请求的适当分类意图以及你的推理过程。
这是你需要分类的客户支持请求：
`<`request`>`{ticket_contents}`<`/request`>`
请仔细分析上述请求，以确定客户的核心意图和需求。考虑客户在询问什么或关注什么。
首先，在 `<`reasoning`>` 标签内写出你对如何分类此请求的推理和分析。
然后，在 `<`intent`>` 标签内输出请求的适当分类标签。有效的意图包括：
`<`intents`>`
`<`intent`>`支持、反馈、投诉`<`/intent`>`
`<`intent`>`订单追踪`<`/intent`>`
`<`intent`>`退款/换货`<`/intent`>`
`<`/intents`>`
一个请求只能有一个适用的意图。只包含最适用于该请求的意图。
举例考虑以下请求：
`<`request`>`你好！周六安装了高速光纤网络，我的安装工程师Kevin表现得非常出色！
我该在哪里发送我的好评？谢谢你的帮助！`<`/request`>`
以下是你的输出应该如何格式化的示例（针对上述示例请求）：
`<`reasoning`>`用户寻求信息以便留下积极反馈。`<`/reasoning`>`
`<`intent`>`支持、反馈、投诉`<`/intent`>`
这里还有更多示例：
`<`examples`>`
`<`example 2`>`
示例2输入：
`<`request`>`我想亲自感谢你们在上周末我父亲葬礼期间对我家人表现出的同情。
你们的员工在整个过程中都非常体贴和乐于助人；这真的减轻了我们的负担。
追悼会的手册很漂亮。我们永远不会忘记你们表现出的善意，我们非常感激整个
过程进行得 如此顺利。再次感谢，Amarantha Hill 代表Hill家族。`<`/request`>`
示例2输出：
`<`reasoning`>`用户对他们的体验留下积极评价。`<`/reasoning`>`
`<`intent`>`支持、反馈、投诉`<`/intent`>`
`<`/example 2`>`
`<`example 3`>`
...
`<`/example 8`>`
`<`example 9`>`
示例9输入：
`<`request`>`你们的网站一直发送广告弹窗，挡住了整个屏幕。我花了二十分钟才
终于找到电话号码来投诉。有这么多弹窗，我怎么可能访问我的账户信息？
既然你们的网站坏了，你能帮我查看我的账户吗？我需要知道文件上的地址是什么。
`<`/request`>`
示例9输出：
`<`reasoning`>`用户请求帮助访问他们的网络账户信息。`<`/reasoning`>`
`<`intent`>`支持、反馈、投诉`<`/intent`>`
`<`/example 9`>`
记住始终在输出实际意图之前包含你的分类推理。推理应该包含在 `<`reasoning`>`
标签内，意图在 `<`intent`>` 标签内。仅返回推理和意图。
"""
让我们分析这个提示词的关键组成部分：
- 我们使用 Python f-strings 创建提示词模板，允许将 ticket_contents 插入到
<request>标签中。 - 我们给 Claude 明确定义了作为分类系统的角色，需要仔细分析工单内容以确定客户的核心意图和需求。
- 我们指导 Claude 使用正确的输出格式，在这种情况下，将其推理和分析放在
<reasoning>标签内，然后是适当的分类标签在<intent>标签内。 - 我们指定了有效的意图类别："支持、反馈、投诉"、"订单追踪"和"退款/换货"。
- 我们包含了几个示例（又称少量样本提示）来说明输出应如何格式化，这可以提高准确性和一致性。
测试和优化您的提示词
一旦您有了基本的提示词，下一步是对其进行测试和优化。以下是一些建议：
-
从小规模开始测试
- 从一小组（约20-30个）代表性工单开始
- 手动验证分类结果
- 跟踪准确率和常见错误模式
-
迭代改进提示词
- 基于测试结果调整提示词
- 添加更多示例来纠正错误模式
- 根据需要细化或简化分类类别
-
扩大测试范围
- 逐步增加测试数据集的规模
- 确保包含各种工单类型和边缘案例
- 继续监控和优化性能
-
评估边缘案例处理
- 确定系统如何处理不明确的请求
- 测试多语言工单的性能
- 验证紧急情况的正确识别
设置人为监督
即使是最好的自动化系统也需要人为监督。考虑以下方面：
- 建立质量保证流程
- 定期审查分类准确性
- 监控系统性能指标
- 建立升级路径
- 收集用户反馈
实施最佳实践
为确保您的工单路由系统取得成功，请遵循这些最佳实践：
-
保持类别清晰和互斥
- 避免重叠的类别
- 使用明确的定义
- 定期审查和更新类别
-
建立明确的升级路径
- 定义何时需要人工干预
- 创建明确的升级流程
- 确保紧急情况得到及时处理
-
持续监控和改进
- 跟踪关键性能指标
- 收集用户反馈
- 定期更新和优化系统
-
维护文档
- 记录所有流程和决策
- 保持分类指南最新
- 记录系统更改和改进
-
培训支持团队
- 确保团队了解系统功能
- 提供持续培训
- 建立反馈渠道