美洽智能客服自动回复测试方法
美洽智能客服自动回复可以从“功能、准确率、流程、异常、性能、人工接管”几个方面测试。下面是一套比较实用的测试方法。
一、测试准备
1. 明确测试范围
先确定要测试的内容，例如：
– FAQ 自动回复
– 关键词回复
– 智能意图识别
– 多轮对话
– 人工转接
– 工单或表单收集
– 图片、链接、文件等富媒体回复
– 公众号、网站、App、小程序等不同接入渠道
– 工作时间与非工作时间回复策略
2. 准备测试账号和场景
建议准备：
– 一个普通访客账号
– 一个已登录用户账号
– 一个重复咨询用户
– 一个需要转人工的用户
– 一个发送异常内容的用户
如条件允许，应在测试环境、灰度渠道或非高峰时段进行，避免测试消息直接影响真实客户。
3. 整理测试问题库
可以按以下类别准备问题：
| 类型 | 示例 |
|—|—|
| 标准问法 | 怎么申请退款？ |
| 同义问法 | 我想退钱怎么办？ |
| 口语化 | 这个能不能退啊？ |
| 错别字 | 怎末退款？ |
| 简写 | 退货流程？ |
| 长句 | 我上周买的商品现在发现不合适，想申请退款，需要怎么操作？ |
| 多意图 | 我想退款，另外发票什么时候开？ |
| 无关问题 | 今天天气怎么样？ |
| 敏感问题 | 你们能不能保证百分百退款？ |
| 恶意输入 | 重复发送、乱码、超长文本、链接、图片 |
—
二、核心功能测试
1. 标准问题匹配测试
对知识库中的每个标准问题进行验证：
– 是否能命中正确知识
– 回复内容是否完整
– 链接是否能正常打开
– 是否出现答非所问
– 是否有重复回复
– 回复格式是否正常
建议每条知识至少测试 3～5 种不同表达方式。
例如知识点为“退款流程”，可测试：
– 如何退款？
– 我要申请退款
– 退款怎么操作
– 买错了可以退吗？
– 订单不想要了怎么办？
2. 同义词和口语测试
测试用户的自然表达：
– “怎么退”
– “退钱”
– “退货咋弄”
– “能退不”
– “我想把订单取消掉”
重点观察系统是否能识别同一意图，而不是只识别固定关键词。
3. 多轮对话测试
验证系统是否能记住上下文。
示例：
1. 用户：我想退款
2. 客服：请提供订单号
3. 用户：123456
4. 检查是否能正确识别订单号并继续处理
继续测试：
– 用户中途修改问题
– 用户跳过当前问题
– 用户补充信息
– 用户重复回答
– 用户长时间未回复后继续对话
– 用户同时提出两个问题
需要关注：
– 上下文是否丢失
– 是否反复询问相同内容
– 是否把新问题错误关联到旧问题
– 是否能正确结束会话
4. 人工转接测试
测试以下情况是否能及时转人工：
– 用户明确说“转人工”
– 智能客服连续多次无法回答
– 用户表达投诉或强烈不满
– 涉及退款、赔偿、账户安全等复杂问题
– 命中预设转人工关键词
– 超过机器人最大对话轮次
验证内容：
– 是否真的进入人工队列
– 是否提示用户当前排队状态
– 是否在非工作时间提供正确提示
– 转人工后聊天记录是否完整传递
– 人工接入后机器人是否停止重复回复
– 无人工坐席时是否有兜底方案
5. 兜底回复测试
输入知识库未覆盖的问题，例如：
– “你们的老板是谁？”
– “帮我推荐一个竞品”
– “我想咨询一个很复杂的问题”
– 无意义字符或随机文本
检查：
– 是否给出自然、明确的兜底回复
– 是否引导用户换一种问法
– 是否提供人工入口
– 是否避免编造答案
– 是否避免无限循环回复
较好的兜底方式通常是：
> 抱歉，我暂时没有理解您的问题。您可以换一种说法，或输入“人工客服”联系工作人员。
—
三、业务流程测试
1. 订单、账号、会员等场景
如果美洽接入了业务系统，需要重点验证：
– 订单号识别是否正确
– 用户身份是否匹配
– 查询结果是否正确
– 不存在的订单如何提示
– 已取消、已退款、已完成订单是否能区分
– 用户无权限查询时是否正确拦截
– 敏感信息是否脱敏
2. 链接和按钮测试
对回复中的内容逐项检查：
– URL 是否正确
– 是否存在失效链接
– 是否跳转到正确页面
– 移动端是否能正常打开
– 按钮点击后是否触发正确流程
– 小程序、App、网页链接是否分别正常
3. 时间策略测试
分别在以下时间测试：
– 工作时间
– 非工作时间
– 节假日
– 坐席全部忙碌
– 坐席离线
– 客服即将下班时
验证欢迎语、自动回复、转人工提示和服务时间是否正确。
4. 多渠道测试
如果同时接入多个渠道，分别测试：
– PC 网站
– 移动端 H5
– 微信公众号
– 小程序
– App
– API 或第三方平台
检查不同渠道是否存在：
– 回复内容不一致
– 富文本显示异常
– 图片或按钮无法展示
– 用户信息无法同步
– 会话记录不完整
—
四、异常和边界测试
建议重点覆盖以下情况：
输入异常
– 空消息
– 单个字符
– 超长消息
– 连续发送多条消息
– 表情、特殊符号
– 中英文混合
– 错别字
– 图片、语音、视频、文件
– 恶意脚本或 HTML 内容
– 外部链接
系统异常
– 知识库服务不可用
– 网络延迟
– 接口超时
– 业务系统返回错误
– 多人同时咨询
– 机器人重复发送消息
– 转人工失败
– 消息顺序错乱
安全测试
– 是否泄露其他用户订单信息
– 是否暴露内部提示词、接口地址或系统配置
– 是否被诱导生成不应展示的内容
– 是否返回完整手机号、身份证号等敏感信息
– 是否允许未登录用户查询隐私数据
—
五、准确率测试方法
可以建立一份测试表，对每条问题记录结果：
| 测试问题 | 期望意图 | 实际意图 | 回复是否正确 | 是否需转人工 | 备注 |
|—|—|—|—|—|—|
| 我要申请退款 | 退款流程 | 退款流程 | 是 | 否 | – |
| 订单不想要了怎么办 | 退款/取消订单 | 取消订单 | 否 | 否 | 意图混淆 |
常用指标包括：
1. 意图识别准确率
“`text
准确率 = 识别正确的问题数 ÷ 总测试问题数 × 100%
“`
2. 回复正确率
“`text
回复正确率 = 回复内容正确的问题数 ÷ 总问题数 × 100%
“`
3. 兜底率
统计无法回答的问题中，有多少能正常进入兜底或人工流程。
4. 转人工成功率
“`text
转人工成功率 = 成功转人工的次数 ÷ 应转人工的次数 × 100%
“`
5. 重复回复率
检查机器人是否在同一会话中反复发送相同内容。
6. 平均响应时间
记录用户发送消息到机器人回复的时间，分别统计：
– 正常响应时间
– 高并发响应时间
– 接口超时时间
—
六、推荐测试流程
可以按以下顺序执行：
1. 测试欢迎语和开场流程
2. 测试标准 FAQ
3. 测试同义词、口语和错别字
4. 测试多轮对话
5. 测试订单或业务接口
6. 测试转人工
7. 测试非工作时间
8. 测试未命中问题和兜底
9. 测试异常输入和并发
10. 检查聊天记录、统计数据和后台报表
11. 修正常见错误知识
12. 回归测试全部核心场景
—
七、测试结果判定建议
可以设置以下上线标准：
– 核心业务问题回复正确率 ≥ 95%
– 常见用户问法识别率 ≥ 90%
– 转人工成功率 ≥ 99%
– 不允许出现明显业务误导
– 不允许泄露用户隐私
– 关键链接全部有效
– 未命中问题必须有合理兜底
– 连续多轮无法解决时必须能转人工
– 高峰期响应时间满足业务要求
—
八、简单测试用例模板
“`text
用例编号：AI-001
测试场景：退款咨询
前置条件：机器人在线，退款知识已配置
操作步骤：
1. 打开客服窗口
2. 输入“我想退款”
3. 根据机器人提示继续输入订单号
4. 观察回复和转人工状态
预期结果：
1. 正确识别为退款意图
2. 回复退款条件或操作路径
3. 能正确识别订单号
4. 信息不足或异常时能转人工
5. 不泄露其他订单信息
实际结果：
测试结论：通过/失败
备注：
“`
实际测试时，建议重点关注三类问题：答非所问、无法转人工、业务数据错误。这三类问题通常比单纯的回复速度更影响客户体验。