EvalCall 评测报告
外呼对话模型 · 指令遵循自动评测
76
通过
52
未通过
34
不适用
0.0
综合得分(critical 一票否决;否决前原始分 59.5) · 通过率 59.4%
⚠ 0 分主因:指令缺陷(可行性分 0/100,非模型能力,详见下方)
⛔ 检出 18 项 critical 级违规(一票否决该项满分) · 约束违反共 21 项
⚠️ 指令体检警示(归因提示):本任务指令的可行性分仅 0/100(检出 11 项缺陷;conflict:Step1参考话术约43字,是20字上限的两倍以上。Step2询问"您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?"约38字,Step4.1询问"您是通过Web控制台、校务系统A,还是SaaS系统B发课?"约2;missing_branch:只写了「请其转达」,没有写若对方说「负责人不在/在开会/不方便转达」时如何处理。会导致执行者强行推进第2步,或陷入无脚本的即兴应对。;missing_branch:只覆盖了「说忙」→「继续说」的路径,没有写若商家在「就1分钟」之后仍拒绝(如「真的不行,挂了」),执行者应如何退出。会导致执行者在明确拒绝时仍继续拨打,引发投诉。)。 指令存在不可行/自相矛盾约束时,模型必然违规——本报告的低分应主要归因于指令缺陷而非模型能力。建议先按体检建议修复指令,再以本报告作为模型能力结论。
运行 ID 8dddc0faae92 生成时间 2026-06-06 20:34:56 任务 1 Persona 2 轨迹 6 检查点判定 162

四维能力画像

流程完整度 44.2% 约束遵循率 44.4% 异常处理 95.8% 话术合规 72.0%
流程完整度44.2%
通过 19 / 共 43 · 未通过 24
约束遵循率44.4%
通过 16 / 共 36 · 未通过 20
异常处理95.8%
通过 23 / 共 24 · 未通过 1
话术合规72.0%
通过 18 / 共 25 · 未通过 7

Persona × 任务 通过率热力图

Persona \ 任务 official_02_lowlatency
p01_cooperative_worker
58.5%
38✓ / 27✗
p02_impatient
60.3%
38✓ / 25✗
颜色越绿通过率越高,越红越低。✓ 通过数 / ✗ 未通过数。

Persona 维度切片(按通过率升序)

Persona策略通过率通过/未通过
p01_cooperative_worker —
58.5%
38 27
p02_impatient —
60.3%
38 25

高频失败检查点 TOP

#检查点类型严重度失败次数来源指令
1 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 constraint critical 6 课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
2 每次回复应当极简,最多15-20个字 style critical 6 每次回复极简——最多15-20个字
3 应当告知两种直播的延迟、适用场景及费用差异 constraint major 6 标准直播:费用较低;延迟约5-10秒;适合大班课 - 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
4 应当在结束时祝福商家并礼貌结束通话 flow minor 6 若无问题,祝其课程顺利、招生满满,结束通话
5 应当告知发布页将分开显示两个选项并说明区别 flow critical 5 之后发布页会分开显示两个选项,根据课程类型自行选择即可
6 应当询问商家是否知晓后台已为其走低延迟线路 flow major 5 您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
7 应当检查学员端费用是否已覆盖低延迟直播 flow major 5 已设置费用 → 提醒确认低延迟直播也已适用该费用
8 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 constraint major 4 若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
9 应当处理企业微信添加环节,确认当前号码是否可添加 flow major 2 若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证 - 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
10 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 constraint major 2 缓慢引导开通(每步暂停3秒)
11 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 constraint critical 1 若商家说在开车,礼貌说"那我稍后再打"后挂断
12 应当在需要实时互动的场景下鼓励商家选择低延迟直播 constraint major 1 当需要实时互动时,鼓励选择低延迟直播

逐检查点判定明细 · 可解释证据

检查点类型严重度判定置信轨迹
▶ 不得说"好的"作为回应语气词 forbidden major 通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 forbidden major 通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 不得承诺给商家折扣券或优惠券 forbidden critical 通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 应当以规定开场白开始通话,询问对方是否为机构负责人 flow critical 通过 98% official_02_lowlatency · p01_cooperative_worker
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.97} / {'verdict': 'pass', 'confidence': 0.98})
第 0 轮
您好,请问您是贵培训机构的负责人吗?
▶ 应当完成身份确认:若不是负责人则请其转达后再继续 flow critical 通过 92% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.92} / {'verdict': 'pass', 'confidence': 0.7})
第 0 轮
您好,请问您是贵培训机构的负责人吗?
第 1 轮
对,我就是,哪位?
▶ 应当询问商家是否知晓后台已为其走低延迟线路 flow major 未通过 97% official_02_lowlatency · p01_cooperative_worker
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'fail', 'confidence': 0.85})
第 2 轮
我们新增了"低延迟直播"选项,互动更流畅。
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
▶ 应当告知发布页将分开显示两个选项并说明区别 flow critical 未通过 96% official_02_lowlatency · p01_cooperative_worker
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.96} / {'verdict': 'fail', 'confidence': 0.8})
第 7 轮
我来引导您开通,步骤很简单,您现在方便操作吗?
第 12 轮
可能后台还没给您配置好,我这边登记一下,明天再查看。
▶ 应当询问商家通过哪种系统发课 flow major 通过 90% official_02_lowlatency · p01_cooperative_worker
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.88} / {'verdict': 'pass', 'confidence': 0.9})
第 5 轮
您用的是Web控制台、还是第三方系统发课?
▶ 应当检查学员端费用是否已覆盖低延迟直播 flow major 不适用 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.55})
(无引述证据)
▶ 应当处理企业微信添加环节,确认当前号码是否可添加 flow major 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证 - 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.7})
第 4 轮
我加您企微发正式资料?
▶ 应当在结束时祝福商家并礼貌结束通话 flow minor 未通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'fail', 'confidence': 0.6})
第 12 轮
可能后台还没给您配置好,我这边登记一下,明天再查看。
▶ 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 constraint critical 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.93} / {'verdict': 'fail', 'confidence': 0.7})
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
▶ 应当在需要实时互动的场景下鼓励商家选择低延迟直播 constraint major 不适用 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.5})
(无引述证据)
▶ 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 constraint major 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.8})
第 12 轮
可能后台还没给您配置好,我这边登记一下,明天再查看。
▶ 应当告知两种直播的延迟、适用场景及费用差异 constraint major 未通过 88% official_02_lowlatency · p01_cooperative_worker
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课 - 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.7})
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
▶ 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 constraint major 未通过 82% official_02_lowlatency · p01_cooperative_worker
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.75} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 8 轮
先进【我的】,看到了吗?
第 9 轮
点【服务商/直播平台管理】,找到了吗?
第 10 轮
选【直播平台】,看到了吗?
▶ 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 constraint major 不适用 90% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.85})
(无引述证据)
▶ 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 constraint major 不适用 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.0} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.8})
(无引述证据)
▶ 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 constraint critical 通过 92% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.92} / {'verdict': 'pass', 'confidence': 0.7})
第 2 轮
就1分钟!我们新增了"低延迟直播"选项,互动更流畅。
▶ 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 constraint critical 不适用 98% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.0} / {'verdict': 'na', 'confidence': 0.98} / {'verdict': 'na', 'confidence': 0.9})
(无引述证据)
▶ 即使主任务完成,若商家仍有疑问,应当继续简短作答 constraint major 通过 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.8})
第 3 轮
低延迟直播?那跟之前的有啥区别,延迟差多少、费用怎么算?
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
第 4 轮
费用略高是高多少?你说个具体数字,别跟我打马虎眼
第 4 轮
具体定价我这边没权限报,建议您登录控制台查看,或我加您企微发正式资料?
▶ 不得使用正式或冗长的解释 forbidden minor 通过 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.72} / {'verdict': 'pass', 'confidence': 0.8})
第 2 轮
就1分钟!我们新增了低延迟直播选项,互动更流畅。
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
第 12 轮
可能后台还没给您配置好,我这边登记一下,明天再查看。
▶ 每次回复应当极简,最多15-20个字 style critical 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.9})
第 1 轮
我是课程平台的客服,直播功能有个升级想跟您说一下,方便吗?
第 2 轮
就1分钟!我们新增了低延迟直播选项,互动更流畅。
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
第 4 轮
具体定价我这边没权限报,建议您登录控制台查看,或我加您企微发正式资料?
第 6 轮
好,那您在第三方系统里现在能看到低延迟直播选项吗?
第 12 轮
可能后台还没给您配置好,我这边登记一下,明天再查看。
▶ 应当使用简短、自然的口语化表达,符合电话沟通风格 style major 通过 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.85})
第 2 轮
就1分钟!我们新增了"低延迟直播"选项,互动更流畅。
第 8 轮
先进【我的】,看到了吗?
▶ 应当频繁给商家发言和提问的机会,不得一直独自说话 style major 通过 90% official_02_lowlatency · p01_cooperative_worker
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.9})
第 1 轮
方便吗?
第 5 轮
您用的是Web控制台、还是第三方系统发课?
第 6 轮
好,那您在第三方系统里现在能看到低延迟直播选项吗?
第 8 轮
先进【我的】,看到了吗?
第 10 轮
选【直播平台】,看到了吗?
▶ 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" style minor 不适用 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.55} / {'verdict': 'na', 'confidence': 0.6})
(无引述证据)
▶ 应当给出信息后暂停,等待商家回应后再继续 style major 通过 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.85})
第 8 轮
先进【我的】,看到了吗?
第 10 轮
选【直播平台】,看到了吗?
▶ 不得说"好的"作为回应语气词 forbidden major 通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 forbidden major 通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 不得承诺给商家折扣券或优惠券 forbidden critical 通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 应当以规定开场白开始通话,询问对方是否为机构负责人 flow critical 通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 1.0} / {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.99})
第 0 轮
您好,请问您是贵培训机构/校区的负责人吗?
▶ 应当完成身份确认:若不是负责人则请其转达后再继续 flow critical 通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9})
第 0 轮
您好,请问您是贵培训机构/校区的负责人吗?
第 1 轮
对,我是,您哪位?
▶ 应当询问商家是否知晓后台已为其走低延迟线路 flow major 未通过 90% official_02_lowlatency · p01_cooperative_worker
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.8})
第 2 轮
就1分钟!我们新增了"低延迟直播"选项,发课时可直接选,互动更流畅。您之前用的标准直播,知道区别吗?
▶ 应当告知发布页将分开显示两个选项并说明区别 flow critical 未通过 88% official_02_lowlatency · p01_cooperative_worker
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.7})
第 2 轮
我们新增了"低延迟直播"选项,发课时可直接选,互动更流畅。
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
▶ 应当询问商家通过哪种系统发课 flow major 通过 92% official_02_lowlatency · p01_cooperative_worker
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.92} / {'verdict': 'pass', 'confidence': 0.85})
第 8 轮
您是通过Web控制台发课,还是第三方系统?
▶ 应当检查学员端费用是否已覆盖低延迟直播 flow major 未通过 82% official_02_lowlatency · p01_cooperative_worker
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.8} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 5 轮
您学员端现在有设直播线路附加费吗?
第 6 轮
这个需要您在后台确认,我来引导您查一下,方便吗?
▶ 应当处理企业微信添加环节,确认当前号码是否可添加 flow major 不适用 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证 - 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'na', 'confidence': 0.8})
(无引述证据)
▶ 应当在结束时祝福商家并礼貌结束通话 flow minor 未通过 97% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'na', 'confidence': 0.6})
第 10 轮
当然,您忙完再联系我就行。
▶ 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 constraint critical 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.7})
第 1 轮
我们新增了"低延迟直播"选项,发课时可直接选,互动更流畅。
第 2 轮
您之前用的标准直播,知道区别吗?
▶ 应当在需要实时互动的场景下鼓励商家选择低延迟直播 constraint major 未通过 88% official_02_lowlatency · p01_cooperative_worker
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.8} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'pass', 'confidence': 0.5})
第 2 轮
互动更流畅
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
▶ 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 constraint major 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.75} / {'verdict': 'fail', 'confidence': 0.5})
第 8 轮
我的后台没有低延迟直播这个东西,是不是压根没给我开?
第 8 轮
您是通过Web控制台发课,还是第三方系统?
▶ 应当告知两种直播的延迟、适用场景及费用差异 constraint major 未通过 92% official_02_lowlatency · p01_cooperative_worker
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课 - 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.6})
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
▶ 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 constraint major 未通过 90% official_02_lowlatency · p01_cooperative_worker
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.5})
第 8 轮
我的后台没有低延迟直播这个东西
第 9 轮
需要您在系统里配置,进入【我的】,看到了吗?
第 10 轮
我现在在开会呢,你说的这个我能不能先挂掉
▶ 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 constraint major 不适用 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.7})
(无引述证据)
▶ 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 constraint major 不适用 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.4})
(无引述证据)
▶ 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 constraint critical 通过 90% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.88} / {'verdict': 'pass', 'confidence': 0.9})
第 2 轮
就1分钟!我们新增了"低延迟直播"选项,发课时可直接选,互动更流畅。
▶ 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 constraint critical 不适用 99% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.99} / {'verdict': 'na', 'confidence': 0.85})
(无引述证据)
▶ 即使主任务完成,若商家仍有疑问,应当继续简短作答 constraint major 通过 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'fail', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.85})
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
第 4 轮
具体报价我这边没法直接给,需要联系商务确认,要帮您对接吗?
▶ 不得使用正式或冗长的解释 forbidden minor 通过 82% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 1 轮
直播产品有个升级想跟您说一下,方便吗?
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
第 4 轮
具体报价我这边没法直接给,需要联系商务确认,要帮您对接吗?
▶ 每次回复应当极简,最多15-20个字 style critical 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.92})
第 1 轮
我是课程平台的客服,直播产品有个升级想跟您说一下,方便吗?
第 2 轮
就1分钟!我们新增了"低延迟直播"选项,发课时可直接选,互动更流畅。您之前用的标准直播,知道区别吗?
第 3 轮
标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。
第 4 轮
具体报价我这边没法直接给,需要联系商务确认,要帮您对接吗?
▶ 应当使用简短、自然的口语化表达,符合电话沟通风格 style major 通过 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.85})
第 2 轮
就1分钟!
第 7 轮
先进入【我的】,再点【教务/财务设置】,到了吗?
▶ 应当频繁给商家发言和提问的机会,不得一直独自说话 style major 通过 90% official_02_lowlatency · p01_cooperative_worker
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.78} / {'verdict': 'pass', 'confidence': 0.9})
第 2 轮
您之前用的标准直播,知道区别吗?
第 4 轮
要帮您对接吗?
第 6 轮
我来引导您查一下,方便吗?
▶ 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" style minor 不适用 75% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.7} / {'verdict': 'na', 'confidence': 0.75} / {'verdict': 'na', 'confidence': 0.55})
(无引述证据)
▶ 应当给出信息后暂停,等待商家回应后再继续 style major 通过 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 2 轮
您之前用的标准直播,知道区别吗?
第 4 轮
要帮您对接吗?
第 7 轮
到了吗?
▶ 不得说"好的"作为回应语气词 forbidden major 通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 forbidden major 通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 不得承诺给商家折扣券或优惠券 forbidden critical 通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 应当以规定开场白开始通话,询问对方是否为机构负责人 flow critical 通过 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 1.0} / {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.98})
第 0 轮
您好,请问您是贵培训机构/校区的负责人吗?
▶ 应当完成身份确认:若不是负责人则请其转达后再继续 flow critical 通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.7})
第 1 轮
对,我是,你好,有什么事吗?
第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?
▶ 应当询问商家是否知晓后台已为其走低延迟线路 flow major 通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.95})
第 2 轮
您之前选的标准直播,我们后台其实已为您走低延迟线路,知道吗?
▶ 应当告知发布页将分开显示两个选项并说明区别 flow critical 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.7})
(无引述证据)
▶ 应当询问商家通过哪种系统发课 flow major 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.6})
(无引述证据)
▶ 应当检查学员端费用是否已覆盖低延迟直播 flow major 未通过 88% official_02_lowlatency · p01_cooperative_worker
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'pass', 'confidence': 0.6})
第 12 轮
对,这是您对学员收的附加费,跟平台收您的费用是分开的。
▶ 应当处理企业微信添加环节,确认当前号码是否可添加 flow major 不适用 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证 - 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9})
(无引述证据)
▶ 应当在结束时祝福商家并礼貌结束通话 flow minor 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.6})
第 12 轮
对,这是您对学员收的附加费,跟平台收您的费用是分开的。
▶ 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 constraint critical 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?
第 2 轮
您之前选的标准直播,我们后台其实已为您走了低延迟线路,知道吗?
▶ 应当在需要实时互动的场景下鼓励商家选择低延迟直播 constraint major 不适用 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.6})
(无引述证据)
▶ 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 constraint major 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.8})
第 2 轮
您之前选的标准直播,我们后台其实已为您走了低延迟线路,知道吗?
第 3 轮
费用暂不变,您放心。
▶ 应当告知两种直播的延迟、适用场景及费用差异 constraint major 未通过 97% official_02_lowlatency · p01_cooperative_worker
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课 - 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'fail', 'confidence': 0.85})
第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?
第 7 轮
价格暂未定,有变动会提前通知您。
▶ 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 constraint major 不适用 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.7})
(无引述证据)
▶ 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 constraint major 通过 97% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.97} / {'verdict': 'pass', 'confidence': 0.95})
第 5 轮
我帮您后台配置,明天再查看就有了。
▶ 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 constraint major 通过 60% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.6} / {'verdict': 'pass', 'confidence': 0.6})
第 9 轮
进【我的】,找到【教务/财务设置】,点进去。
第 10 轮
找【收费规则】,点进去。
第 11 轮
编辑直播线路附加费,为低延迟直播启用。
▶ 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 constraint critical 通过 98% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.98} / {'verdict': 'pass', 'confidence': 0.97})
第 2 轮
就1分钟,保证简短。您之前选的标准直播,我们后台其实已为您走了低延迟线路,知道吗?
▶ 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 constraint critical 不适用 100% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.99} / {'verdict': 'na', 'confidence': 0.9})
(无引述证据)
▶ 即使主任务完成,若商家仍有疑问,应当继续简短作答 constraint major 通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.9})
第 7 轮
价格暂未定,有变动会提前通知您。
第 12 轮
对,这是您对学员收的附加费,跟平台收您的费用是分开的。
▶ 不得使用正式或冗长的解释 forbidden minor 通过 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.68} / {'verdict': 'pass', 'confidence': 0.85})
第 3 轮
费用暂不变,您放心。
第 6 轮
部分配置需同步,一般隔天生效,请见谅。
▶ 每次回复应当极简,最多15-20个字 style critical 未通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.9})
第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?
第 2 轮
就1分钟,保证简短。您之前选的标准直播,我们后台其实已为您走了低延迟线路,知道吗?
第 12 轮
对,这是您对学员收的附加费,跟平台收您的费用是分开的。
▶ 应当使用简短、自然的口语化表达,符合电话沟通风格 style major 通过 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.85})
第 3 轮
费用暂不变,您放心。
第 10 轮
找【收费规则】,点进去。
▶ 应当频繁给商家发言和提问的机会,不得一直独自说话 style major 通过 85% official_02_lowlatency · p01_cooperative_worker
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.85})
第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?
第 8 轮
您现在在控制台里吗?
▶ 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" style minor 不适用 90% official_02_lowlatency · p01_cooperative_worker
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.8} / {'verdict': 'na', 'confidence': 0.55})
(无引述证据)
▶ 应当给出信息后暂停,等待商家回应后再继续 style major 通过 95% official_02_lowlatency · p01_cooperative_worker
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.72} / {'verdict': 'pass', 'confidence': 0.8})
第 0 轮
您好,请问您是贵培训机构/校区的负责人吗?
第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?
第 8 轮
您现在在控制台里吗?
▶ 不得说"好的"作为回应语气词 forbidden major 未通过 100% official_02_lowlatency · p02_impatient
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'fail', 'method': 'rule', 'matched': '好的'})
第 6 轮
好的,商务会尽快联系您。您是通过哪个系统发课?
▶ 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 forbidden major 通过 100% official_02_lowlatency · p02_impatient
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 不得承诺给商家折扣券或优惠券 forbidden critical 通过 100% official_02_lowlatency · p02_impatient
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 应当以规定开场白开始通话,询问对方是否为机构负责人 flow critical 通过 99% official_02_lowlatency · p02_impatient
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.97})
第 0 轮
您好,请问您是贵培训机构的负责人吗?
▶ 应当完成身份确认:若不是负责人则请其转达后再继续 flow critical 通过 95% official_02_lowlatency · p02_impatient
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.8})
第 1 轮
对,我是,什么事快说!
第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,就一分钟!
▶ 应当询问商家是否知晓后台已为其走低延迟线路 flow major 未通过 95% official_02_lowlatency · p02_impatient
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
(无引述证据)
▶ 应当告知发布页将分开显示两个选项并说明区别 flow critical 未通过 92% official_02_lowlatency · p02_impatient
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.75})
第 2 轮
标准直播延迟5-10秒,低延迟约1-2秒,互动更流畅。
第 8 轮
新选项正在陆续开放,如果您明天登录还看不到,告诉我,我帮您后台配置。
▶ 应当询问商家通过哪种系统发课 flow major 通过 90% official_02_lowlatency · p02_impatient
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.9})
第 6 轮
您是通过哪个系统发课?
第 7 轮
我就用你们自己的Web控制台
▶ 应当检查学员端费用是否已覆盖低延迟直播 flow major 未通过 85% official_02_lowlatency · p02_impatient
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.6})
(无引述证据)
▶ 应当处理企业微信添加环节,确认当前号码是否可添加 flow major 不适用 100% official_02_lowlatency · p02_impatient
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证 - 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'na', 'confidence': 0.8})
(无引述证据)
▶ 应当在结束时祝福商家并礼貌结束通话 flow minor 未通过 96% official_02_lowlatency · p02_impatient
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.96} / {'verdict': 'na', 'confidence': 0.75})
第 9 轮
录音是系统自动的,这块我没法调整,抱歉。
▶ 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 constraint critical 未通过 95% official_02_lowlatency · p02_impatient
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.7})
第 1 轮
新增了"低延迟直播"选项,就一分钟!
第 2 轮
标准直播延迟5-10秒,低延迟约1-2秒,互动更流畅。
▶ 应当在需要实时互动的场景下鼓励商家选择低延迟直播 constraint major 不适用 100% official_02_lowlatency · p02_impatient
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'na', 'confidence': 0.6})
(无引述证据)
▶ 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 constraint major 不适用 100% official_02_lowlatency · p02_impatient
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.7})
(无引述证据)
▶ 应当告知两种直播的延迟、适用场景及费用差异 constraint major 未通过 92% official_02_lowlatency · p02_impatient
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课 - 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.7})
第 2 轮
标准直播延迟5-10秒,低延迟约1-2秒,互动更流畅。
第 3 轮
低延迟带宽保障更强,费用略高一点。
▶ 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 constraint major 不适用 95% official_02_lowlatency · p02_impatient
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.85})
(无引述证据)
▶ 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 constraint major 通过 85% official_02_lowlatency · p02_impatient
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.8})
第 8 轮
如果您明天登录还看不到,告诉我,我帮您后台配置。
▶ 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 constraint major 不适用 95% official_02_lowlatency · p02_impatient
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.8})
(无引述证据)
▶ 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 constraint critical 通过 82% official_02_lowlatency · p02_impatient
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.55})
第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,就一分钟!
▶ 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 constraint critical 不适用 95% official_02_lowlatency · p02_impatient
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.95})
(无引述证据)
▶ 即使主任务完成,若商家仍有疑问,应当继续简短作答 constraint major 通过 90% official_02_lowlatency · p02_impatient
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.88} / {'verdict': 'pass', 'confidence': 0.85})
第 9 轮
录音是系统自动的,这块我没法调整,抱歉。
▶ 不得使用正式或冗长的解释 forbidden minor 通过 85% official_02_lowlatency · p02_impatient
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.85})
第 3 轮
低延迟带宽保障更强,费用略高一点。
第 9 轮
录音是系统自动的,这块我没法调整,抱歉。
▶ 每次回复应当极简,最多15-20个字 style critical 未通过 95% official_02_lowlatency · p02_impatient
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.9})
第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,就一分钟!
第 4 轮
具体价格要看您的套餐,我帮您查一下,方便告知您账号吗?
第 5 轮
具体定价我这边没权限查,需要商务同事跟您确认,可以吗?
第 7 轮
您先登录控制台看一下,发布页有没有"低延迟直播"?
第 8 轮
新选项正在陆续开放,如果您明天登录还看不到,告诉我,我帮您后台配置。
▶ 应当使用简短、自然的口语化表达,符合电话沟通风格 style major 通过 80% official_02_lowlatency · p02_impatient
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.78} / {'verdict': 'pass', 'confidence': 0.8})
第 1 轮
就一分钟!
第 3 轮
低延迟带宽保障更强,费用略高一点。
第 9 轮
录音是系统自动的,这块我没法调整,抱歉。
▶ 应当频繁给商家发言和提问的机会,不得一直独自说话 style major 通过 90% official_02_lowlatency · p02_impatient
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.85})
第 2 轮
用户提问,客服即时回答后,用户紧接着继续提问
第 6 轮
您是通过哪个系统发课?
第 8 轮
整个对话过程中交替进行,客服不存在长段独自说话
▶ 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" style minor 不适用 60% official_02_lowlatency · p02_impatient
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.0} / {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.6})
(无引述证据)
▶ 应当给出信息后暂停,等待商家回应后再继续 style major 通过 80% official_02_lowlatency · p02_impatient
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.8})
第 2 轮
标准直播延迟5-10秒,低延迟约1-2秒,互动更流畅。
第 5 轮
具体定价我这边没权限查,需要商务同事跟您确认,可以吗?
▶ 不得说"好的"作为回应语气词 forbidden major 通过 100% official_02_lowlatency · p02_impatient
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 forbidden major 通过 100% official_02_lowlatency · p02_impatient
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 不得承诺给商家折扣券或优惠券 forbidden critical 通过 100% official_02_lowlatency · p02_impatient
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 应当以规定开场白开始通话,询问对方是否为机构负责人 flow critical 通过 100% official_02_lowlatency · p02_impatient
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 1.0} / {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.98})
第 0 轮
您好,请问您是贵培训机构/校区的负责人吗?
▶ 应当完成身份确认:若不是负责人则请其转达后再继续 flow critical 通过 95% official_02_lowlatency · p02_impatient
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9})
第 1 轮
对对对,我就是
▶ 应当询问商家是否知晓后台已为其走低延迟线路 flow major 未通过 100% official_02_lowlatency · p02_impatient
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'fail', 'confidence': 0.85})
(无引述证据)
▶ 应当告知发布页将分开显示两个选项并说明区别 flow critical 通过 82% official_02_lowlatency · p02_impatient
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.65})
第 3 轮
好,就一句:发课页会多一个"低延迟直播"选项,互动课选它就行。
▶ 应当询问商家通过哪种系统发课 flow major 通过 65% official_02_lowlatency · p02_impatient
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.65} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'pass', 'confidence': 0.6})
第 1 轮
您现在用的是哪种发课方式?
▶ 应当检查学员端费用是否已覆盖低延迟直播 flow major 未通过 95% official_02_lowlatency · p02_impatient
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.55})
第 4 轮
低延迟直播费用略高,标准直播更便宜。
第 5 轮
具体价格我这边没有,您方便时登录控制台查看,或我稍后发您。
▶ 应当处理企业微信添加环节,确认当前号码是否可添加 flow major 不适用 100% official_02_lowlatency · p02_impatient
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证 - 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9})
(无引述证据)
▶ 应当在结束时祝福商家并礼貌结束通话 flow minor 未通过 97% official_02_lowlatency · p02_impatient
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'na', 'confidence': 0.6})
第 6 轮
行了行了,那你稍后发我吧,发短信就行。
▶ 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 constraint critical 未通过 95% official_02_lowlatency · p02_impatient
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
第 3 轮
发课页会多一个"低延迟直播"选项,互动课选它就行。
▶ 应当在需要实时互动的场景下鼓励商家选择低延迟直播 constraint major 通过 82% official_02_lowlatency · p02_impatient
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 3 轮
互动课选它就行
▶ 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 constraint major 不适用 100% official_02_lowlatency · p02_impatient
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.85})
(无引述证据)
▶ 应当告知两种直播的延迟、适用场景及费用差异 constraint major 未通过 95% official_02_lowlatency · p02_impatient
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课 - 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.93} / {'verdict': 'fail', 'confidence': 0.8})
第 4 轮
低延迟直播费用略高,标准直播更便宜。
▶ 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 constraint major 不适用 95% official_02_lowlatency · p02_impatient
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.9})
(无引述证据)
▶ 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 constraint major 不适用 95% official_02_lowlatency · p02_impatient
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.88})
(无引述证据)
▶ 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 constraint major 不适用 90% official_02_lowlatency · p02_impatient
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.7})
(无引述证据)
▶ 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 constraint critical 不适用 95% official_02_lowlatency · p02_impatient
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.55})
(无引述证据)
▶ 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 constraint critical 未通过 95% official_02_lowlatency · p02_impatient
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
第 2 轮
那我稍后再打,您注意安全。
第 3 轮
好,就一句:发课页会多一个"低延迟直播"选项,互动课选它就行。
▶ 即使主任务完成,若商家仍有疑问,应当继续简短作答 constraint major 通过 90% official_02_lowlatency · p02_impatient
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.8})
第 4 轮
用户:那费用呢,跟原来一样还是要加钱?直接说数。
第 4 轮
客服:低延迟直播费用略高,标准直播更便宜。
第 5 轮
用户:略高是多少,你给个具体数字,别跟我说'略高'这种废话。
第 5 轮
客服:具体价格我这边没有,您方便时登录控制台查看,或我稍后发您。
▶ 不得使用正式或冗长的解释 forbidden minor 通过 85% official_02_lowlatency · p02_impatient
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.85})
第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,发课时可以自选。
第 3 轮
好,就一句:发课页会多一个"低延迟直播"选项,互动课选它就行。
第 4 轮
低延迟直播费用略高,标准直播更便宜。
第 5 轮
具体价格我这边没有,您方便时登录控制台查看,或我稍后发您。
▶ 每次回复应当极简,最多15-20个字 style critical 未通过 95% official_02_lowlatency · p02_impatient
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.9})
第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,发课时可以自选。您现在用的是哪种发课方式?
第 3 轮
好,就一句:发课页会多一个"低延迟直播"选项,互动课选它就行。
第 5 轮
具体价格我这边没有,您方便时登录控制台查看,或我稍后发您。
▶ 应当使用简短、自然的口语化表达,符合电话沟通风格 style major 通过 80% official_02_lowlatency · p02_impatient
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.8})
第 2 轮
那我稍后再打,您注意安全。
第 3 轮
好,就一句:发课页会多一个"低延迟直播"选项,互动课选它就行。
第 4 轮
低延迟直播费用略高,标准直播更便宜。
▶ 应当频繁给商家发言和提问的机会,不得一直独自说话 style major 通过 85% official_02_lowlatency · p02_impatient
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.85})
第 1 轮
您现在用的是哪种发课方式?
▶ 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" style minor 不适用 70% official_02_lowlatency · p02_impatient
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.7} / {'verdict': 'na', 'confidence': 0.5})
(无引述证据)
▶ 应当给出信息后暂停,等待商家回应后再继续 style major 通过 90% official_02_lowlatency · p02_impatient
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 1 轮
您现在用的是哪种发课方式?
第 4 轮
低延迟直播费用略高,标准直播更便宜。
▶ 不得说"好的"作为回应语气词 forbidden major 通过 100% official_02_lowlatency · p02_impatient
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 forbidden major 通过 100% official_02_lowlatency · p02_impatient
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 不得承诺给商家折扣券或优惠券 forbidden critical 通过 100% official_02_lowlatency · p02_impatient
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
▶ 应当以规定开场白开始通话,询问对方是否为机构负责人 flow critical 通过 99% official_02_lowlatency · p02_impatient
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.98})
第 0 轮
您好,请问您是贵培训机构的负责人吗?
▶ 应当完成身份确认:若不是负责人则请其转达后再继续 flow critical 通过 95% official_02_lowlatency · p02_impatient
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9})
第 1 轮
对,我是
▶ 应当询问商家是否知晓后台已为其走低延迟线路 flow major 未通过 95% official_02_lowlatency · p02_impatient
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
(无引述证据)
▶ 应当告知发布页将分开显示两个选项并说明区别 flow critical 未通过 92% official_02_lowlatency · p02_impatient
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.7})
第 1 轮
我们直播产品升级了,新增"低延迟直播"选项,发课时可以单独选。
第 3 轮
您先去发课页面看看,有没有"低延迟直播"这个选项?
▶ 应当询问商家通过哪种系统发课 flow major 通过 97% official_02_lowlatency · p02_impatient
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.97} / {'verdict': 'pass', 'confidence': 0.95})
第 2 轮
您现在用Web控制台、还是第三方系统发课?
▶ 应当检查学员端费用是否已覆盖低延迟直播 flow major 未通过 88% official_02_lowlatency · p02_impatient
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.5})
第 9 轮
具体价格我查完发您,您方便加企业微信吗?
第 10 轮
低延迟比标准直播贵一点,具体以您账户套餐为准,我查完回您。
▶ 应当处理企业微信添加环节,确认当前号码是否可添加 flow major 未通过 95% official_02_lowlatency · p02_impatient
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证 - 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.6})
第 9 轮
具体价格我查完发您,您方便加企业微信吗?
第 10 轮
企业微信?加什么加,你直接告诉我不就完了,问那么多干嘛!
▶ 应当在结束时祝福商家并礼貌结束通话 flow minor 未通过 98% official_02_lowlatency · p02_impatient
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.98} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'na', 'confidence': 0.7})
第 12 轮
一对一答疑选低延迟,互动更流畅。
▶ 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 constraint critical 未通过 88% official_02_lowlatency · p02_impatient
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.85})
第 1 轮
我们直播产品升级了,新增"低延迟直播"选项,发课时可以单独选。
▶ 应当在需要实时互动的场景下鼓励商家选择低延迟直播 constraint major 通过 91% official_02_lowlatency · p02_impatient
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.91} / {'verdict': 'pass', 'confidence': 0.9})
第 11 轮
互动多、小班课、实操课,选低延迟;大班直播选标准的就行。
第 12 轮
一对一答疑选低延迟,互动更流畅。
▶ 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 constraint major 未通过 90% official_02_lowlatency · p02_impatient
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.75})
第 3 轮
没有!没有才来问你的,你就说我怎么弄出来就行了!
第 4 轮
好,我帮您后台配置,明天再看一下就有了。
▶ 应当告知两种直播的延迟、适用场景及费用差异 constraint major 未通过 89% official_02_lowlatency · p02_impatient
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课 - 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.89} / {'verdict': 'fail', 'confidence': 0.7})
第 10 轮
低延迟比标准直播贵一点,具体以您账户套餐为准,我查完回您。
第 11 轮
互动多、小班课、实操课,选低延迟;大班直播选标准的就行。
▶ 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 constraint major 不适用 100% official_02_lowlatency · p02_impatient
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.95})
(无引述证据)
▶ 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 constraint major 通过 95% official_02_lowlatency · p02_impatient
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.92} / {'verdict': 'pass', 'confidence': 0.9})
第 4 轮
好,我帮您后台配置,明天再看一下就有了。
▶ 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 constraint major 不适用 100% official_02_lowlatency · p02_impatient
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.8})
(无引述证据)
▶ 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 constraint critical 不适用 100% official_02_lowlatency · p02_impatient
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.7})
(无引述证据)
▶ 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 constraint critical 不适用 100% official_02_lowlatency · p02_impatient
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.95})
(无引述证据)
▶ 即使主任务完成,若商家仍有疑问,应当继续简短作答 constraint major 通过 92% official_02_lowlatency · p02_impatient
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.92})
第 11 轮
互动多、小班课、实操课,选低延迟;大班直播选标准的就行。
第 12 轮
一对一答疑选低延迟,互动更流畅。
▶ 不得使用正式或冗长的解释 forbidden minor 通过 80% official_02_lowlatency · p02_impatient
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.65} / {'verdict': 'pass', 'confidence': 0.8})
第 7 轮
耽误您了,很抱歉。赔偿我没法承诺,但今天一定帮您解决。
第 8 轮
补偿券我给不了,但今天内一定给您开通。
▶ 每次回复应当极简,最多15-20个字 style critical 未通过 95% official_02_lowlatency · p02_impatient
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
第 1 轮
我们直播产品升级了,新增"低延迟直播"选项,发课时可以单独选。
第 5 轮
我理解,但后台配置需要一些时间,今天内我们会尽快处理。
第 10 轮
低延迟比标准直播贵一点,具体以您账户套餐为准,我查完回您。
▶ 应当使用简短、自然的口语化表达,符合电话沟通风格 style major 通过 85% official_02_lowlatency · p02_impatient
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.85})
第 4 轮
好,我帮您后台配置,明天再看一下就有了。
第 12 轮
一对一答疑选低延迟,互动更流畅。
▶ 应当频繁给商家发言和提问的机会,不得一直独自说话 style major 通过 80% official_02_lowlatency · p02_impatient
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.72} / {'verdict': 'pass', 'confidence': 0.8})
第 2 轮
您现在用Web控制台、还是第三方系统发课?
第 9 轮
具体价格我查完发您,您方便加企业微信吗?
▶ 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" style minor 未通过 78% official_02_lowlatency · p02_impatient
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.7} / {'verdict': 'fail', 'confidence': 0.78} / {'verdict': 'na', 'confidence': 0.6})
第 9 轮
具体价格我查完发您,您方便加企业微信吗?
第 11 轮
互动多、小班课、实操课,选低延迟;大班直播选标准的就行。
▶ 应当给出信息后暂停,等待商家回应后再继续 style major 通过 80% official_02_lowlatency · p02_impatient
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.62} / {'verdict': 'pass', 'confidence': 0.8})
第 1 轮
我们直播产品升级了,新增"低延迟直播"选项,发课时可以单独选。
第 2 轮
您现在用Web控制台、还是第三方系统发课?
点击任意行展开查看来源指令引文与逐轮证据。

失败案例剖析 · 完整对话回放

official_02_lowlatency 用户画像:p01_cooperative_worker 违规 27 项 · critical 9
数字人 · 第 0 轮
您好,请问您是贵培训机构/校区的负责人吗?
用户 · 第 1 轮
对,我是,你好,有什么事吗?
数字人 · 第 1 轮
我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?
用户 · 第 2 轮
不了解,你快说重点,我这边要开会了。
数字人 · 第 2 轮
就1分钟,保证简短。您之前选的标准直播,我们后台其实已为您走了低延迟线路,知道吗?
用户 · 第 3 轮
不知道,那跟我有什么关系,费用会变吗?
数字人 · 第 3 轮
费用暂不变,您放心。
用户 · 第 4 轮
那你打这个电话干嘛?只是通知一下?你们是哪家公司的,我怎么知道你是正规客服还是骗子?
数字人 · 第 4 轮
我是[平台名称]客服,您可登录官网验证。
用户 · 第 5 轮
好,那你说说这个低延迟直播到底在哪里能看到?我登进去控制台好像没看到这个选项。
数字人 · 第 5 轮
我帮您后台配置,明天再查看就有了。
用户 · 第 6 轮
明天?那今天能不能直接给我开通,为啥要等到明天,后台配置一般不是实时生效的吗?
数字人 · 第 6 轮
部分配置需同步,一般隔天生效,请见谅。
用户 · 第 7 轮
行,那费用这块你说暂不变,但以后会变吗?变的话大概是个什么价位?
数字人 · 第 7 轮
价格暂未定,有变动会提前通知您。
用户 · 第 8 轮
行,那我控制台里的费用设置那块,我自己能调吗?你教我怎么弄。
数字人 · 第 8 轮
您现在在控制台里吗?
用户 · 第 9 轮
对,我打开着呢,你说怎么弄。
数字人 · 第 9 轮
进【我的】,找到【教务/财务设置】,点进去。
用户 · 第 10 轮
进去了,然后呢?
数字人 · 第 10 轮
找【收费规则】,点进去。
用户 · 第 11 轮
找到了,然后呢,快说。
数字人 · 第 11 轮
编辑直播线路附加费,为低延迟直播启用。
用户 · 第 12 轮
等等,这费用附加项我设了之后,是不是我的学员那边就要多收钱了?那你说"费用暂不变"是什么意思?
数字人 · 第 12 轮
对,这是您对学员收的附加费,跟平台收您的费用是分开的。
official_02_lowlatency 用户画像:p02_impatient 违规 25 项 · critical 9
数字人 · 第 0 轮
您好,请问您是贵培训机构的负责人吗?
用户 · 第 1 轮
对,我是,你有什么事快说。
数字人 · 第 1 轮
我们直播产品升级了,新增"低延迟直播"选项,发课时可以单独选。
用户 · 第 2 轮
行行行,那我现在能用吗,怎么开?
数字人 · 第 2 轮
您现在用Web控制台、还是第三方系统发课?
用户 · 第 3 轮
用Web控制台,那你直接告诉我怎么开,步骤说清楚点。
数字人 · 第 3 轮
您先去发课页面看看,有没有"低延迟直播"这个选项?
用户 · 第 4 轮
没有!没有才来问你的,你就说我怎么弄出来就行了!
数字人 · 第 4 轮
好,我帮您后台配置,明天再看一下就有了。
用户 · 第 5 轮
明天?我今天就要用!你就不能现在给我弄好?
数字人 · 第 5 轮
我理解,但后台配置需要一些时间,今天内我们会尽快处理。
用户 · 第 6 轮
那到底是今天还是明天,你给我个准话!别整那些"尽快",是几点!
数字人 · 第 6 轮
今天下班前,我帮您跟进,有消息第一时间通知您。
用户 · 第 7 轮
行了,那你报个时间,几点之前没好我直接投诉!你们这升级,搞得我现在用不了,耽误我事你知道吗,这算不算你们的问题,你们打算怎么赔?
数字人 · 第 7 轮
耽误您了,很抱歉。赔偿我没法承诺,但今天一定帮您解决。
用户 · 第 8 轮
没法承诺?那你叫你上级来跟我说!我要投诉!你们升级出了问题,耽误我正常使用,就这么算了?最起码给我个优惠或者补偿券吧!
数字人 · 第 8 轮
补偿券我给不了,但今天内一定给您开通。
用户 · 第 9 轮
那行吧,今天没开通你们等着被投诉。还有,你刚才说费用上有差异,那到底贵多少,你给我说清楚!
数字人 · 第 9 轮
具体价格我查完发您,您方便加企业微信吗?
用户 · 第 10 轮
企业微信?加什么加,你直接告诉我不就完了,问那么多干嘛!
数字人 · 第 10 轮
低延迟比标准直播贵一点,具体以您账户套餐为准,我查完回您。
用户 · 第 11 轮
那你就查,查完直接打我电话告诉我,别发什么消息。对了,你刚才说这个低延迟适合什么场景用,什么时候该选它,你说清楚没?
数字人 · 第 11 轮
互动多、小班课、实操课,选低延迟;大班直播选标准的就行。
用户 · 第 12 轮
行,那我平时一对一答疑算哪种,选低延迟还是标准的?
数字人 · 第 12 轮
一对一答疑选低延迟,互动更流畅。

模拟器覆盖率 · 测试充分性量化

100.0%
检查点触达率
(27/27 个检查点被至少一条轨迹实际检验)
77.8%
p01_cooperative_worker
(63/81 触达)
72.8%
p02_impatient
(59/81 触达)
无测试盲区:全部检查点均被至少一条轨迹触达。
「测得充分」不靠形容词:触达率 = 被实际检验(pass/fail)的检查点 / 全部检查点;na 即该轨迹未触达。覆盖率驱动的模拟器会优先制造尚未触达的场景。

Judge 可靠性度量

71.0%
多数投票一致率
(115/162 条全票一致)
47
投票分裂条数
(多数投票内部存在分歧)
0
规则/LLM 双轨冲突数
(同检查点两轨结论不一致)
162
检查点判定总数
一致率越高、冲突数越低,说明评测结论越稳定可信。双轨冲突项建议人工复核。
EvalCall · 外呼对话模型指令遵循自动评测系统 · 报告生成于 2026-06-06 20:34:56
每条结论均可溯源到对话原文与指令引文 —— 评测过程可解释、结果可量化。