38✓ / 27✗
| Persona \ 任务 | official_02_lowlatency |
|---|---|
| p01_cooperative_worker |
58.5% 38✓ / 27✗
|
| p02_impatient |
60.3% 38✓ / 25✗
|
| Persona | 策略 | 通过率 | 通过/未通过 |
|---|---|---|---|
| p01_cooperative_worker | — |
58.5%
|
38 27 |
| p02_impatient | — |
60.3%
|
38 25 |
| # | 检查点 | 类型 | 严重度 | 失败次数 | 来源指令 |
|---|---|---|---|---|---|
| 1 | 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 | constraint | critical | 6 | 课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项 |
| 2 | 每次回复应当极简,最多15-20个字 | style | critical | 6 | 每次回复极简——最多15-20个字 |
| 3 | 应当告知两种直播的延迟、适用场景及费用差异 | constraint | major | 6 | 标准直播:费用较低;延迟约5-10秒;适合大班课 - 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课 |
| 4 | 应当在结束时祝福商家并礼貌结束通话 | flow | minor | 6 | 若无问题,祝其课程顺利、招生满满,结束通话 |
| 5 | 应当告知发布页将分开显示两个选项并说明区别 | flow | critical | 5 | 之后发布页会分开显示两个选项,根据课程类型自行选择即可 |
| 6 | 应当询问商家是否知晓后台已为其走低延迟线路 | flow | major | 5 | 您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗? |
| 7 | 应当检查学员端费用是否已覆盖低延迟直播 | flow | major | 5 | 已设置费用 → 提醒确认低延迟直播也已适用该费用 |
| 8 | 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 | constraint | major | 4 | 若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步 |
| 9 | 应当处理企业微信添加环节,确认当前号码是否可添加 | flow | major | 2 | 若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证 - 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示 |
| 10 | 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 | constraint | major | 2 | 缓慢引导开通(每步暂停3秒) |
| 11 | 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 | constraint | critical | 1 | 若商家说在开车,礼貌说"那我稍后再打"后挂断 |
| 12 | 应当在需要实时互动的场景下鼓励商家选择低延迟直播 | constraint | major | 1 | 当需要实时互动时,鼓励选择低延迟直播 |
| 检查点 | 类型 | 严重度 | 判定 | 置信 | 轨迹 | |
|---|---|---|---|---|---|---|
| ▶ | 不得说"好的"作为回应语气词 | forbidden | major | 通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 | forbidden | major | 通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 不得承诺给商家折扣券或优惠券 | forbidden | critical | 通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 应当以规定开场白开始通话,询问对方是否为机构负责人 | flow | critical | 通过 | 98% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.97} / {'verdict': 'pass', 'confidence': 0.98})
第 0 轮 您好,请问您是贵培训机构的负责人吗? |
||||||
| ▶ | 应当完成身份确认:若不是负责人则请其转达后再继续 | flow | critical | 通过 | 92% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.92} / {'verdict': 'pass', 'confidence': 0.7})
第 0 轮 您好,请问您是贵培训机构的负责人吗?第 1 轮 对,我就是,哪位? |
||||||
| ▶ | 应当询问商家是否知晓后台已为其走低延迟线路 | flow | major | 未通过 | 97% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'fail', 'confidence': 0.85})
第 2 轮 我们新增了"低延迟直播"选项,互动更流畅。第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。 |
||||||
| ▶ | 应当告知发布页将分开显示两个选项并说明区别 | flow | critical | 未通过 | 96% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.96} / {'verdict': 'fail', 'confidence': 0.8})
第 7 轮 我来引导您开通,步骤很简单,您现在方便操作吗?第 12 轮 可能后台还没给您配置好,我这边登记一下,明天再查看。 |
||||||
| ▶ | 应当询问商家通过哪种系统发课 | flow | major | 通过 | 90% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.88} / {'verdict': 'pass', 'confidence': 0.9})
第 5 轮 您用的是Web控制台、还是第三方系统发课? |
||||||
| ▶ | 应当检查学员端费用是否已覆盖低延迟直播 | flow | major | 不适用 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.55})
(无引述证据)
|
||||||
| ▶ | 应当处理企业微信添加环节,确认当前号码是否可添加 | flow | major | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证
- 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.7})
第 4 轮 我加您企微发正式资料? |
||||||
| ▶ | 应当在结束时祝福商家并礼貌结束通话 | flow | minor | 未通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'fail', 'confidence': 0.6})
第 12 轮 可能后台还没给您配置好,我这边登记一下,明天再查看。 |
||||||
| ▶ | 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 | constraint | critical | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.93} / {'verdict': 'fail', 'confidence': 0.7})
第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。 |
||||||
| ▶ | 应当在需要实时互动的场景下鼓励商家选择低延迟直播 | constraint | major | 不适用 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.5})
(无引述证据)
|
||||||
| ▶ | 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 | constraint | major | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.8})
第 12 轮 可能后台还没给您配置好,我这边登记一下,明天再查看。 |
||||||
| ▶ | 应当告知两种直播的延迟、适用场景及费用差异 | constraint | major | 未通过 | 88% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课
- 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.7})
第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。 |
||||||
| ▶ | 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 | constraint | major | 未通过 | 82% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.75} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 8 轮 先进【我的】,看到了吗?第 9 轮 点【服务商/直播平台管理】,找到了吗?第 10 轮 选【直播平台】,看到了吗? |
||||||
| ▶ | 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 | constraint | major | 不适用 | 90% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.85})
(无引述证据)
|
||||||
| ▶ | 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 | constraint | major | 不适用 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.0} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.8})
(无引述证据)
|
||||||
| ▶ | 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 | constraint | critical | 通过 | 92% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.92} / {'verdict': 'pass', 'confidence': 0.7})
第 2 轮 就1分钟!我们新增了"低延迟直播"选项,互动更流畅。 |
||||||
| ▶ | 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 | constraint | critical | 不适用 | 98% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.0} / {'verdict': 'na', 'confidence': 0.98} / {'verdict': 'na', 'confidence': 0.9})
(无引述证据)
|
||||||
| ▶ | 即使主任务完成,若商家仍有疑问,应当继续简短作答 | constraint | major | 通过 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.8})
第 3 轮 低延迟直播?那跟之前的有啥区别,延迟差多少、费用怎么算?第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。第 4 轮 费用略高是高多少?你说个具体数字,别跟我打马虎眼第 4 轮 具体定价我这边没权限报,建议您登录控制台查看,或我加您企微发正式资料? |
||||||
| ▶ | 不得使用正式或冗长的解释 | forbidden | minor | 通过 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.72} / {'verdict': 'pass', 'confidence': 0.8})
第 2 轮 就1分钟!我们新增了低延迟直播选项,互动更流畅。第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。第 12 轮 可能后台还没给您配置好,我这边登记一下,明天再查看。 |
||||||
| ▶ | 每次回复应当极简,最多15-20个字 | style | critical | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.9})
第 1 轮 我是课程平台的客服,直播功能有个升级想跟您说一下,方便吗?第 2 轮 就1分钟!我们新增了低延迟直播选项,互动更流畅。第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。第 4 轮 具体定价我这边没权限报,建议您登录控制台查看,或我加您企微发正式资料?第 6 轮 好,那您在第三方系统里现在能看到低延迟直播选项吗?第 12 轮 可能后台还没给您配置好,我这边登记一下,明天再查看。 |
||||||
| ▶ | 应当使用简短、自然的口语化表达,符合电话沟通风格 | style | major | 通过 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.85})
第 2 轮 就1分钟!我们新增了"低延迟直播"选项,互动更流畅。第 8 轮 先进【我的】,看到了吗? |
||||||
| ▶ | 应当频繁给商家发言和提问的机会,不得一直独自说话 | style | major | 通过 | 90% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.9})
第 1 轮 方便吗?第 5 轮 您用的是Web控制台、还是第三方系统发课?第 6 轮 好,那您在第三方系统里现在能看到低延迟直播选项吗?第 8 轮 先进【我的】,看到了吗?第 10 轮 选【直播平台】,看到了吗? |
||||||
| ▶ | 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" | style | minor | 不适用 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.55} / {'verdict': 'na', 'confidence': 0.6})
(无引述证据)
|
||||||
| ▶ | 应当给出信息后暂停,等待商家回应后再继续 | style | major | 通过 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.85})
第 8 轮 先进【我的】,看到了吗?第 10 轮 选【直播平台】,看到了吗? |
||||||
| ▶ | 不得说"好的"作为回应语气词 | forbidden | major | 通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 | forbidden | major | 通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 不得承诺给商家折扣券或优惠券 | forbidden | critical | 通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 应当以规定开场白开始通话,询问对方是否为机构负责人 | flow | critical | 通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 1.0} / {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.99})
第 0 轮 您好,请问您是贵培训机构/校区的负责人吗? |
||||||
| ▶ | 应当完成身份确认:若不是负责人则请其转达后再继续 | flow | critical | 通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9})
第 0 轮 您好,请问您是贵培训机构/校区的负责人吗?第 1 轮 对,我是,您哪位? |
||||||
| ▶ | 应当询问商家是否知晓后台已为其走低延迟线路 | flow | major | 未通过 | 90% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.8})
第 2 轮 就1分钟!我们新增了"低延迟直播"选项,发课时可直接选,互动更流畅。您之前用的标准直播,知道区别吗? |
||||||
| ▶ | 应当告知发布页将分开显示两个选项并说明区别 | flow | critical | 未通过 | 88% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.7})
第 2 轮 我们新增了"低延迟直播"选项,发课时可直接选,互动更流畅。第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。 |
||||||
| ▶ | 应当询问商家通过哪种系统发课 | flow | major | 通过 | 92% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.92} / {'verdict': 'pass', 'confidence': 0.85})
第 8 轮 您是通过Web控制台发课,还是第三方系统? |
||||||
| ▶ | 应当检查学员端费用是否已覆盖低延迟直播 | flow | major | 未通过 | 82% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.8} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 5 轮 您学员端现在有设直播线路附加费吗?第 6 轮 这个需要您在后台确认,我来引导您查一下,方便吗? |
||||||
| ▶ | 应当处理企业微信添加环节,确认当前号码是否可添加 | flow | major | 不适用 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证
- 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'na', 'confidence': 0.8})
(无引述证据)
|
||||||
| ▶ | 应当在结束时祝福商家并礼貌结束通话 | flow | minor | 未通过 | 97% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'na', 'confidence': 0.6})
第 10 轮 当然,您忙完再联系我就行。 |
||||||
| ▶ | 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 | constraint | critical | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.7})
第 1 轮 我们新增了"低延迟直播"选项,发课时可直接选,互动更流畅。第 2 轮 您之前用的标准直播,知道区别吗? |
||||||
| ▶ | 应当在需要实时互动的场景下鼓励商家选择低延迟直播 | constraint | major | 未通过 | 88% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.8} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'pass', 'confidence': 0.5})
第 2 轮 互动更流畅第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。 |
||||||
| ▶ | 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 | constraint | major | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.75} / {'verdict': 'fail', 'confidence': 0.5})
第 8 轮 我的后台没有低延迟直播这个东西,是不是压根没给我开?第 8 轮 您是通过Web控制台发课,还是第三方系统? |
||||||
| ▶ | 应当告知两种直播的延迟、适用场景及费用差异 | constraint | major | 未通过 | 92% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课
- 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.6})
第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。 |
||||||
| ▶ | 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 | constraint | major | 未通过 | 90% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.5})
第 8 轮 我的后台没有低延迟直播这个东西第 9 轮 需要您在系统里配置,进入【我的】,看到了吗?第 10 轮 我现在在开会呢,你说的这个我能不能先挂掉 |
||||||
| ▶ | 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 | constraint | major | 不适用 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.7})
(无引述证据)
|
||||||
| ▶ | 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 | constraint | major | 不适用 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.4})
(无引述证据)
|
||||||
| ▶ | 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 | constraint | critical | 通过 | 90% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.88} / {'verdict': 'pass', 'confidence': 0.9})
第 2 轮 就1分钟!我们新增了"低延迟直播"选项,发课时可直接选,互动更流畅。 |
||||||
| ▶ | 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 | constraint | critical | 不适用 | 99% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.99} / {'verdict': 'na', 'confidence': 0.85})
(无引述证据)
|
||||||
| ▶ | 即使主任务完成,若商家仍有疑问,应当继续简短作答 | constraint | major | 通过 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'fail', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.85})
第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。第 4 轮 具体报价我这边没法直接给,需要联系商务确认,要帮您对接吗? |
||||||
| ▶ | 不得使用正式或冗长的解释 | forbidden | minor | 通过 | 82% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 1 轮 直播产品有个升级想跟您说一下,方便吗?第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。第 4 轮 具体报价我这边没法直接给,需要联系商务确认,要帮您对接吗? |
||||||
| ▶ | 每次回复应当极简,最多15-20个字 | style | critical | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.92})
第 1 轮 我是课程平台的客服,直播产品有个升级想跟您说一下,方便吗?第 2 轮 就1分钟!我们新增了"低延迟直播"选项,发课时可直接选,互动更流畅。您之前用的标准直播,知道区别吗?第 3 轮 标准直播延迟5-10秒,费用低;低延迟约1-2秒,费用略高。第 4 轮 具体报价我这边没法直接给,需要联系商务确认,要帮您对接吗? |
||||||
| ▶ | 应当使用简短、自然的口语化表达,符合电话沟通风格 | style | major | 通过 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.85})
第 2 轮 就1分钟!第 7 轮 先进入【我的】,再点【教务/财务设置】,到了吗? |
||||||
| ▶ | 应当频繁给商家发言和提问的机会,不得一直独自说话 | style | major | 通过 | 90% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.78} / {'verdict': 'pass', 'confidence': 0.9})
第 2 轮 您之前用的标准直播,知道区别吗?第 4 轮 要帮您对接吗?第 6 轮 我来引导您查一下,方便吗? |
||||||
| ▶ | 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" | style | minor | 不适用 | 75% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.7} / {'verdict': 'na', 'confidence': 0.75} / {'verdict': 'na', 'confidence': 0.55})
(无引述证据)
|
||||||
| ▶ | 应当给出信息后暂停,等待商家回应后再继续 | style | major | 通过 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 2 轮 您之前用的标准直播,知道区别吗?第 4 轮 要帮您对接吗?第 7 轮 到了吗? |
||||||
| ▶ | 不得说"好的"作为回应语气词 | forbidden | major | 通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 | forbidden | major | 通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 不得承诺给商家折扣券或优惠券 | forbidden | critical | 通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 应当以规定开场白开始通话,询问对方是否为机构负责人 | flow | critical | 通过 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 1.0} / {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.98})
第 0 轮 您好,请问您是贵培训机构/校区的负责人吗? |
||||||
| ▶ | 应当完成身份确认:若不是负责人则请其转达后再继续 | flow | critical | 通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.7})
第 1 轮 对,我是,你好,有什么事吗?第 1 轮 我们直播产品升级了,新增了"低延迟直播"选项,您了解吗? |
||||||
| ▶ | 应当询问商家是否知晓后台已为其走低延迟线路 | flow | major | 通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.95})
第 2 轮 您之前选的标准直播,我们后台其实已为您走低延迟线路,知道吗? |
||||||
| ▶ | 应当告知发布页将分开显示两个选项并说明区别 | flow | critical | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.7})
(无引述证据)
|
||||||
| ▶ | 应当询问商家通过哪种系统发课 | flow | major | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.6})
(无引述证据)
|
||||||
| ▶ | 应当检查学员端费用是否已覆盖低延迟直播 | flow | major | 未通过 | 88% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'pass', 'confidence': 0.6})
第 12 轮 对,这是您对学员收的附加费,跟平台收您的费用是分开的。 |
||||||
| ▶ | 应当处理企业微信添加环节,确认当前号码是否可添加 | flow | major | 不适用 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证
- 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9})
(无引述证据)
|
||||||
| ▶ | 应当在结束时祝福商家并礼貌结束通话 | flow | minor | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.6})
第 12 轮 对,这是您对学员收的附加费,跟平台收您的费用是分开的。 |
||||||
| ▶ | 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 | constraint | critical | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
第 1 轮 我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?第 2 轮 您之前选的标准直播,我们后台其实已为您走了低延迟线路,知道吗? |
||||||
| ▶ | 应当在需要实时互动的场景下鼓励商家选择低延迟直播 | constraint | major | 不适用 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.6})
(无引述证据)
|
||||||
| ▶ | 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 | constraint | major | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.8})
第 2 轮 您之前选的标准直播,我们后台其实已为您走了低延迟线路,知道吗?第 3 轮 费用暂不变,您放心。 |
||||||
| ▶ | 应当告知两种直播的延迟、适用场景及费用差异 | constraint | major | 未通过 | 97% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课
- 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'fail', 'confidence': 0.85})
第 1 轮 我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?第 7 轮 价格暂未定,有变动会提前通知您。 |
||||||
| ▶ | 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 | constraint | major | 不适用 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.7})
(无引述证据)
|
||||||
| ▶ | 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 | constraint | major | 通过 | 97% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.97} / {'verdict': 'pass', 'confidence': 0.95})
第 5 轮 我帮您后台配置,明天再查看就有了。 |
||||||
| ▶ | 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 | constraint | major | 通过 | 60% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.6} / {'verdict': 'pass', 'confidence': 0.6})
第 9 轮 进【我的】,找到【教务/财务设置】,点进去。第 10 轮 找【收费规则】,点进去。第 11 轮 编辑直播线路附加费,为低延迟直播启用。 |
||||||
| ▶ | 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 | constraint | critical | 通过 | 98% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.98} / {'verdict': 'pass', 'confidence': 0.97})
第 2 轮 就1分钟,保证简短。您之前选的标准直播,我们后台其实已为您走了低延迟线路,知道吗? |
||||||
| ▶ | 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 | constraint | critical | 不适用 | 100% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.99} / {'verdict': 'na', 'confidence': 0.9})
(无引述证据)
|
||||||
| ▶ | 即使主任务完成,若商家仍有疑问,应当继续简短作答 | constraint | major | 通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.9})
第 7 轮 价格暂未定,有变动会提前通知您。第 12 轮 对,这是您对学员收的附加费,跟平台收您的费用是分开的。 |
||||||
| ▶ | 不得使用正式或冗长的解释 | forbidden | minor | 通过 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.68} / {'verdict': 'pass', 'confidence': 0.85})
第 3 轮 费用暂不变,您放心。第 6 轮 部分配置需同步,一般隔天生效,请见谅。 |
||||||
| ▶ | 每次回复应当极简,最多15-20个字 | style | critical | 未通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.9})
第 1 轮 我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?第 2 轮 就1分钟,保证简短。您之前选的标准直播,我们后台其实已为您走了低延迟线路,知道吗?第 12 轮 对,这是您对学员收的附加费,跟平台收您的费用是分开的。 |
||||||
| ▶ | 应当使用简短、自然的口语化表达,符合电话沟通风格 | style | major | 通过 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.85})
第 3 轮 费用暂不变,您放心。第 10 轮 找【收费规则】,点进去。 |
||||||
| ▶ | 应当频繁给商家发言和提问的机会,不得一直独自说话 | style | major | 通过 | 85% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.85})
第 1 轮 我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?第 8 轮 您现在在控制台里吗? |
||||||
| ▶ | 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" | style | minor | 不适用 | 90% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.8} / {'verdict': 'na', 'confidence': 0.55})
(无引述证据)
|
||||||
| ▶ | 应当给出信息后暂停,等待商家回应后再继续 | style | major | 通过 | 95% | official_02_lowlatency · p01_cooperative_worker |
|
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.72} / {'verdict': 'pass', 'confidence': 0.8})
第 0 轮 您好,请问您是贵培训机构/校区的负责人吗?第 1 轮 我们直播产品升级了,新增了"低延迟直播"选项,您了解吗?第 8 轮 您现在在控制台里吗? |
||||||
| ▶ | 不得说"好的"作为回应语气词 | forbidden | major | 未通过 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'fail', 'method': 'rule', 'matched': '好的'})
第 6 轮 好的,商务会尽快联系您。您是通过哪个系统发课? |
||||||
| ▶ | 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 | forbidden | major | 通过 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 不得承诺给商家折扣券或优惠券 | forbidden | critical | 通过 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 应当以规定开场白开始通话,询问对方是否为机构负责人 | flow | critical | 通过 | 99% | official_02_lowlatency · p02_impatient |
|
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.97})
第 0 轮 您好,请问您是贵培训机构的负责人吗? |
||||||
| ▶ | 应当完成身份确认:若不是负责人则请其转达后再继续 | flow | critical | 通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.8})
第 1 轮 对,我是,什么事快说!第 1 轮 我们直播产品升级了,新增了"低延迟直播"选项,就一分钟! |
||||||
| ▶ | 应当询问商家是否知晓后台已为其走低延迟线路 | flow | major | 未通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
(无引述证据)
|
||||||
| ▶ | 应当告知发布页将分开显示两个选项并说明区别 | flow | critical | 未通过 | 92% | official_02_lowlatency · p02_impatient |
|
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.75})
第 2 轮 标准直播延迟5-10秒,低延迟约1-2秒,互动更流畅。第 8 轮 新选项正在陆续开放,如果您明天登录还看不到,告诉我,我帮您后台配置。 |
||||||
| ▶ | 应当询问商家通过哪种系统发课 | flow | major | 通过 | 90% | official_02_lowlatency · p02_impatient |
|
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.9})
第 6 轮 您是通过哪个系统发课?第 7 轮 我就用你们自己的Web控制台 |
||||||
| ▶ | 应当检查学员端费用是否已覆盖低延迟直播 | flow | major | 未通过 | 85% | official_02_lowlatency · p02_impatient |
|
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.6})
(无引述证据)
|
||||||
| ▶ | 应当处理企业微信添加环节,确认当前号码是否可添加 | flow | major | 不适用 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证
- 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'na', 'confidence': 0.8})
(无引述证据)
|
||||||
| ▶ | 应当在结束时祝福商家并礼貌结束通话 | flow | minor | 未通过 | 96% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.96} / {'verdict': 'na', 'confidence': 0.75})
第 9 轮 录音是系统自动的,这块我没法调整,抱歉。 |
||||||
| ▶ | 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 | constraint | critical | 未通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.7})
第 1 轮 新增了"低延迟直播"选项,就一分钟!第 2 轮 标准直播延迟5-10秒,低延迟约1-2秒,互动更流畅。 |
||||||
| ▶ | 应当在需要实时互动的场景下鼓励商家选择低延迟直播 | constraint | major | 不适用 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'na', 'confidence': 0.6})
(无引述证据)
|
||||||
| ▶ | 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 | constraint | major | 不适用 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.7})
(无引述证据)
|
||||||
| ▶ | 应当告知两种直播的延迟、适用场景及费用差异 | constraint | major | 未通过 | 92% | official_02_lowlatency · p02_impatient |
|
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课
- 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.7})
第 2 轮 标准直播延迟5-10秒,低延迟约1-2秒,互动更流畅。第 3 轮 低延迟带宽保障更强,费用略高一点。 |
||||||
| ▶ | 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 | constraint | major | 不适用 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.85})
(无引述证据)
|
||||||
| ▶ | 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 | constraint | major | 通过 | 85% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.8})
第 8 轮 如果您明天登录还看不到,告诉我,我帮您后台配置。 |
||||||
| ▶ | 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 | constraint | major | 不适用 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.8})
(无引述证据)
|
||||||
| ▶ | 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 | constraint | critical | 通过 | 82% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.55})
第 1 轮 我们直播产品升级了,新增了"低延迟直播"选项,就一分钟! |
||||||
| ▶ | 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 | constraint | critical | 不适用 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.95})
(无引述证据)
|
||||||
| ▶ | 即使主任务完成,若商家仍有疑问,应当继续简短作答 | constraint | major | 通过 | 90% | official_02_lowlatency · p02_impatient |
|
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.88} / {'verdict': 'pass', 'confidence': 0.85})
第 9 轮 录音是系统自动的,这块我没法调整,抱歉。 |
||||||
| ▶ | 不得使用正式或冗长的解释 | forbidden | minor | 通过 | 85% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.85})
第 3 轮 低延迟带宽保障更强,费用略高一点。第 9 轮 录音是系统自动的,这块我没法调整,抱歉。 |
||||||
| ▶ | 每次回复应当极简,最多15-20个字 | style | critical | 未通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.9})
第 1 轮 我们直播产品升级了,新增了"低延迟直播"选项,就一分钟!第 4 轮 具体价格要看您的套餐,我帮您查一下,方便告知您账号吗?第 5 轮 具体定价我这边没权限查,需要商务同事跟您确认,可以吗?第 7 轮 您先登录控制台看一下,发布页有没有"低延迟直播"?第 8 轮 新选项正在陆续开放,如果您明天登录还看不到,告诉我,我帮您后台配置。 |
||||||
| ▶ | 应当使用简短、自然的口语化表达,符合电话沟通风格 | style | major | 通过 | 80% | official_02_lowlatency · p02_impatient |
|
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.78} / {'verdict': 'pass', 'confidence': 0.8})
第 1 轮 就一分钟!第 3 轮 低延迟带宽保障更强,费用略高一点。第 9 轮 录音是系统自动的,这块我没法调整,抱歉。 |
||||||
| ▶ | 应当频繁给商家发言和提问的机会,不得一直独自说话 | style | major | 通过 | 90% | official_02_lowlatency · p02_impatient |
|
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.85})
第 2 轮 用户提问,客服即时回答后,用户紧接着继续提问第 6 轮 您是通过哪个系统发课?第 8 轮 整个对话过程中交替进行,客服不存在长段独自说话 |
||||||
| ▶ | 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" | style | minor | 不适用 | 60% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.0} / {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.6})
(无引述证据)
|
||||||
| ▶ | 应当给出信息后暂停,等待商家回应后再继续 | style | major | 通过 | 80% | official_02_lowlatency · p02_impatient |
|
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.8})
第 2 轮 标准直播延迟5-10秒,低延迟约1-2秒,互动更流畅。第 5 轮 具体定价我这边没权限查,需要商务同事跟您确认,可以吗? |
||||||
| ▶ | 不得说"好的"作为回应语气词 | forbidden | major | 通过 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 | forbidden | major | 通过 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 不得承诺给商家折扣券或优惠券 | forbidden | critical | 通过 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 应当以规定开场白开始通话,询问对方是否为机构负责人 | flow | critical | 通过 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 1.0} / {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.98})
第 0 轮 您好,请问您是贵培训机构/校区的负责人吗? |
||||||
| ▶ | 应当完成身份确认:若不是负责人则请其转达后再继续 | flow | critical | 通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9})
第 1 轮 对对对,我就是 |
||||||
| ▶ | 应当询问商家是否知晓后台已为其走低延迟线路 | flow | major | 未通过 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'fail', 'confidence': 0.85})
(无引述证据)
|
||||||
| ▶ | 应当告知发布页将分开显示两个选项并说明区别 | flow | critical | 通过 | 82% | official_02_lowlatency · p02_impatient |
|
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.65})
第 3 轮 好,就一句:发课页会多一个"低延迟直播"选项,互动课选它就行。 |
||||||
| ▶ | 应当询问商家通过哪种系统发课 | flow | major | 通过 | 65% | official_02_lowlatency · p02_impatient |
|
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.65} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'pass', 'confidence': 0.6})
第 1 轮 您现在用的是哪种发课方式? |
||||||
| ▶ | 应当检查学员端费用是否已覆盖低延迟直播 | flow | major | 未通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.55})
第 4 轮 低延迟直播费用略高,标准直播更便宜。第 5 轮 具体价格我这边没有,您方便时登录控制台查看,或我稍后发您。 |
||||||
| ▶ | 应当处理企业微信添加环节,确认当前号码是否可添加 | flow | major | 不适用 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证
- 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9})
(无引述证据)
|
||||||
| ▶ | 应当在结束时祝福商家并礼貌结束通话 | flow | minor | 未通过 | 97% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'na', 'confidence': 0.6})
第 6 轮 行了行了,那你稍后发我吧,发短信就行。 |
||||||
| ▶ | 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 | constraint | critical | 未通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
第 3 轮 发课页会多一个"低延迟直播"选项,互动课选它就行。 |
||||||
| ▶ | 应当在需要实时互动的场景下鼓励商家选择低延迟直播 | constraint | major | 通过 | 82% | official_02_lowlatency · p02_impatient |
|
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 3 轮 互动课选它就行 |
||||||
| ▶ | 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 | constraint | major | 不适用 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.85})
(无引述证据)
|
||||||
| ▶ | 应当告知两种直播的延迟、适用场景及费用差异 | constraint | major | 未通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课
- 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.93} / {'verdict': 'fail', 'confidence': 0.8})
第 4 轮 低延迟直播费用略高,标准直播更便宜。 |
||||||
| ▶ | 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 | constraint | major | 不适用 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.9})
(无引述证据)
|
||||||
| ▶ | 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 | constraint | major | 不适用 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.88})
(无引述证据)
|
||||||
| ▶ | 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 | constraint | major | 不适用 | 90% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.7})
(无引述证据)
|
||||||
| ▶ | 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 | constraint | critical | 不适用 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.85} / {'verdict': 'na', 'confidence': 0.55})
(无引述证据)
|
||||||
| ▶ | 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 | constraint | critical | 未通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
第 2 轮 那我稍后再打,您注意安全。第 3 轮 好,就一句:发课页会多一个"低延迟直播"选项,互动课选它就行。 |
||||||
| ▶ | 即使主任务完成,若商家仍有疑问,应当继续简短作答 | constraint | major | 通过 | 90% | official_02_lowlatency · p02_impatient |
|
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.8})
第 4 轮 用户:那费用呢,跟原来一样还是要加钱?直接说数。第 4 轮 客服:低延迟直播费用略高,标准直播更便宜。第 5 轮 用户:略高是多少,你给个具体数字,别跟我说'略高'这种废话。第 5 轮 客服:具体价格我这边没有,您方便时登录控制台查看,或我稍后发您。 |
||||||
| ▶ | 不得使用正式或冗长的解释 | forbidden | minor | 通过 | 85% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.85})
第 1 轮 我们直播产品升级了,新增了"低延迟直播"选项,发课时可以自选。第 3 轮 好,就一句:发课页会多一个"低延迟直播"选项,互动课选它就行。第 4 轮 低延迟直播费用略高,标准直播更便宜。第 5 轮 具体价格我这边没有,您方便时登录控制台查看,或我稍后发您。 |
||||||
| ▶ | 每次回复应当极简,最多15-20个字 | style | critical | 未通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.9})
第 1 轮 我们直播产品升级了,新增了"低延迟直播"选项,发课时可以自选。您现在用的是哪种发课方式?第 3 轮 好,就一句:发课页会多一个"低延迟直播"选项,互动课选它就行。第 5 轮 具体价格我这边没有,您方便时登录控制台查看,或我稍后发您。 |
||||||
| ▶ | 应当使用简短、自然的口语化表达,符合电话沟通风格 | style | major | 通过 | 80% | official_02_lowlatency · p02_impatient |
|
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.8})
第 2 轮 那我稍后再打,您注意安全。第 3 轮 好,就一句:发课页会多一个"低延迟直播"选项,互动课选它就行。第 4 轮 低延迟直播费用略高,标准直播更便宜。 |
||||||
| ▶ | 应当频繁给商家发言和提问的机会,不得一直独自说话 | style | major | 通过 | 85% | official_02_lowlatency · p02_impatient |
|
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.85})
第 1 轮 您现在用的是哪种发课方式? |
||||||
| ▶ | 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" | style | minor | 不适用 | 70% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.7} / {'verdict': 'na', 'confidence': 0.5})
(无引述证据)
|
||||||
| ▶ | 应当给出信息后暂停,等待商家回应后再继续 | style | major | 通过 | 90% | official_02_lowlatency · p02_impatient |
|
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.82} / {'verdict': 'pass', 'confidence': 0.8})
第 1 轮 您现在用的是哪种发课方式?第 4 轮 低延迟直播费用略高,标准直播更便宜。 |
||||||
| ▶ | 不得说"好的"作为回应语气词 | forbidden | major | 通过 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 不得说"哈哈""嘿嘿""嘻嘻"等笑声语气词 | forbidden | major | 通过 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不说"好的"、"哈哈"、"嘿嘿"、"嘻嘻"等语气词
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 不得承诺给商家折扣券或优惠券 | forbidden | critical | 通过 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不能承诺给商家折扣券或优惠券
证据(判定方法:rule · 投票 {'verdict': 'pass', 'method': 'rule'})
(无引述证据)
|
||||||
| ▶ | 应当以规定开场白开始通话,询问对方是否为机构负责人 | flow | critical | 通过 | 99% | official_02_lowlatency · p02_impatient |
|
来源指令引文:您好,请问您是贵培训机构/校区的负责人吗?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.99} / {'verdict': 'pass', 'confidence': 0.98})
第 0 轮 您好,请问您是贵培训机构的负责人吗? |
||||||
| ▶ | 应当完成身份确认:若不是负责人则请其转达后再继续 | flow | critical | 通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若不是 → 请其转达,然后进入第2步
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.9})
第 1 轮 对,我是 |
||||||
| ▶ | 应当询问商家是否知晓后台已为其走低延迟线路 | flow | major | 未通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:您之前选的是标准直播,但我们后台其实已为您走低延迟线路以保障质量,您知道吗?
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
(无引述证据)
|
||||||
| ▶ | 应当告知发布页将分开显示两个选项并说明区别 | flow | critical | 未通过 | 92% | official_02_lowlatency · p02_impatient |
|
来源指令引文:之后发布页会分开显示两个选项,根据课程类型自行选择即可
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.7})
第 1 轮 我们直播产品升级了,新增"低延迟直播"选项,发课时可以单独选。第 3 轮 您先去发课页面看看,有没有"低延迟直播"这个选项? |
||||||
| ▶ | 应当询问商家通过哪种系统发课 | flow | major | 通过 | 97% | official_02_lowlatency · p02_impatient |
|
来源指令引文:您是通过Web控制台、校务系统A,还是SaaS系统B发课?
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.97} / {'verdict': 'pass', 'confidence': 0.95})
第 2 轮 您现在用Web控制台、还是第三方系统发课? |
||||||
| ▶ | 应当检查学员端费用是否已覆盖低延迟直播 | flow | major | 未通过 | 88% | official_02_lowlatency · p02_impatient |
|
来源指令引文:已设置费用 → 提醒确认低延迟直播也已适用该费用
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.5})
第 9 轮 具体价格我查完发您,您方便加企业微信吗?第 10 轮 低延迟比标准直播贵一点,具体以您账户套餐为准,我查完回您。 |
||||||
| ▶ | 应当处理企业微信添加环节,确认当前号码是否可添加 | flow | major | 未通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若当前号码可添加 → 告知稍后通过企业微信添加,请通过验证
- 若不可添加 → 请提供可添加的手机号,再发送同样的验证提示
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.92} / {'verdict': 'fail', 'confidence': 0.6})
第 9 轮 具体价格我查完发您,您方便加企业微信吗?第 10 轮 企业微信?加什么加,你直接告诉我不就完了,问那么多干嘛! |
||||||
| ▶ | 应当在结束时祝福商家并礼貌结束通话 | flow | minor | 未通过 | 98% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若无问题,祝其课程顺利、招生满满,结束通话
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.98} / {'verdict': 'fail', 'confidence': 0.97} / {'verdict': 'na', 'confidence': 0.7})
第 12 轮 一对一答疑选低延迟,互动更流畅。 |
||||||
| ▶ | 应当明确告知商家课程发布页将新增"标准直播"和"低延迟直播"两个独立选项 | constraint | critical | 未通过 | 88% | official_02_lowlatency · p02_impatient |
|
来源指令引文:课程发布页面将新增"标准直播"和"低延迟直播"两个独立选项
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.88} / {'verdict': 'fail', 'confidence': 0.85})
第 1 轮 我们直播产品升级了,新增"低延迟直播"选项,发课时可以单独选。 |
||||||
| ▶ | 应当在需要实时互动的场景下鼓励商家选择低延迟直播 | constraint | major | 通过 | 91% | official_02_lowlatency · p02_impatient |
|
来源指令引文:当需要实时互动时,鼓励选择低延迟直播
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.91} / {'verdict': 'pass', 'confidence': 0.9})
第 11 轮 互动多、小班课、实操课,选低延迟;大班直播选标准的就行。第 12 轮 一对一答疑选低延迟,互动更流畅。 |
||||||
| ▶ | 若商家不知情,应当说明前端未开放、临时开启低延迟是为保障音视频与白板同步 | constraint | major | 未通过 | 90% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若不知情 → 说明前端当时未开放,临时开启低延迟是为保障音视频与白板同步
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'fail', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.75})
第 3 轮 没有!没有才来问你的,你就说我怎么弄出来就行了!第 4 轮 好,我帮您后台配置,明天再看一下就有了。 |
||||||
| ▶ | 应当告知两种直播的延迟、适用场景及费用差异 | constraint | major | 未通过 | 89% | official_02_lowlatency · p02_impatient |
|
来源指令引文:标准直播:费用较低;延迟约5-10秒;适合大班课
- 低延迟直播:延迟约1-2秒;互动更流畅;适合小班课/实操课
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'fail', 'confidence': 0.89} / {'verdict': 'fail', 'confidence': 0.7})
第 10 轮 低延迟比标准直播贵一点,具体以您账户套餐为准,我查完回您。第 11 轮 互动多、小班课、实操课,选低延迟;大班直播选标准的就行。 |
||||||
| ▶ | 若第三方系统未显示低延迟直播,应当逐步引导开通,每步暂停3秒 | constraint | major | 不适用 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:缓慢引导开通(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.95})
(无引述证据)
|
||||||
| ▶ | 若Web控制台未显示低延迟直播,应当告知后台配置,请商家明天再查看 | constraint | major | 通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若未显示 → 后台为其配置,请其明天再查看
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.95} / {'verdict': 'pass', 'confidence': 0.92} / {'verdict': 'pass', 'confidence': 0.9})
第 4 轮 好,我帮您后台配置,明天再看一下就有了。 |
||||||
| ▶ | 若费用无法自行配置,应当逐步引导设置,每步暂停3秒 | constraint | major | 不适用 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若无法自行配置 → 缓慢引导设置(每步暂停3秒)
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.9} / {'verdict': 'na', 'confidence': 0.8})
(无引述证据)
|
||||||
| ▶ | 若商家说忙,应当说"就1分钟,保证简短"后继续简短说明,不得就此结束通话 | constraint | critical | 不适用 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若老板说忙,说"就1分钟,保证简短"后继续简短说明
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.7})
(无引述证据)
|
||||||
| ▶ | 若商家说在开车,应当礼貌说"那我稍后再打"后立即挂断,不得继续推进流程 | constraint | critical | 不适用 | 100% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若商家说在开车,礼貌说"那我稍后再打"后挂断
证据(判定方法:llm · 投票 {'verdict': 'na', 'confidence': 1.0} / {'verdict': 'na', 'confidence': 0.95} / {'verdict': 'na', 'confidence': 0.95})
(无引述证据)
|
||||||
| ▶ | 即使主任务完成,若商家仍有疑问,应当继续简短作答 | constraint | major | 通过 | 92% | official_02_lowlatency · p02_impatient |
|
来源指令引文:即使任务完成,若商家有疑问,继续简短作答
证据(判定方法:llm · 投票 {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.9} / {'verdict': 'pass', 'confidence': 0.92})
第 11 轮 互动多、小班课、实操课,选低延迟;大班直播选标准的就行。第 12 轮 一对一答疑选低延迟,互动更流畅。 |
||||||
| ▶ | 不得使用正式或冗长的解释 | forbidden | minor | 通过 | 80% | official_02_lowlatency · p02_impatient |
|
来源指令引文:不使用正式或冗长的解释——保持随意直接
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.65} / {'verdict': 'pass', 'confidence': 0.8})
第 7 轮 耽误您了,很抱歉。赔偿我没法承诺,但今天一定帮您解决。第 8 轮 补偿券我给不了,但今天内一定给您开通。 |
||||||
| ▶ | 每次回复应当极简,最多15-20个字 | style | critical | 未通过 | 95% | official_02_lowlatency · p02_impatient |
|
来源指令引文:每次回复极简——最多15-20个字
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.95} / {'verdict': 'fail', 'confidence': 0.85})
第 1 轮 我们直播产品升级了,新增"低延迟直播"选项,发课时可以单独选。第 5 轮 我理解,但后台配置需要一些时间,今天内我们会尽快处理。第 10 轮 低延迟比标准直播贵一点,具体以您账户套餐为准,我查完回您。 |
||||||
| ▶ | 应当使用简短、自然的口语化表达,符合电话沟通风格 | style | major | 通过 | 85% | official_02_lowlatency · p02_impatient |
|
来源指令引文:使用简短、自然的口语化表达,符合电话沟通风格
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.75} / {'verdict': 'pass', 'confidence': 0.7} / {'verdict': 'pass', 'confidence': 0.85})
第 4 轮 好,我帮您后台配置,明天再看一下就有了。第 12 轮 一对一答疑选低延迟,互动更流畅。 |
||||||
| ▶ | 应当频繁给商家发言和提问的机会,不得一直独自说话 | style | major | 通过 | 80% | official_02_lowlatency · p02_impatient |
|
来源指令引文:频繁给商家发言和提问的机会
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.8} / {'verdict': 'pass', 'confidence': 0.72} / {'verdict': 'pass', 'confidence': 0.8})
第 2 轮 您现在用Web控制台、还是第三方系统发课?第 9 轮 具体价格我查完发您,您方便加企业微信吗? |
||||||
| ▶ | 若对话被打断,应当使用简短过渡语衔接,如"您刚才提到……"或"我刚说到……" | style | minor | 未通过 | 78% | official_02_lowlatency · p02_impatient |
|
来源指令引文:若对话被打断,使用简短过渡语,如"您刚才提到……"或"我刚说到……"
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.7} / {'verdict': 'fail', 'confidence': 0.78} / {'verdict': 'na', 'confidence': 0.6})
第 9 轮 具体价格我查完发您,您方便加企业微信吗?第 11 轮 互动多、小班课、实操课,选低延迟;大班直播选标准的就行。 |
||||||
| ▶ | 应当给出信息后暂停,等待商家回应后再继续 | style | major | 通过 | 80% | official_02_lowlatency · p02_impatient |
|
来源指令引文:给出信息后,暂停等待商家回应再继续
证据(判定方法:llm · 投票 {'verdict': 'fail', 'confidence': 0.85} / {'verdict': 'pass', 'confidence': 0.62} / {'verdict': 'pass', 'confidence': 0.8})
第 1 轮 我们直播产品升级了,新增"低延迟直播"选项,发课时可以单独选。第 2 轮 您现在用Web控制台、还是第三方系统发课? |
||||||