CASE / EV-024-001
高风险争议评测任务
24 个任务 · 1 个运行中 · 18 条待复核
| 任务 | 履约场景 | 模型版本 | 数据集 | 运行状态 | 门禁结论 | 待复核 | 负责人 | 更新时间 | |
|---|---|---|---|---|---|---|---|---|---|
| 配送时间改约 | baseline-v1 → guarded-v2 | 固定输入 v4 | 已完成 | 条件通过 | 凯凯杰 | 今天 10:16耗时 14 分钟 | |||
| 合同通知 | contract-agent-v3 | 合同回归集 | 已完成 | 通过 | 0 | 林林然 | 昨天 18:42耗时 11 分钟 | ||
| 骑手招聘 | recruit-gpt56 | 招聘压力集 | 运行中 · 64% | 待生成 | — | 王王越 | 今天 11:08已运行 8 分钟 | ||
| 营销通知 | notify-v2.4 | 直播通知集 | 已完成 | 打回 | 3 | 周周研 | 07/14 16:21耗时 9 分钟 | ||
| 配送时间改约 | delivery-v1.8 | 大促边界集 | 已完成 | 通过 | 0 | 凯凯杰 | 07/14 14:05耗时 17 分钟 | ||
| 骑手招聘 | recruit-safe-v2 | 招聘合规集 | 已完成 | 待判定 | 6 | 林林然 | 07/13 20:32耗时 15 分钟 | ||
| 合同通知 | contract-agent-v2.7 | 合同标准集 | 已完成 | 通过 | 1 | 何何寻 | 07/13 17:48耗时 7 分钟 |
显示 1–7，共 24 个任务
新建评测
未保存草稿
步骤 1 / 4
基本信息
任务名称、履约场景与负责人
对比变量仅模型版本用户输入锁定评分标准锁定裁判策略锁定
配送时间改约 · V2 回归评测配送时间改约
配置校验通过负责人凯杰 · 模型评测
测试规模10 通固定输入
基准模型delivery-baseline-v1
候选模型delivery-guarded-v2
数据集配送改约固定输入 v4 · 10 通
裁判策略规则 Judge + 模型 Judge · 双裁判
对比条件校验4 项一致
| 条件 | 基准版本 | 候选版本 | 校验 |
|---|---|---|---|
| 用户输入 | dataset-v4 | dataset-v4 | ✓ 一致 |
| 任务 SOP | 4f7a…c21d | 4f7a…c21d | ✓ 一致 |
| Checklist | v4 · 21 项 | v4 · 21 项 | ✓ 一致 |
| Judge | judge-v3 | judge-v3 | ✓ 一致 |
配送时间改约 · V2 回归评测
待复核负责人 凯杰今天 10:16 更新
综合得分62.591.4↑ 28.9 分
上线门禁打回条件通过5 条高风险阻塞提交
P0 触发通话30高风险问题已消除
人工复核队列238其中 5 条为高风险
场景表现
基准模型 / 候选模型
身份核实2 个检查点
70 → 96+26时间改约5 个检查点
64 → 93+29地址与联系信息4 个检查点
48 → 81+33合规与安全7 个检查点
75 → 100+25业务履约3 个检查点
40 → 40持平评测质量
条件、覆盖与裁判一致率
测试条件一致性100%
4 项版本指纹全部一致，仅模型版本变化。
检查点覆盖率91%
21 项规则中 19 项被有效触达。
裁判一致率87%
27 条进入复核，其中 5 条可能影响上线结论。
5 条高风险争议未处理
配送时限 2 条 · 地址确认 2 条 · 业务履约 1 条
配送时间改约 · 争议复核
5 条高风险当前任务 8 条待处理负责人 凯杰
评测资产
18 个数据集 · 9 套评分标准 · 12 个模型版本
| 数据集 | 履约场景 | 样本 | 数据类型 | 版本指纹 | 状态 | 更新时间 | |
|---|---|---|---|---|---|---|---|
| 配送时间改约 | 10 | 固定对话输入 | 18f2…d4c1 | 可用 | 今天 09:48 | ||
| 配送时间改约 | 120 | 对话 + Persona | 9aa6…2b70 | 可用 | 07/15 18:22 | ||
| 骑手招聘 | 60 | 边界样本 | 704c…8ee2 | 可用 | 07/14 11:30 | ||
| 合同通知 | 30 | 固定对话输入 | c115…0ae9 | 校验中 | 07/13 17:05 |
| 评分标准 | 场景 | 检查点 | P0 / P1 | 审核状态 | 更新时间 | |
|---|---|---|---|---|---|---|
| 配送时间改约 | 21 | 4 / 9 | 已审核 | 07/15 16:20 | ||
| 骑手招聘 | 18 | 5 / 7 | 已审核 | 07/14 09:42 |
| 模型 | 类型 | 环境 | 最近评测 | 门禁 | 更新时间 | |
|---|---|---|---|---|---|---|
| 业务模型 | 预发布 | EV-20260716-024 | 条件通过 | 今天 10:16 | ||
| 裁判策略 | 生产 | 38 个任务 | 可用 | 07/12 14:30 |
报告
本月 18 份 · 3 份待审批 · 11 份已归档
| 报告 | 任务编号 | 模型版本 | 门禁结论 | 审批状态 | 负责人 | 生成时间 | |
|---|---|---|---|---|---|---|---|
| EV-20260716-024 | baseline-v1 → guarded-v2 | 条件通过 | 待复核 | 凯杰 | 今天 10:18 | ||
| EV-20260715-021 | contract-agent-v3 | 通过 | 已通过 | 林然 | 昨天 18:45 | ||
| EV-20260714-016 | notify-v2.4 | 打回 | 已归档 | 周研 | 07/14 16:25 |
配送时间改约 · 运行记录
已完成RUN / t02_delivery_guarded_v2耗时 14 分钟
当前工作阶段
RUN / ARTIFACT
等待开始
输入
输出