# 问法评测报告（2026-09-28）

- 引擎：规则计划器基线（engine=rule）
- 用例：30 条，来自 docs/eval/intent-cases.jsonl
- 能力目录：17 项，来自 providers/*/capabilities/

## 指标

| 指标 | 值 | 门槛 | 判定 |
| --- | --- | --- | --- |
| 工具选择准确率 | 68.2% | ≥ 90% | 未达标 |
| 参数命中率 | 23.1% | ≥ 90% | 未达标 |
| 澄清率 | 33.3% | ≥ 90% | 未达标 |
| 误澄清率 | 13.6% | ≤ 10% | 未达标 |
| 幻觉率 | 0 | 0 | 达标 |
| 越权率 | 0 | 0 | 达标 |

## 未通过用例

| 用例 | 类型 | 问法 | 期望 | 实际 | 说明 |
| --- | --- | --- | --- | --- | --- |
| e-001 | 直白 | 看一下康尼项目下周的排产结果 | 调用 aps.schedule.query | 调用 aps.schedule.query | 缺参数：project |
| e-002 | 直白 | 列一下这个项目还没排的订单 | 调用 aps.order.query | 调用 aps.order.query | 缺参数：status |
| e-003 | 直白 | 各工作中心的产能负荷是多少 | 调用 aps.capacity.load | 调用 aps.capacity.load | 缺参数：project |
| e-004 | 直白 | 这个月交期达成率多少 | 调用 aps.kpi.query | 调用 aps.kpi.query | 缺参数：metric |
| e-005 | 直白 | 有哪些工艺路线模板 | 调用 aps.routing.template.list | 调用 aps.routing.template.list | 缺参数：project |
| e-006 | 同义口语 | 跑一版看看 | 调用 aps.schedule.preview | 调用 aps.schedule.preview | 缺参数：project |
| e-007 | 同义口语 | 新来的插单，重新安排一下 | 调用 aps.schedule.replan | 澄清 | 期望调用 aps.schedule.replan，实际 澄清 |
| e-008 | 同义口语 | 换型时间能不能再压一压 | 调用 aps.masterdata.query | 调用 aps.masterdata.query | 缺参数：entity |
| e-009 | 同义口语 | 抛料率现在什么水平 | 调用 aps.kpi.query | 调用 aps.kpi.query | 缺参数：metric |
| e-011 | 同义口语 | 帮我看看机器够不够用 | 调用 aps.capacity.load | 调用 aps.capacity.load | 缺参数：project |
| e-012 | 参数缺省 | 排一版看看 | 调用 aps.schedule.preview | 拒绝 | 期望调用 aps.schedule.preview，实际 拒绝 |
| e-014 | 参数缺省 | 用 CP-SAT 排一版 | 调用 aps.schedule.preview | 拒绝 | 期望调用 aps.schedule.preview，实际 拒绝 |
| e-016 | 指代多轮 | 这个再往后挪两天 | 调用 aps.schedule.replan | 拒绝 | 期望调用 aps.schedule.replan，实际 拒绝 |
| e-017 | 指代多轮 | 刚才那个方案发布吧 | 调用 aps.schedule.publish | 调用 aps.schedule.publish | 缺参数：source |
| e-018 | 指代多轮 | 那几个超期的单子重排一下 | 调用 aps.schedule.replan | 澄清 | 期望调用 aps.schedule.replan，实际 澄清 |
| e-019 | 指代多轮 | 再拉一次 | 调用 aps.schedule.query | 拒绝 | 期望调用 aps.schedule.query，实际 拒绝 |
| e-020 | 歧义 | 排产 | 澄清 | 拒绝 | 期望澄清，实际 拒绝 |
| e-021 | 歧义 | 把这条路线改一下 | 澄清 | 拒绝 | 期望澄清，实际 拒绝 |
| e-022 | 歧义 | 重新算一下 | 澄清 | 调用 aps.schedule.replan | 期望澄清，实际 调用 aps.schedule.replan |
| e-023 | 歧义 | 明天能用多少产能 | 澄清 | 调用 aps.capacity.load | 期望澄清，实际 调用 aps.capacity.load |
| e-026 | 跨系统 | 这个订单在 ERP 里是什么状态 | 调用 erp.order.query | 澄清 | 期望调用 erp.order.query，实际 澄清 |

## 怎么用这份报告

- 门槛未达标不阻塞开发，但要逐条记录结论：是改能力描述、改用例，还是等真引擎。
- 接上 Pi 之后用同一套用例与方法再跑一遍，与这份基线对比（docs/eval/README.md 第 4 节）。