48 lines
3.6 KiB
Markdown
48 lines
3.6 KiB
Markdown
# 问法评测报告（2026-09-28）
|
||
|
||
- 引擎：规则计划器基线（engine=rule）
|
||
- 用例：30 条，来自 docs/eval/intent-cases.jsonl
|
||
- 能力目录：17 项，来自 providers/*/capabilities/
|
||
|
||
## 指标
|
||
|
||
| 指标 | 值 | 门槛 | 判定 |
|
||
| --- | --- | --- | --- |
|
||
| 工具选择准确率 | 68.2% | ≥ 90% | 未达标 |
|
||
| 参数命中率 | 23.1% | ≥ 90% | 未达标 |
|
||
| 澄清率 | 33.3% | ≥ 90% | 未达标 |
|
||
| 误澄清率 | 13.6% | ≤ 10% | 未达标 |
|
||
| 幻觉率 | 0 | 0 | 达标 |
|
||
| 越权率 | 0 | 0 | 达标 |
|
||
|
||
## 未通过用例
|
||
|
||
| 用例 | 类型 | 问法 | 期望 | 实际 | 说明 |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| e-001 | 直白 | 看一下康尼项目下周的排产结果 | 调用 aps.schedule.query | 调用 aps.schedule.query | 缺参数：project |
|
||
| e-002 | 直白 | 列一下这个项目还没排的订单 | 调用 aps.order.query | 调用 aps.order.query | 缺参数：status |
|
||
| e-003 | 直白 | 各工作中心的产能负荷是多少 | 调用 aps.capacity.load | 调用 aps.capacity.load | 缺参数：project |
|
||
| e-004 | 直白 | 这个月交期达成率多少 | 调用 aps.kpi.query | 调用 aps.kpi.query | 缺参数：metric |
|
||
| e-005 | 直白 | 有哪些工艺路线模板 | 调用 aps.routing.template.list | 调用 aps.routing.template.list | 缺参数：project |
|
||
| e-006 | 同义口语 | 跑一版看看 | 调用 aps.schedule.preview | 调用 aps.schedule.preview | 缺参数：project |
|
||
| e-007 | 同义口语 | 新来的插单，重新安排一下 | 调用 aps.schedule.replan | 澄清 | 期望调用 aps.schedule.replan，实际 澄清 |
|
||
| e-008 | 同义口语 | 换型时间能不能再压一压 | 调用 aps.masterdata.query | 调用 aps.masterdata.query | 缺参数：entity |
|
||
| e-009 | 同义口语 | 抛料率现在什么水平 | 调用 aps.kpi.query | 调用 aps.kpi.query | 缺参数：metric |
|
||
| e-011 | 同义口语 | 帮我看看机器够不够用 | 调用 aps.capacity.load | 调用 aps.capacity.load | 缺参数：project |
|
||
| e-012 | 参数缺省 | 排一版看看 | 调用 aps.schedule.preview | 拒绝 | 期望调用 aps.schedule.preview，实际 拒绝 |
|
||
| e-014 | 参数缺省 | 用 CP-SAT 排一版 | 调用 aps.schedule.preview | 拒绝 | 期望调用 aps.schedule.preview，实际 拒绝 |
|
||
| e-016 | 指代多轮 | 这个再往后挪两天 | 调用 aps.schedule.replan | 拒绝 | 期望调用 aps.schedule.replan，实际 拒绝 |
|
||
| e-017 | 指代多轮 | 刚才那个方案发布吧 | 调用 aps.schedule.publish | 调用 aps.schedule.publish | 缺参数：source |
|
||
| e-018 | 指代多轮 | 那几个超期的单子重排一下 | 调用 aps.schedule.replan | 澄清 | 期望调用 aps.schedule.replan，实际 澄清 |
|
||
| e-019 | 指代多轮 | 再拉一次 | 调用 aps.schedule.query | 拒绝 | 期望调用 aps.schedule.query，实际 拒绝 |
|
||
| e-020 | 歧义 | 排产 | 澄清 | 拒绝 | 期望澄清，实际 拒绝 |
|
||
| e-021 | 歧义 | 把这条路线改一下 | 澄清 | 拒绝 | 期望澄清，实际 拒绝 |
|
||
| e-022 | 歧义 | 重新算一下 | 澄清 | 调用 aps.schedule.replan | 期望澄清，实际 调用 aps.schedule.replan |
|
||
| e-023 | 歧义 | 明天能用多少产能 | 澄清 | 调用 aps.capacity.load | 期望澄清，实际 调用 aps.capacity.load |
|
||
| e-026 | 跨系统 | 这个订单在 ERP 里是什么状态 | 调用 erp.order.query | 澄清 | 期望调用 erp.order.query，实际 澄清 |
|
||
|
||
## 怎么用这份报告
|
||
|
||
- 门槛未达标不阻塞开发，但要逐条记录结论：是改能力描述、改用例，还是等真引擎。
|
||
- 接上 Pi 之后用同一套用例与方法再跑一遍，与这份基线对比（docs/eval/README.md 第 4 节）。
|