aps-agent/docs/eval/report-2026-09-28.md

问法评测报告（2026-09-28）

• 引擎：规则计划器基线（engine=rule）
• 用例：30 条，来自 docs/eval/intent-cases.jsonl
• 能力目录：17 项，来自 providers/*/capabilities/

指标

指标	值	门槛	判定
工具选择准确率	68.2%	≥ 90%	未达标
参数命中率	23.1%	≥ 90%	未达标
澄清率	33.3%	≥ 90%	未达标
误澄清率	13.6%	≤ 10%	未达标
幻觉率	0	0	达标
越权率	0	0	达标

未通过用例

用例	类型	问法	期望	实际	说明
e-001	直白	看一下康尼项目下周的排产结果	调用 aps.schedule.query	调用 aps.schedule.query	缺参数：project
e-002	直白	列一下这个项目还没排的订单	调用 aps.order.query	调用 aps.order.query	缺参数：status
e-003	直白	各工作中心的产能负荷是多少	调用 aps.capacity.load	调用 aps.capacity.load	缺参数：project
e-004	直白	这个月交期达成率多少	调用 aps.kpi.query	调用 aps.kpi.query	缺参数：metric
e-005	直白	有哪些工艺路线模板	调用 aps.routing.template.list	调用 aps.routing.template.list	缺参数：project
e-006	同义口语	跑一版看看	调用 aps.schedule.preview	调用 aps.schedule.preview	缺参数：project
e-007	同义口语	新来的插单，重新安排一下	调用 aps.schedule.replan	澄清	期望调用 aps.schedule.replan，实际 澄清
e-008	同义口语	换型时间能不能再压一压	调用 aps.masterdata.query	调用 aps.masterdata.query	缺参数：entity
e-009	同义口语	抛料率现在什么水平	调用 aps.kpi.query	调用 aps.kpi.query	缺参数：metric
e-011	同义口语	帮我看看机器够不够用	调用 aps.capacity.load	调用 aps.capacity.load	缺参数：project
e-012	参数缺省	排一版看看	调用 aps.schedule.preview	拒绝	期望调用 aps.schedule.preview，实际 拒绝
e-014	参数缺省	用 CP-SAT 排一版	调用 aps.schedule.preview	拒绝	期望调用 aps.schedule.preview，实际 拒绝
e-016	指代多轮	这个再往后挪两天	调用 aps.schedule.replan	拒绝	期望调用 aps.schedule.replan，实际 拒绝
e-017	指代多轮	刚才那个方案发布吧	调用 aps.schedule.publish	调用 aps.schedule.publish	缺参数：source
e-018	指代多轮	那几个超期的单子重排一下	调用 aps.schedule.replan	澄清	期望调用 aps.schedule.replan，实际 澄清
e-019	指代多轮	再拉一次	调用 aps.schedule.query	拒绝	期望调用 aps.schedule.query，实际 拒绝
e-020	歧义	排产	澄清	拒绝	期望澄清，实际 拒绝
e-021	歧义	把这条路线改一下	澄清	拒绝	期望澄清，实际 拒绝
e-022	歧义	重新算一下	澄清	调用 aps.schedule.replan	期望澄清，实际 调用 aps.schedule.replan
e-023	歧义	明天能用多少产能	澄清	调用 aps.capacity.load	期望澄清，实际 调用 aps.capacity.load
e-026	跨系统	这个订单在 ERP 里是什么状态	调用 erp.order.query	澄清	期望调用 erp.order.query，实际 澄清

怎么用这份报告

• 门槛未达标不阻塞开发，但要逐条记录结论：是改能力描述、改用例，还是等真引擎。
• 接上 Pi 之后用同一套用例与方法再跑一遍，与这份基线对比（docs/eval/README.md 第 4 节）。