aps-agent/poc/pi-fallback/P4-P5-VALIDATION.md

3.2 KiB
Raw Permalink Blame History

P4/P5 联合验证记录(主管收口)

验证日期:2026-09-04 · 验证人:主管(含 Agent-B/C2/D/H 各自定向复跑后汇总) 工作目录:当前仓库根目录(<repo-root>) 结论性质:P4 测试设施与本轮 P5 发布准备材料已收口;P5 实际发布/桌面打包/runtime 分发未完成,P3/P4/P5 全部未提交。

1. 主管最终联合验证

命令(仓库根目录):

.venv\Scripts\python.exe -m pytest tests/golden/test_fallback_lane.py tests/golden/test_fallback_execute.py tests/golden/test_fallback_highrisk.py tests/golden/test_fallback_offline_booking.py tests/golden/test_fallback_p3_attack.py tests/golden/test_fallback_p4_quality.py tests/golden/test_fallback_p4_injection.py tests/golden/test_fallback_p4_offline.py -q

实测:197 passed / 1 skipped in 51.87s。

.venv\Scripts\python.exe -m ruff check tests/golden/test_fallback_p4_quality.py tests/golden/test_fallback_p4_injection.py tests/golden/test_fallback_p4_offline.py tests/golden/test_fallback_p3_attack.py tests/golden/test_fallback_offline_booking.py tests/golden/test_fallback_highrisk.py tests/golden/test_fallback_execute.py tests/golden/test_fallback_lane.py

实测:All checks passed!。

2. 分项结论

交付 文件 结论
P4 质量 corpus tests/golden/test_fallback_p4_quality.py 44 passed;Q-01..Q-40 + 成功率/误写率/确认轮次/耗时可复算聚合门禁
P4 质量 notes poc/pi-fallback/P4-QUALITY-NOTES.md 指标口径、场景映射、最易失败点齐全
P4 注入防护 tests/golden/test_fallback_p4_injection.py 57 passed / 1 skipped;skip 为 Windows junction/symlink 环境显式跳过
P4 离线降级 tests/golden/test_fallback_p4_offline.py 24 passed;O-01..O-10
P4 安全 notes poc/pi-fallback/P4-SECURITY-NOTES.md 本次新建
P5 发布准备 docs/development/pi-fallback-runbook.md、poc/pi-fallback/P5-RELEASE-NOTES.md 本地 spawn + 显式制品/env;未承诺独立 pi-runtime service 或桌面包已内置
协同记录 poc/pi-fallback/GOAL-P4.md 更新留言区

3. 主管真实复核与既有验证的边界

  • P4 三文件全部 fake runner/脚本化模型,零真实 LLM、零网络;上述数字为确定性 golden。
  • S6/S7 真实子进程冒烟:主管本轮未重跑;S6 修复后 24/24、S7 12/12 依据 docs/CHANGELOG.md 顶部 FB-03-BUG-1 修复记录与 poc/pi-fallback/smoke/s6_results.json/s7_results.json 收口。
  • P3-VALIDATION 的 NO-GO 段保留为历史现场,顶部 GO 判定与 §7 复证记录已补齐,消除文档矛盾。
  • 工作区仍含 P3 未提交产品代码与全部 P4/P5 新文件;未 commit/push。

4. 尚未达到“可正式发布”的项(如实保留)

  1. Pi runtime 仍在 poc/pi-fallback/runtime,未进入 Docker/K8s/桌面发布包。
  2. 桌面包 sidecar 不透传 LLM_*/APS_FALLBACK_*,默认包无 Node/pi。
  3. F5 无模型 force-off/UI 状态位、Pi status 行机器校验、PENDING_SYNC 自动补推、per-step 时间戳与真实 token/cost、/api/gov/audit runId 过滤均未实现,属后续任务。
  4. 全量 golden 基线口径与真实打包/康尼数据验收需另轮按发布决策执行。