48 lines
3.2 KiB
Markdown
48 lines
3.2 KiB
Markdown
|
# P4/P5 联合验证记录（主管收口）
|
|||
|
|
|
|||
|
|
> 验证日期：2026-09-04 · 验证人：主管（含 Agent-B/C2/D/H 各自定向复跑后汇总）
|
|||
|
|
> 工作目录：当前仓库根目录（`<repo-root>`）
|
|||
|
|
> 结论性质：**P4 测试设施与本轮 P5 发布准备材料已收口；P5 实际发布/桌面打包/runtime 分发未完成，P3/P4/P5 全部未提交。**
|
|||
|
|
|
|||
|
|
## 1. 主管最终联合验证
|
|||
|
|
|
|||
|
|
命令（仓库根目录）：
|
|||
|
|
|
|||
|
|
```powershell
|
|||
|
|
.venv\Scripts\python.exe -m pytest tests/golden/test_fallback_lane.py tests/golden/test_fallback_execute.py tests/golden/test_fallback_highrisk.py tests/golden/test_fallback_offline_booking.py tests/golden/test_fallback_p3_attack.py tests/golden/test_fallback_p4_quality.py tests/golden/test_fallback_p4_injection.py tests/golden/test_fallback_p4_offline.py -q
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
实测：**197 passed / 1 skipped in 51.87s**。
|
|||
|
|
|
|||
|
|
```powershell
|
|||
|
|
.venv\Scripts\python.exe -m ruff check tests/golden/test_fallback_p4_quality.py tests/golden/test_fallback_p4_injection.py tests/golden/test_fallback_p4_offline.py tests/golden/test_fallback_p3_attack.py tests/golden/test_fallback_offline_booking.py tests/golden/test_fallback_highrisk.py tests/golden/test_fallback_execute.py tests/golden/test_fallback_lane.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
实测：**All checks passed!**。
|
|||
|
|
|
|||
|
|
## 2. 分项结论
|
|||
|
|
|
|||
|
|
| 交付 | 文件 | 结论 |
|
|||
|
|
|---|---|---|
|
|||
|
|
| P4 质量 corpus | `tests/golden/test_fallback_p4_quality.py` | 44 passed；Q-01..Q-40 + 成功率/误写率/确认轮次/耗时可复算聚合门禁 |
|
|||
|
|
| P4 质量 notes | `poc/pi-fallback/P4-QUALITY-NOTES.md` | 指标口径、场景映射、最易失败点齐全 |
|
|||
|
|
| P4 注入防护 | `tests/golden/test_fallback_p4_injection.py` | 57 passed / 1 skipped；skip 为 Windows junction/symlink 环境显式跳过 |
|
|||
|
|
| P4 离线降级 | `tests/golden/test_fallback_p4_offline.py` | 24 passed；O-01..O-10 |
|
|||
|
|
| P4 安全 notes | `poc/pi-fallback/P4-SECURITY-NOTES.md` | 本次新建 |
|
|||
|
|
| P5 发布准备 | `docs/development/pi-fallback-runbook.md`、`poc/pi-fallback/P5-RELEASE-NOTES.md` | 本地 spawn + 显式制品/env；未承诺独立 pi-runtime service 或桌面包已内置 |
|
|||
|
|
| 协同记录 | `poc/pi-fallback/GOAL-P4.md` | 更新留言区 |
|
|||
|
|
|
|||
|
|
## 3. 主管真实复核与既有验证的边界
|
|||
|
|
|
|||
|
|
- P4 三文件全部 fake runner/脚本化模型，零真实 LLM、零网络；上述数字为确定性 golden。
|
|||
|
|
- S6/S7 真实子进程冒烟：主管本轮未重跑；S6 修复后 24/24、S7 12/12 依据 `docs/CHANGELOG.md` 顶部 FB-03-BUG-1 修复记录与 `poc/pi-fallback/smoke/s6_results.json`/`s7_results.json` 收口。
|
|||
|
|
- P3-VALIDATION 的 NO-GO 段保留为历史现场，顶部 GO 判定与 §7 复证记录已补齐，消除文档矛盾。
|
|||
|
|
- 工作区仍含 P3 未提交产品代码与全部 P4/P5 新文件；未 commit/push。
|
|||
|
|
|
|||
|
|
## 4. 尚未达到“可正式发布”的项（如实保留）
|
|||
|
|
|
|||
|
|
1. Pi runtime 仍在 `poc/pi-fallback/runtime`，未进入 Docker/K8s/桌面发布包。
|
|||
|
|
2. 桌面包 sidecar 不透传 `LLM_*`/`APS_FALLBACK_*`，默认包无 Node/pi。
|
|||
|
|
3. F5 无模型 force-off/UI 状态位、Pi status 行机器校验、PENDING_SYNC 自动补推、per-step 时间戳与真实 token/cost、`/api/gov/audit` runId 过滤均未实现，属后续任务。
|
|||
|
|
4. 全量 golden 基线口径与真实打包/康尼数据验收需另轮按发布决策执行。
|