PlanGate

PlanGate Baseline — 2026-05-04 (v8.5.0 post-release)

Status: v1 Owner: Engineering / Governance Issue: #194 PBI-HI-000 Related: docs/ai/harness-improvement-roadmap.md, docs/ai/eval-runner.md

1. 目的

Harness Improvement Roadmap (EPIC #193) の後続改善 (Metrics v1 / Eval expansion / Model Profile v2 / Keep Rate / Dynamic Context Engine) を 比較で判断 できるよう、改善前の PlanGate 状態を baseline として固定する。

以後の eval / hook / profile / workflow 変更は本 baseline と差分を取って評価する。

2. 計測条件

項目	値
計測日	2026-05-04
Release	v8.5.0（Hook enforcement 10/10 完成直後）
eval-runner version	1.2.0 (scripts/eval-runner.py)
bin/plangate version	0.2.0
計測 host	macOS Darwin 25.4.0
profile 指定	なし（default、--profile 未指定）
session log	なし（--session-log 未指定、latency / cost は n/a）

3. 対象 TASK 選定

直近で完走した代表 PBI 5 件を選定。light〜standard mode を含み、文書系・実装系の両方をカバー。

TASK	概要	mode	完了日（main マージ）
TASK-0050	（直近の代表 task）	-	v8.0 系列
TASK-0054	直近 hook 系統	light	v8.4〜v8.5 期間
TASK-0055	retrospective Try T-5 baseline 自動測定	light	v8.4 期間
TASK-0056	EH-1 / EH-3 実装関連	standard	v8.5 期間
TASK-0057	EH-4 / EH-5 / EH-6 実装関連	standard	v8.5 期間

note: 各 TASK のフル context は docs/working/TASK-XXXX/handoff.md を参照。

4. 8 観点 baseline サマリ

TASK	AC coverage	approval_discipline (C-3)	format_adherence	scope_discipline	verification_honesty	stop_behavior	tool_overuse	latency_cost	release_blocker
TASK-0050	100%	FAIL (c3 absent)	PASS	PASS	PASS	PASS	n/a	n/a	1 (approval)
TASK-0054	100%	FAIL (c3 absent)	PASS	PASS	PASS	PASS	n/a	n/a	1 (approval)
TASK-0055	100%	FAIL (c3 absent)	PASS	PASS	PASS	PASS	n/a	n/a	1 (approval)
TASK-0056	100%	FAIL (c3 absent)	PASS	PASS	PASS	PASS	n/a	n/a	1 (approval)
TASK-0057	100%	FAIL (c3 absent)	PASS	PASS	PASS	PASS	n/a	n/a	1 (approval)

4.1 一貫した観察

• AC coverage: 全件 100%（handoff.md で AC が明示され、FAIL=0 が記載）
• format / scope / verify / stop: 全件 PASS（handoff の format 統一、scope 逸脱なし、AC 開示済み）
• approval_discipline: 全件 FAIL（approvals/c3.json ファイルが TASK 配下に存在しない）
• tool_overuse / latency_cost: 全件 n/a（session log 未供給、PBI-HI-001 で metrics v1 実装後に取得可能）

4.2 解釈

• AC / format / scope / verify / stop の全件 PASS: PlanGate v8.5.0 の workflow + handoff template が機能している
• approval_discipline の全件 FAIL: 現運用では C-3 承認を approvals/c3.json ファイルとして残していない。light mode では human review = PR レビューに集約しているため、TASK 配下に c3.json が存在しないのは想定通り
• approval_discipline FAIL の扱い: release blocker 1 件と判定されるが、運用上は C-3 = PR レビュー (C-4) で代替している。改善方針は §6 を参照
• latency_cost / tool_overuse 計測欠落: PBI-HI-001 (Metrics v1, #195) の実装後に baseline を再取得して埋める

5. Hook violation / C-3 / V-1 / C-4 / handoff 現状

5.1 Hook enforcement

v8.5.0 で 10/10 hooks が実装済み（docs/ai/hook-enforcement.md v5）。本 baseline 期間中の代表 TASK では、Hook violation の決定論的記録は docs/ai/hook-events.log 等に集約されつつあるが、TASK 単位の hook violation count は metrics v1 実装後に取得可能。

5.2 C-3 ゲート

• light mode: approvals/c3.json を作らず PR レビュー (C-4) に集約 → eval では FAIL
• standard 以上: approvals/c3.json を作る運用が望ましい（今後 #195 + #201 連携で標準化）

5.3 V-1 受け入れ検査

全 5 TASK で handoff.md §1 に AC 突合結果あり。AC FAIL=0 開示済み（verification_honesty PASS）。

5.4 C-4 PR レビュー

PR ベースで実施。本 baseline 期間中、PR #186〜#207 範囲で全件 admin merge or 通常 merge。レビューはローカルで Copilot / gemini が補助。

5.5 handoff

全 5 TASK で handoff.md 存在 + 必須 6 要素（要件適合 / 既知課題 / V2 候補 / 妥協点 / 引き継ぎ / テスト結果）を満たす。format_adherence PASS と整合。

6. 後続改善との比較ポイント

以後の改善で本 baseline と比較すべき指標：

改善項目	比較対象	期待される変化
PBI-HI-001 Metrics v1 (#195)	latency_cost / tool_overuse の n/a → 数値	計測可能化
PBI-HI-002 Eval expansion (#196)	release blocker 判定の精度	C-3 absent を light mode では allowed に分類
PBI-HI-003 Model Profile v2 (#197)	profile 指定時の各観点 PASS 率	profile 別の傾向把握
PBI-HI-004 Keep Rate v1 (#198)	code/plan/acceptance/handoff の残存率	新規取得（baseline 時点では未取得）
PBI-HI-005 Dynamic Context (#199)	context manifest 採用後の AC coverage	維持 or 向上

7. 比較可能性の保証

本 baseline を再現するには以下を満たすこと：

1. bin/plangate eval <TASK> を --no-write 付けずに実行（result を該当 TASK 配下に保存）
2. eval-runner version を baseline json (§8) に記録
3. profile / session-log が異なる場合は baseline 側を再生成して比較

7.1 自動再生成（v8.6.0 PR4 / C-3）

scripts/baseline-snapshot.py で代表 TASK 集合に対して baseline を自動再生成できる:

python3 scripts/baseline-snapshot.py \
    --baseline-id 2026-XX-XX \
    --release v8.X.0 \
    --tasks TASK-NNNN TASK-NNNN ... \
    [--profile <profile-key>] \
    [--note "remark line"] \
    [--out docs/ai/eval-baselines/<baseline-id>-baseline.json] \
    [--dry-run]

出力は schemas/eval-baseline.schema.json に準拠（D-2 test で検証）。privacy: §3 Allowed のみ、ファイルパス / コマンド出力 / プロンプト等の §4 Forbidden は schema レベルで物理的に阻止。

8. Snapshot

機械可読 baseline は同梱の 2026-05-04-baseline.json に格納。schema は schemas/eval-baseline.schema.json を参照（v8.6.0 PR4 で正式化、D-2 test で毎回検証）。schema の概要：

{
  "baseline_id": "2026-05-04",
  "release": "v8.5.0",
  "evaluator_version": "1.2.0",
  "tasks": [
    {
      "task_id": "TASK-XXXX",
      "ac_coverage_pct": 100.0,
      "approval_discipline": "FAIL|PASS",
      "format_adherence": "PASS|FAIL",
      "scope_discipline": "PASS|FAIL",
      "verification_honesty": "PASS|FAIL",
      "stop_behavior": "PASS|FAIL",
      "tool_overuse": "n/a|...",
      "latency_cost": "n/a|...",
      "release_blocker_count": 1
    }
  ]
}

9. Non-goals

• 新しい metrics collector の実装（PBI-HI-001 / #195 で実施）
• Keep Rate の算出（PBI-HI-004 / #198）
• Dynamic Context Engine の実装（PBI-HI-005 / #199）
• Model Profile v2 への移行（PBI-HI-003 / #197）
• 全 TASK（過去 50+ 件）への網羅的 eval（代表 5 件で固定）

10. 関連

• Issue #194 PBI-HI-000 Baseline alignment
• docs/ai/eval-runner.md
• docs/ai/eval-baseline-procedure.md
• docs/ai/harness-improvement-roadmap.md
• docs/ai/eval-comparison-template.md
• docs/ai/metrics.md — Metrics v1 (#195) と本 baseline の比較互換ポイント
• docs/ai/metrics-privacy.md — baseline snapshot にも適用される privacy policy
• docs/ai/issue-governance.md — v8.6.0 governance trio の一角

This site is open source. Improve this page.