🚤 PJ33 艇脳 — 進捗レポート

v2026_10_lr02 — ベースライン構築

AUC 0.8650。n_estimators=3000 で Best iter が上限に到達（未収束の問題を未認識）。戦略は value_bet / edge≥0.10。

odds_load ETL ターゲット修正 — 当日ライブ取込を可能に

TARGET_SQL の対象を races（レース後のみ）から program_entries（レース前からあるテーブル）に変更。これにより当日のオッズが同日中に race_odds へ格納できるようになった。

OOS低精度会場を除外 — 戸田 / 江戸川 / 多摩川

OOS バックテストで 1着的中率 ≤50% だった3会場を SKIP_VENUE_IDS に追加。推奨件数が減るがフィルタ精度が向上。

margin フィルタ 0.25 → 0.45 へ引き上げ

低 margin シグナルの的中率が低く ROI を押し下げていた。0.45 を閾値として設定。ライブでの件数は減るが精度・ROI が向上。

win_odds 欠損影響診断 — 精度への影響ゼロ確認

ライブ推論での win_odds NaN 率が 44〜100% に達することを確認。median(7.0) 置換した場合の検証: 77.9% → 77.9%（変化なし）。is_odds_missing 重要度=0。モデルが win_odds 欠損に対してロバスト。

v2026_13_lr02 採用 — n_estimators=10000 で初収束

n_estimators を 10000 に引き上げ、Best iter=7582（<上限）で初めて収束。v2026_11（未収束・87.5%）・v2026_12（未収束・85.7%）より AUC・MLOps 信頼性ともに最高。DEFAULT_MODEL として採用。

精度監視 Phase 1 実装 — 7日移動平均 + Telegram アラート

evening_race_results.py に fetch_rolling_accuracy() を追加。7日移動平均を毎夜表示。WARN <78%（🟡）/ ALERT <70%（🔴・別途 Telegram 通知）。サンプル10件以上で発動。

P0 解決 + track_record 修正 + ライブ実績初集計

win_odds Training-Serving Skew を完全調査→偽陽性確定。track_record スクリプトを本番構成（v2026_13 / trifecta_4pt）に修正。ライブ5日間を初定量評価 → 80.8% / ROI 202.7%。

margin 0.45 → 0.40 に引き下げ（OOS検証で確定）

4/1〜5/18 純OOS検証: 0.40以上帯 ROI 182% / 0.35〜0.40帯 ROI 108%（ノイズ）。vote ステージも整合修正（predict=0.40 通過シグナルが vote=0.45 で遮断される重要バグを同時修正）。

三連単 4点固定 — バックテスト trifecta_4pt に完全一致

A(1→2→3) / B(1→3→2) / C(1→2→4) / D(1→4→2) 固定。EV フィルタ除去でシグナル漏れ解消。race_notifier.py コミット済み。

シャドーモード — 5件自動投票（Codex CLI）

徳山 9R ¥12,000 / 徳山 10R ¥6,000 / 常滑 7R ¥4,000 / 常滑 8R ¥2,000 / 児島 7R ¥12,000。合計 ¥36,000。SHADOW_MODE_UNTIL = 2026-05-22 → 5/23 自動ライブ化。

v2026_14 AUC 回帰 根本原因 確定 ＋ LambdaRank v1 完了

Option A 完了: AUC 0.9308（v2026_13比 -0.0011 で実質同等）。原因確定: --with-exhibition なし生フェッチ（679K行）= 展示タイム欠損行混入 → AUC 低下。
LambdaRank v1 完了: ndcg@3=0.790 / 複勝精度 26.0%（Binary +2.4pt）→ 三連単 top-3 選出に有望。
Option B v3（3バグ修正済み）学習完了: AUC=0.8681、best_iter=1612。

AUC 0.87 vs 0.93 ギャップの根本原因判明

主因: val期間の違い (5/18 vs 5/6 打ち切り)。
根拠① cache 92特徴量 + val=5/6 → AUC=0.9402（最高値）、best_iter=1825
根拠② withexhib (fresh Oracle, val〜5/18) → AUC=0.8681、best_iter=1612 で早期終了
根拠③ 5/1-5/6のみ AUC=0.916 → 最近期間ほど予測困難（季節性/大会後半の傾向）
結論: 0.8681は5/7-5/18の難しい期間を含む正直な評価。v2026_13（cache, 5/6まで）の0.9319は比較的易しい期間でのスコア。 次の選択肢: ① fresh Oracle + --val-end 2026-05-06 で再学習 ② v2026_13 現状維持

Option D 確定 → Phase 3 walk-forward 開始

Option D 確定: Opus + GPT-5.5 共同推奨。v2026_13 現状維持（ROI 202.7% 本番稼働中）、Phase 3 walk-forward 検証に移行。
ml/walk_forward_validation.py 実装完了（López de Prado 式 purged/embargoed, --workers 4）。
⚠️ リーク発見: eval-only（--model-path）で cache データを使うとフォールド 1〜6 で深刻なデータリーク（AUC 0.986-0.989 / ROI 3.7-3.9x）。
原因: キャッシュ特徴量が 2024-2026 全期間で計算済み → 未来情報を含む。
有効なOOS推定: Fold 7 のみ（2026-02-07〜2026-05-06） → AUC=0.9579 / ROI=2.93x / Top-1=83.0%
次ステップ: fold ごと Oracle から再取得 + 再学習（真の WFV）または v2026_13 val 結果（AUC=0.9319, ROI=202.7%）を唯一の有効 OOS 推定として採用。

Isotonic Calibration 完了 — 全体 ECE 0.016（良好）

分析結果: 従来 ECE=0.1252（BAD）は 選択バイアス（margin≥0.40 フィルタ後の高信頼帯のみ集計）による見かけの悪化。
全ボート予測（32,480行）での全体 ECE=0.0159（良好）→ モデルは総体的によく較正されている。
Isotonic Regression calibrator（`lgbm_v2026_13_lr02_calibration.pkl`）を保存済み。
効果: Top-1 accuracy +1.5〜2.0 pp（margin=0.40 基準）/ ROI 変化なし（±0.001x）/ bet数 −8%。
5/23 前のリスク回避: race_notifier.py への組込みは post-5/23 に延期。backtest_live.py では --calibrate で利用可能。

Task 20 完了 — race_notifier.py に Isotonic Calibration 統合（commit 6a5fdf4）

load_calibration(name) 関数を追加 → models/lgbm_{name}_calibration.pkl を自動検出・ロード。
predict_race(calibration=None): predict_proba 直後に適用。例外は fail-safe でスキップ（raw proba フォールバック）。
5/23 本番稼働から即有効。キャリブレーション pkl（v2026_13_lr02_calibration.pkl）保存済みのため追加作業ゼロ。

Calibration A/B バックテスト — 2026-01-01〜05-11（同一条件・margin 0.40・trifecta_4pt）

キャッシュ特徴量（feat_cache parquet）を使い完全同一条件で比較：

✅ キャリブレーション有効。Top-1精度+0.7pp・ROI+1.3ppの改善。シグナル数がわずかに減少（margin12計算への確率変化の影響）。5/23 本番稼働から適用済み。

全スクリプト DEFAULT_MODEL を v2026_13_lr02 に統一（stale model sweep）

全 Python / Shell スクリプトを走査し、旧バージョン参照を修正：
① scripts/morning_race_summary.py: v2026_10_lr02（3世代前）→ v2026_13_lr02。launchd が --model 引数なしで実行するため毎朝 09:10 の予測通知が3世代前モデルで動作していた重要バグ。
② scripts/diag_odds_missing_backtest.py: v2026_10_lr02 → v2026_13_lr02（診断スクリプト）。
③ ml/backtest_live.py: v2026_05（8世代前！）→ v2026_13_lr02。手動バックテスト実行時に8世代前で計算する致命的 default。

v2026_15 準備完了 — wind_angle_diff FEATURE_COLS 追加 + auto-calibration 統合

wind_angle_diff（会場支配的風向との角度差・0〜180°）を FEATURE_COLS に追加 → 93特徴量（commit e4c97f9）。24会場の支配的風向マップ（ml/static_wind_dominant_map.json）も作成済み（commit 9f0bdbb）。
scripts/retrain_monthly_launchd.sh に Step 2.5 として python3 ml/calibrate.py --model "$MODEL_NAME" を統合（commit 2ac1458）→ 6/1 月次リトレインで v2026_15_lr02 + 専用 calibration が完全自動生成。
WFV の wind_angle_diff フォールバックも 0.0（同方向と誤認）→ 90.0（中立）に修正済み。

5/23 ライブ化 全 GREEN 確認完了

12 launchd エージェント健全性確認: 11/12 が exit 0。1件（pnl-daily）は git add -f 修正済み（commit 235604e）で次回 08:30 実行で exit 0 に回復予定。
全 Python スクリプトが v2026_13_lr02 に統一済み。calibration pkl 確認（2,605 bytes）。is_shadow_mode() が 5/23 から自動で False を返すことを確認。コード変更なしでライブ化。