PJ33 艇脳 - モデル進化の記録

AUC（予測能力スコア）

1着になる選手とならない選手をどれだけ正しく区別できるかの総合スコア。1.0 が完璧、0.5 がランダム。

0.5 ランダム

1.0 完璧

学習終了日

モデルに食わせたレースデータの最終日。この日以降のレースは「未知のテスト」になるので、的中率が本当の実力を反映する。

Best iter（木の本数）

LightGBM は決定木を1本ずつ追加して賢くなる。追加しすぎると「覚えすぎ」で逆に弱くなる。自動で最適な本数で止まる。

多い = しっかり学習 / 少なすぎ = データに問題あり

真OOS（未知データ）で評価したモデル

モデル	学習データ	テスト期間	AUC	的中率	単勝ROI	木の本数	判定
v2026_13	~3/31	4/1~5/17 47日間	0.9319	72.2%	201.4%	7,582	本番稼働中
v2026_12	~3/31	4/1~5/17 47日間	0.9314	72.7%	207.4%	4,999	v13とほぼ同等
v2026_11	~3/31	4/1~5/17 47日間	0.9235	71.4%	213.4%	3,000	ROI高いがAUC劣
v2026_10	~1/31	2/1~4/30 89日間	0.8650	64.6%	199.8%	339	早期収束
v2026_14	~4/30	5/1~5/18 18日間	0.8302	57.8%	155.2%	1,110	データ追加で劣化
v2026_17	~4/4	4/5~5/5 30日間	0.8496	59.6%	166.7%	364	OOS修正後テスト

評価バグで無効なモデル

テストデータが学習データに含まれていた（カンニング状態）。ADR-2026-05-19 で修正済み。

モデル	AUC	的中率	木の本数	なぜ無効か
v2026_15	0.9940	95.9%	10,000（上限到達）	テスト期間 3/22~5/5 が学習期間 ~5/5 に完全内包。答えを見てテストしたのと同じ
v2026_16	0.9963	97.2%	12,000（上限到達）	同上。AUC 0.99 は現実にはありえない数字

AUC 比較（視覚化）

0.5（ランダム）〜 1.0（完璧）のうち、0.8〜1.0 の範囲を表示

v13

0.9319

v12

0.9314

v11

0.9235

v10

0.8650

v17

0.8496

v14

0.8302

三連単バックテスト（本番設定）

v2026_13 / margin 0.35 / bet-unit 500 / 4点買い / 2026-04-01~05-17 の47日間

三連単ROI

175.9%

月間推定利益

~290万円

実運用は150~250万想定

単勝ROI

201.4%

ここまでの教訓

データは多ければいいわけではない

v14 は4月データを追加して AUC 0.93 → 0.83 に大幅劣化した。データ品質が学習量より重要。

木の本数（Best iter）は健全性の指標

v13 の 7,582本は十分な学習。v17 の 364本は「このデータからはもう学べない」のサイン。早すぎる収束はデータ側の問題を疑う。

AUC 0.99 は嘘

v15/v16 の AUC 0.99+ はテスト方法のバグ（val期間がtrain期間に内包 = カンニング）。現実的な AUC は 0.83~0.93 の範囲。「良すぎる数字」は疑え。

v11 ~ v13 が黄金世代

学習データ ~3/31 の3モデルが全てAUC 0.92超え。特徴量セットの微調整とイテレーション数の差。v13 が最も安定。

6/1 リトレインの課題

OOS評価バグは修正済み。しかしv14以降のデータ追加で劣化する問題は未解決。品質調査してから再学習すべき。

時系列

~5/8

v10 学習 (AUC 0.87)

初の lr=0.02 版。Best iter 339 で早期収束。ベースライン確立

5/19 未明

v11 ~ v13 連続学習 (AUC 0.92~0.93)

特徴量改善で一気にブレイクスルー。v13 の iter 7,582 が最高到達点

5/19

v2026_13_lr02 を本番採用

calibration 適用。三連単4点+条件付き単勝の戦略で運用開始

5/19

v14 劣化発覚 (AUC 0.83)

4月データ追加で性能低下。データ品質問題を示唆

5/19

v15/v16 評価バグ発覚

retrain スクリプトの OOS 設計ミス。val が train に内包されていた。AUC 0.99 は偽

5/19

v17 OOS修正テスト (AUC 0.85)

retrain_monthly_launchd.sh の OOS バグ修正後の初テスト。修正自体は成功したが iter 364 で早期収束

5/20

シャドーモード最終日

5/21 からライブ投票開始

5/21

🟢 v2026_27_lr02 ライブ化

AUC=0.9073 / Top-1=70.0% / ROI=200.4%。オッズ除外設計。SHADOW_MODE_UNTIL 解除

5/22

フィルター最適化 + 朝通知 + 月次自動化

margin12: 0.40→0.35（BT 5/2-5/20: 85.5%的中/234%ROI/日45件）。morning_race_summary.py 実装。月次フィルター最適化タスク（毎月2日 06:00）追加

6/1（予定）

月次リトレイン

v2026_28_lr02 生成予定。翌日 6/2 に月次フィルター最適化レポート自動実行