CSE v2 チェックポイント3 — 確率の精度と生成の崩れの系列(H-CAL-1、H-COL-1〜3、H-LEAK-1〜3、H-GEN-2b・3・4)

作成: 2026-10-05(H-LEAK-3の凍結の直後)。DRAFT(commit 71bc238)→ Codexの系譜監査(FAIL 4件・CONCERN、§6)→ 修正。状態: FINAL/FROZEN(2026-10-05)。以後、本文は書き換えない。

この文書は、V2_CHECKPOINT_2.md(FINAL/FROZEN、2026-09-29)の後に凍結した10の研究の結論をそのまま並べて1枚にするためのものである。各研究の結果・判定・解釈はそれぞれのプロトコルが正本であり、この文書はそれらを書き換えない・強めない。数値はすべて各プロトコルからの引用である。V2_CHECKPOINT_1.md・V2_CHECKPOINT_2.mdは書き換えない。

この文書では次の研究を決めない(§4に候補を並べるだけ)。

0. 3行で言うと

1. 確率の精度では、CSEは数え上げ(n-gram)に負けた。 効いたのはラベル(カテゴリの情報)で、CSE固有の利点は検出されなかった。CSEは確率の約35〜36%を正解でない語に「漏らして」いた。漏れの大部分は、今の記号だけを見るdirectの項に由来する質量で(分解)、その重みを相対的に下げる介入で見込みどおり減った。ただし数え上げとの差の原因を同定したわけではない。
2. pairの重みを上げると漏れは減るが、どこでも良くなるわけではない。 pairの行が正解だけを指す位置では改善し、ラベルなしの「が」の後(pairのキーが個別の単語で、同じ語の集合の中で配分を変える位置)では悪化した(原因は同定していない)。β=9でも動詞の位置では数え上げに0.14ビット負けた。
3. 生成の崩れでは、履歴の項を全部外したときだけ最初の逸脱が大きく遅れた。 「履歴の中身の配置」(かき混ぜ)、「すでに出た記号の分だけ」(マスク)、「繰り返しの減点」では、登録した基準の改善は出なかった。

1. 一本道の要約

[確率の精度の系列]
H-CAL-1   top-1確信度の較正(ECE)、107の凍結入力 → NEITHER(CSEは過小確信、張り付きはない)
   ↓  「確率の中身」を、答えが分かる合成言語で測る方向へ
H-COL-1   役割を分けたCSE(Colony)+oracleのラベル → COLONY GAIN, NO CSE-SPECIFIC ADVANTAGE(ラベルで説明できる)
H-COL-2   同じラベルを1匹のCSEに渡す → NOT DETECTED(Colonyと全20同点、天井)
H-COL-3   動詞を確率的にして天井を外す(交差エントロピー) → CN BETTER(数え上げが0.63〜0.65ビット良い)、CSEは約36%を漏らす
   ↓  漏れの出どころを測る(原因は同定していなかった)
H-LEAK-1  確率を direct / pair / 混合 に分解 → 漏れの87〜91%が direct 由来(記述)
H-LEAK-2  採点の pair の重み β を 1→3→9 に上げる介入 → B3・B9 BETTER(0.32・0.48ビット)、β=9でもCN BETTER(0.14ビット)
H-LEAK-3  βを上げたときの副作用を別の位置で → SIDE EFFECT DETECTED(ラベルなしの「が」の後、β=9で約0.09ビット悪化)

[生成の崩れの系列](V2_CHECKPOINT_2のH-GEN-2の続き)
H-GEN-2b  hist_off 対 pair_off を直接、+ hist_shuffle → HIST_OFF > PAIR_OFF。かき混ぜより hist_off が遅らせた
H-GEN-3   繰り返しを禁止するか減点するか → RQ1・RQ2とも NOT DETECTED(床に近い)
H-GEN-4   履歴の害は「すでに出た記号」からか → 主比較 NOT DETECTED。遅れが大きかったのは履歴全体を外したときだけ

2. 研究ごとの整理(正本の範囲を超えない)

3. 現時点で言えること(各正本の範囲を超えない)

3-1. 確率の精度

• この合成言語・107型の構成・oracleのラベルで、カテゴリを介した汎化の利得はラベルで説明でき(H-COL-1・2)、確率の精度では同じラベルの数え上げの方が真の分布に近かった(H-COL-3)。
• 漏れの質量について: direct(今の記号の行)とpair(直前2記号の行)は同じ重みで足され、漏れの87〜91%はdirect由来の質量だった(H-LEAK-1の分解、記述)。pairの相対的な重みを上げる介入で、direct由来の漏れは1/(1+β)の割合で減った(H-LEAK-2)。
• 交差エントロピーの差について: β=9での数え上げとの残りの差(0.143ビット)は、残った漏れの分(約0.146ビット)にほぼ当たる(記述)。CSEと数え上げの交差エントロピーの差の原因を同定した研究はない(漏れの質量の分解と、交差エントロピーの差の原因の説明は別物)。
• pairの重みを上げる効果は位置によって向きが違う(H-LEAK-3): pairの行が正解だけを指す位置では改善、ラベルなしでpairのキーが個別の単語になり、同じ語の集合の中で配分だけを変える位置では悪化(原因は同定していない)。ラベル付きの「が」の後は丸め誤差を除き不変。
• 言わないこと: CSEの推奨設定、βの最適値、「まばらさが原因」、自然言語・他の構成・softmax・講座版エンジンへの一般化。

3-2. 生成の崩れ

• 未見の課題で、デコード時に履歴の項全体を外すことは、pairを外すこと・履歴の値をかき混ぜることより、最初の逸脱を遅らせた(H-GEN-2b)。履歴を「すでに出た記号」だけに絞ると先走りは大幅に減ったが(505件→23件)、繰り返しと早すぎる終了に置き換わり、登録した改善には届かなかった(H-GEN-4)。
• 繰り返しの扱い(禁止か減点か)では差を検出しなかったが、床に近く、比較の力は弱かった(H-GEN-3)。
• 言わないこと: 生成失敗の一般的な原因、history_boost = 0の推奨。

3-3. 2つの系列を並べた整理(このチェックポイントでの未検証の横断的な解釈)

• 2つの系列を並べると、「正解以外の候補への点数の配分」という観点で整理できる可能性がある(確率の系列のdirectの広い配分、生成の系列の履歴の項)。ただし生成の系列で検証したのは特定の除去・並べ替え・マスクの比較であり、共通の機序そのものではない。これは本チェックポイントでの未検証の横断的な解釈で、どの研究の結論でもない。

4. 残った問いの位置づけ(ここでは次の研究を選ばない)

• 再開のルールは../ARCHIVE_STATUS.mdのまま(理由を書く → どの判断が変わるか → 事前登録 → 設計査読)。

5. 手続きについての記録

• 10研究は、それぞれの正本に登録した手順で実施した(事前登録・Codexの査読・実行後監査を経てFINAL/FROZEN)。研究ごとの順序・省略は各正本に記録した(例: H-LEAK-1は設計と実装の合同査読で既存の課題を再利用しPhase 0なし、H-GEN-2bは課題の生成・凍結の後に実装と実装後査読)。
• 逸脱・訂正は各正本に記録した。主なもの: H-GEN-2bの初回実行の件数検査の誤り(書き出し前に停止、§16)、H-LEAK-1の誤記(1〜13% → 9〜13%)、H-LEAK-2の実装後の修正を再査読なしで実行(ユーザー判断、§13)、H-LEAK-3のCNとの大小の誤記(§15で訂正)。
• 「判定をいつ開いたか」は、保存した成果物だけからは独立に証明できない(H-LEAK-2・3の実行後監査で記録)。

6. Codexの系譜監査(2026-10-05)と対応

総合: FAIL(数値・主判定の引用は正本と一致。訂正済みの比較の誤りの再現と、正本より強い表現)。研究の結果は変えず、このチェックポイントの比較・因果の表現・手続きの要約を直した。

V2_CHECKPOINT_3 = FINAL/FROZEN(2026-10-05)。