CSE v2 チェックポイント2 — M2の古典的な検証の系列(H-M2-1 → H-GEN-1 → H-GEN-2 → H-M2-1b)
作成: 2026-09-29(H-M2-1bの凍結の直後)。DRAFT(commit 6b776a8)→ Codexの系譜監査(FAIL 1件、§6)→ 修正。状態: FINAL/FROZEN(2026-09-29)。以後、本文は書き換えない。
この文書は、凍結済みの各研究の結論をそのまま並べて、M2(複数仮説の探索)の古典的な検証の系列を1枚にし、「v2で何を試して、何が残ったか」を再固定するためのものである。各研究の結果・判定・解釈は、それぞれのプロトコルが正本であり、この文書はそれらを書き換えない・強めない。数値はすべて各プロトコルからの引用である。M4・M7・M1とH-GEN-2までの流れはV2_CHECKPOINT_1.md(FINAL/FROZEN、commit e53aa89)が正本で、この文書はそれを書き換えない。
この文書では次の研究を決めない。決めるのは、この文書の凍結とOPEN_HYPOTHESES.mdの整理の後にする(2026-09-29、ユーザーと合意)。
1. 一本道の要約
H-M2-1 M2の古典対照(A=greedy / B=1回分岐 / C=beam-k)
→ P1(B対A)・P2(C対B)ともNOT FOUND、floor_both を伴う
↓ 原因を切り分けないまま温度やbeamを調整するのを避け、診断を優先(運営上の判断)
H-GEN-1 自由生成の最初の逸脱の診断(改善はしない)
→ 登録済みの出力R1(near_miss 806/1599)。history が最大の正のscore差の構成項(1595/1599、観察)
↓ R1の路線の候補はH-M2-1bだったが、history の観察を介入で検証する事後の判断
H-GEN-2 デコード時の係数への介入
→ hist_off PASS / pair_off NOT PASS(履歴の項への特異性は未検証)
↓ hist_off の構成を、M2の問いの新しい登録構成として採用(結果を見た後の事後の判断)
H-M2-1b history-off構成・未見の課題 hm2_1b で、同じP1・P2を事前登録して再検証
→ 再び P1・P2ともNOT FOUND(floor_both には該当しない)
要点: H-GEN-2のPASSと、M2の仮説が支持されたこととは別である。 H-GEN-2は、デコード時に履歴の項を外すと自由生成の最初の逸脱が遅れることを、登録した基準で支持した。しかし、その構成に移して同じM2の問いを事前登録で再検証しても、複数仮説の探索(B・C)の登録した改善の基準は満たされなかった。H-GEN-2の結果は、自由生成の挙動についての結果であり、M2の比較優位についての結果ではない。
2. 研究ごとの整理
2-1. H-M2-1(古典的な複数仮説の探索)— 正本 H_M2_1_PROTOCOL.md §6・§14〜15
| 項目 |
内容 |
| Question |
CSEの自由生成(想起課題)で、CSE自身の確率だけを使う複数仮説の探索は、greedyより正しい系列を多く想起できるか。継続的なbeamは1回の分岐に対して追加の比較優位を示すか |
| Intervention |
デコード方式: A = greedy、B = greedyの経路で1位と2位の差が最小の1ステップだけ上位k個に分岐、C = beam-k(k = 3、score = 長さ正規化なしの累積log p)。Primary構成low-cap+pair(history_boostはこの構成の値のまま)。課題hm2_1(16セル×10インスタンス、1600プロンプト) |
| Registered result |
P1(B対A)・P2(C対B)ともNOT FOUND、floor_bothを伴う。正答率は3方式ともマクロ平均で約0.26%、160単位すべてが同点(有効n = 0) |
| What it supports |
登録した条件では、B・Cの改善を検出しなかった。床は計算不能ではなく、比較と判定は成立している |
| What it does NOT support |
「探索方式に効果がない」「M3は不要」。差が生じなかった原因(撤回済み: 「Top-1に届く前に死んでいた」「床なので差が出る余地がなかった」、§15) |
| Next-question provenance |
仕様書のM2(Quantum-Inspired Attention)から量子の要素を抜いた古典の対照として、事前に立てた問い。量子の主張を先に置かず、まず古典的な複数仮説の保持と比べるというv2の方針による |
2-2. H-GEN-1(自由生成の最初の逸脱の診断)— 正本 H_GEN_1_PROTOCOL.md §14〜18
| 項目 |
内容 |
| Question |
greedyは正解の系列からどこで・どう外れるか(改善はしない) |
| Intervention |
なし(診断)。正解強制の経路(j*まで自由生成と状態が一致)の上で、最初の逸脱点j*の位置と仕組みを分類し、scoreを項に分解した。課題hgen1(H-M2-1と同じ生成器で乱数キーだけ変えた未見の1600プロンプト) |
| Registered result |
1599/1600で逸脱。位置は分岐前(S1)1016・分岐点504・分岐後の共有部分60・分岐後の固有部分19・終了0。仕組みはnear_miss 806・pruned 755・underflow 38。決定表の登録済みの出力R1(near_miss > 1/2、成立の最小件数800を6件上回るだけ) |
| What it supports |
登録した分類の下での死因の分布の記述。逸脱1599件中1595件で、historyが選ばれた記号と正解の実効scoreの差の、符号つきで最大の正の構成項だった(観察) |
| What it does NOT support |
R1は成功の判定ではなく、次の研究の候補を示す診断の路線の出力。near_missの多くは確率の上では近くない(正解の確率の中央値8.1e-10、0.1以上は7%)。historyが逸脱の原因であること(因果は未検証)。参考のSecondary(H-M2-1の課題)ではR1は不成立(782/1596) |
| Next-question provenance |
H-M2-1の後、原因を切り分けないまま温度やbeamを調整するとM2を成立させるための調整になりやすいので、診断を優先するという運営上の判断(H-GEN-1 §0) |
2-3. H-GEN-2(履歴の項への介入)— 正本 H_GEN_2_PROTOCOL.md §16〜17
| 項目 |
内容 |
| Question |
デコード時にhistory_boost(またはpair_context_boost)を0にすると、最初の逸脱は遅れるか |
| Intervention |
同じ学習済みエンジンで、デコード時だけ係数を変える: hist_off(history_boost = 0)、pair_off(pair_context_boost = 0)、hist_low(記述のみ)。Primary指標は最初の逸脱位置Lのユニット単位の差。課題hgen2(未見の1600プロンプト) |
| Registered result |
hist_off PASS(ΔL = +3.69記号(マクロ平均)、160勝0敗0分、p = 2^-160、16セルすべてで10/0)/ pair_off NOT PASS(観測されたΔL = −0.57、0勝145敗15分)。完全一致はbase 4/1600 → hist_off 726/1600(記述) |
| What it supports |
凍結したhgen2・Primary構成・判定基準の下で、デコード時に履歴の項を外すと、最初の逸脱がbaseに対して登録した両関門を満たして遅れた |
| What it does NOT support |
履歴の項への特異性(hist_offとpair_offは直接比べていない)。「履歴の仕組みが生成の失敗の原因」という一般化。history_boost = 0を推奨設定にすること。hist_lowを用量反応とすること。H-M2-1の床の原因が履歴の項だったこと。複数仮説の探索(M2)がこの構成で有効になること(M2の比較はしていない) |
| Next-question provenance |
H-GEN-1のhistoryの観察を介入で検証する、研究運営上の事後の判断(H-GEN-2 §0)。決定表がこの選択を支持したとは扱わない(R5は不成立) |
2-4. H-M2-1b(history-off構成での複数仮説の探索)— 正本 H_M2_1B_PROTOCOL.md §20〜21
| 項目 |
内容 |
| Question |
history-off構成(history_boost = 0、それ以外はH-M2-1と同じ)で、同じP1(B対A)・P2(C対B)の改善が見られるか |
| Intervention |
学習はH-M2-1と同じPrimary構成(low-cap+pair)で1回、デコード時だけhistory_boostを0に差し替え(H-GEN-2と同じ作り方)。decoderはH-M2-1のものを変更せずに使用。課題hm2_1b(未見の1600プロンプト)。実行の前に、hgen2でAのhist_offの参照出力を再現(1600/1600) |
| Registered result |
P1 NOT FOUND(平均差 +0.0057、13勝4敗143分、p ≈ 0.0245。統計の関門は通過、効果量の関門(≥ 1/20)は不通過)/ P2 NOT FOUND(+0.0008、4勝4敗152分)。診断タグなし。マクロ平均の正答率 A 0.459・B 0.465・C 0.465 |
| What it supports |
この1構成・1課題分布で、B・Cとも登録した改善の基準を満たさなかった。登録した床の診断(floor_both)には該当しなかった(H-M2-1の0.26%とは違う条件での比較だった) |
| What it does NOT support |
「探索に効果がない」「BとAは同等」「M3は不要」。一般的な床効果がないことや、探索で改善できる余地があったこと。「代わりの候補の確率が小さかったから改善しなかった」「Cのscoreの規則が正解を落とした」(§20-3・§20-4は記述)。他のhistory_boostの値や、history_boostを変えていないPrimary構成(low-cap+pair)への一般化 |
| Next-question provenance |
H-GEN-1の登録済みの出力R1が示した候補として保留されていたもの。H-GEN-2の結果を見た後に、history_boost = 0を新しい登録構成として採用した事後の研究判断(V2_CHECKPOINT_1.md §4、H-M2-1b §0)。最適値として選んだ設定ではない |
3. 現時点で言えること(各正本の範囲を超えない)
- M2の古典的な検証として、2つの登録構成・2つの課題セットで、P1・P2とも登録した改善の基準を満たさなかった(H-M2-1: Primary構成
low-cap+pair・floor_bothを伴う。H-M2-1b: history-off構成・床の診断に該当せず)。
- 2回のNOT FOUNDは、登録した判定は同じだが、観測値と関門の通過状況は異なる(記述上の対比であり、独自の結果の分類を作るものではない)。H-M2-1は3方式とも正答率が約0.26%で、全単位が同点だった。H-M2-1bはAの正答率が約0.46で、P1では同点でない17単位のうち13単位でBがAを上回った(統計の関門は通過)が、観測された平均の改善0.0057は登録したマージン1/20に届かなかった。
- H-M2-1bの記述(判定を変えない、§20-3): Aの経路では、確率が正の子が2個以上あったステップは91.5%、2位の確率が1e-3以上だったステップは14.9%(
p2の中央値1.4e-11)。Aが最初に外れた890件のうち852件で、正解はtop-kの採用集合に入っていた(保存した所属の記録の集計)。
hgen1・hgen2・hm2_1bは、H-M2-1と同じ生成器・同じgridから新しく取った標本である。「未見の課題」はこの意味であり、異なる課題分布での追試や独立した再現研究ではない。
- 言わないこと:
- M2(複数仮説の探索)に効果がない、または同等である(NOT FOUNDは同等性を示さない)。
- M3(量子シミュレーション)は不要である。H-M2-1 §0には、床・天井の診断タグが立った状態でのNOT FOUNDに「M3へ進む理由は弱くなる」を一律には適用しない、という留保がある。H-M2-1bでも登録した改善は検出されず、古典方式のFOUNDを受けてM3を問うという経路には至っていない。これはM3の否定ではない(§4-2)。
- H-GEN-2のPASSがM2を救済した、またはM2の失敗の原因が履歴の項だった。
- H-GEN-1(Primary構成
low-cap+pair・hgen1)の仕組みの分布と、H-M2-1b(history-off構成・hm2_1b)の診断の値を直接比べて、介入の効果とすること(構成・課題・集計の定義がすべて違う)。
4. 残った問いの位置づけ(ここでは次の研究を選ばない)
| 候補 |
状態 |
由来(provenance) |
メモ |
| H-GEN-2b(履歴の項への特異性) |
UNTESTED、保留(OPEN_HYPOTHESES.mdに2026-09-26登録) |
実行の前: H-GEN-2 §3-4・§9-7で特異性をPrimaryの範囲の外とし、H-GEN-2b候補(L_hist_off − L_pair_offをPrimaryとする独立した事前登録)を明記。結果の凍結の後: 2026-09-26にOPEN_HYPOTHESES.mdへUNTESTED・保留として登録。H-GEN-2b自体のプロトコルはまだない |
正当な未解決の問いだが、M2の検証には直結しない |
| Candidate Selection / Scoring Hypothesis(仮の名前) |
UNTESTED、未登録 |
2層の由来。①事前: H-M2-1 §10-2(本実行の前、手作りデータ)で、確率分布がone-hotに張り付き、生scoreの桁でsoftmaxが飽和することを観察し、温度やscoreの較正を操作変数にする試験を候補にしていた(旧い仮の名前「H-M2-1b」、H-M2-1b §0で別の名前の候補として保留)。②事後: H-M2-1b §20-4の事前に登録していない集計(結果を見た後に行った) |
§4-1を参照 |
| H-M2-2(機構の分離: 保持の効果と再評価の効果) |
候補(H-M2-1 §1・H-M2-1b §1で言及のみ) |
事前: B・Cは分岐の位置・回数・候補集合・予算が違うので、P1・P2を機構として読まないための切り出し |
登録した改善はまだ検出されていない。機構の分離を次に行うかは未決定である |
| M3(Quantum-Simulated) |
保留 |
仕様書のM2/M3。H-M2-1 §0: 古典でFOUNDなら、初めてM3を問う意味が出る |
§4-2を参照 |
| M1の追試(稀な正常による誤警報、検出器の多様性) |
保留(2026-09-24から) |
V2_CHECKPOINT_1.md §4 |
変更なし |
| M7 |
OPEN(H-M7系列はCLOSED) |
V2_CHECKPOINT_1.md §4 |
変更なし |
| M2を一旦閉じるかどうか |
未決定 |
この文書の凍結の後に判断する |
登録した構成を変えてM2の問いをもう一度試すことは、「成功するまで構成を変える」系列になりやすい。閉じる場合も、NOT FOUNDの記録として閉じる(効果なしの証明としては閉じない) |
4-1. Candidate Selection / Scoring Hypothesisについて、現在言えること・まだ観測していないこと
- 現在言えること(H-M2-1b §20-4・§21の範囲): Cの最終ビームに正解が入っていたのは1080/1600件、Cの正答は719件。正解がビームにあったのにCが外した361件では、登録した選択の規則(累積log p、同点のときは辞書順)で別の完了した候補が選ばれた。出力の長さで分けると、正解と同じ長さの別の系列263、正解より短い67、長い31。
- 未保存・未集計のこと:
- ビームの全候補のscoreは保存していない。したがって、361件全体での正解の候補と選ばれた候補のscoreの差、および同点のときの辞書順で選択が決まった件数は、未集計・未確定である。
- ただし、A・Bが同じ正解のID列を出した場合など、一部は保存した結果から確認できる。系譜監査(§6)でCodexが事後に確認し、Claudeも再集計した: 361件のうち13件ではAが正解を出しており、そのscore(同じモデル・プロンプト・ID列)とCが選んだ候補のscoreを比べられる。13件すべてでCが選んだ候補のscoreの方が高く、同点は0件(例:
b2_d1_e3_uniform / inst 8 / prompt LB、Aの正解QVNETW −1.372、Cの選択は空の出力 −0.696)。これは監査での事後の確認であり、登録した結果や原因の説明に格上げしない。361件全体への外挿もしない。
- 項の分解: 各ステップの生scoreの直接辺・pair文脈の項と、系列の累積log p(softmaxの後の確率の対数の和)は別物で、後者をそのまま直接辺・pairの加算項に分けることはできない。正解の経路・選ばれた経路の各ステップの項別の記録は保存していない。
- (H-M2-1b §21の「正解の候補とのscoreの差は確認できない」は、全件については正しいが、上の13件のように一部は確認できる。§21は凍結済みなので書き換えず、ここに記録する。)
- したがって、まだ言えないこと: 長さのバイアスだった/確率の較正が悪かった/scoreの規則が原因だった。仮説の名前を「長さ正規化仮説」のように狭めないのはこのためである。
- 注意: ②の事後の集計は、登録した判定(P2 NOT FOUND)を見た後に、Cが外した件数を調べたものである。これを動機に「scoreの規則を変えればCが勝つ」を試すと、M2を成立させるための救済研究になりやすい。立てる場合は、まず保存していない量(全候補のscore・同点の件数・経路の項別の記録)を観測する記述の研究として立てるか、判定の対象と構成を事前に固定した独立の研究として立てる。
4-2. M3を今は保留する理由
- 正本に基づく部分: H-M2-1 §0は「古典でNOT FOUNDならM3へ進む理由は弱くなる。ただし天井・床の診断タグが立った状態でのNOT FOUNDには一律には適用しない」「FOUNDなら、そこで初めてM3を問う意味が出る」としている。H-M2-1は
floor_bothを伴うので、この留保の対象である。H-M2-1bでも登録した改善は検出されず、古典方式のFOUNDを受けてM3を問うという経路には至っていない。これはM3の否定ではない。2回のNOT FOUNDを一括して「M3へ進む根拠が弱い」の根拠にはしない。
- 研究運営上の評価(結果そのものではない): 古典の探索で登録した改善が検出されないまま量子版へ進むことは、「量子の主張を先に置かず、まず古典的な複数仮説と比べる」というv2の方針と逆の順序になる、とClaudeとユーザーは評価した。
5. 手続きについての記録
- H-M2-1bの実際の順序:
V2_CHECKPOINT_1.mdの凍結(commit e53aa89)→ プロトコルv0.1〜v0.4(設計査読2回、FROZEN commit f70eb7e)→ 課題セットの生成と凍結(commit c62a4f1)→ 実装・テスト・実装後査読2回 → commit(9696446)・manifest → 本実行(2026-09-26、hgen2の参照の再現1600/1600)→ 結果の記録(commit 93c41c2)→ Codexの実行後監査(PASS WITH CONCERNS)→ 記述の限定・凍結(commit d442381、2026-09-29)。
- 記述の限定の記録(H-M2-1b §21): 「床ではない」→「登録した床の診断(
floor_both)に該当しなかった」、「改善の余地のある範囲での比較だった」を削除、hashの一致を実行直後に限定、top-kの所属852件は保存した記録の集計と明記、§20-4を「登録した選択の規則(累積log p、同点のときは辞書順)で別の完了した候補が選ばれた」に置き換え。数値・判定は変更なし。
- 逸脱と閲覧の順序: H-M2-1bの「逸脱なし」は実行者の記録であり、閲覧の順序を守ったこと自体は時刻つきの証拠で独立に検証できない(H-M2-1b §21)。
- この文書の数値の出典: H-M2-1は §14、H-GEN-1は §14〜18、H-GEN-2は §16〜17、H-M2-1bは §20〜21、およびそれらを引用した
V2_CHECKPOINT_1.md §1。
6. Codexの系譜監査(2026-09-29)と対応
総合判定: FAIL(草稿の記述上)。数値・登録済みの判定・主要な研究の系譜は一致。不存在への言い換え1件の修正と、証拠・系譜の範囲の限定をすれば凍結してよい、という判断。対象はcommit 6b776a8(Codexは実験の再実行・ファイルの変更をしていない)。
| 指摘 |
判定 |
対応 |
| 1. 数値・判定の引用 |
PASS |
— |
| 2. supports / does NOT support、H-GEN-2のPASSとM2の支持を分ける整理 |
PASS |
— |
| 3. Next-question provenance(運営判断・事後判断の区別、R5・決定表の扱い) |
PASS |
— |
| 6. §5の順序とcommit(git logと祖先関係) |
PASS |
— |
| 7. §4のH-M2-2欄「分離する対象の効果がない」は、未検出から不存在への言い換え |
FAIL |
「登録した改善はまだ検出されていない。機構の分離を次に行うかは未決定である」に置き換えた |
| 4. Scoring Hypothesisの2層の由来は正確。ただし「scoreの差は保存した結果から一切確認できない」は広すぎる(361件のうち13件はAが正解を出していてscoreを比べられる。13件すべてでCの選択の方が高く、同点なし) |
CONCERN |
「未保存・未集計(全件)」と「一部は確認可能」を分けた。13件はClaudeも再集計して一致。監査での事後の確認として記録し、登録した結果・原因に格上げしないと明記。累積log pと各ステップの生scoreの項を区別した |
| 5. §3・§4-2で、H-M2-1 §0の床・天井の留保が落ちている。「方針と逆の順序」は研究運営上の評価 |
CONCERN |
留保を戻し、2回のNOT FOUNDを一括してM3の根拠にしないと明記。運営上の評価であることを明記した |
| H-GEN-2bの由来: 実行前の切り出し(H-GEN-2 §3-4・§9-7)と、結果の凍結後の保留登録(2026-09-26)を分ける。プロトコルが事前登録済みとは読ませない |
補足 |
分けて書き、プロトコルはまだないと明記した |
| 「2回のNOT FOUNDは同じ種類ではない」は記述上の対比としてPASS。「判定は同じだが、観測値と関門の通過状況は異なる」の方が独自の分類の印象を避けられる |
補足 |
置き換えた |
| H-GEN-1の位置の引用の省略(分岐後の共有60・固有19) |
補足 |
併記した(H-GEN-1 §17で確認、終了0も併記) |
| 「既定の構成」はCSEConfigの全項目の既定値ではない |
補足 |
「Primary構成low-cap+pair」に置き換えた |
| 「未見の課題」は同じ生成器・gridの新しい標本 |
補足 |
§3に一文を追加した |
- 数値・判定は変更していない。
- 凍結の手続き: 監査の指摘を反映した後、追加の再監査は実施していない。Checkpoint 1と同様に、指摘への対応の後に凍結した(2026-09-29、ユーザーの判断。Codexの利用枠を次の研究の設計査読に回すため)。