Phase10 チェックポイント — LLMの横に置いたら何になるか(Q91-100)【100問チャレンジ最終Phase】

作成: 2026-09-22(Q91〜Q100完走時点、100問チャレンジ完走)。状態: ACCEPT / FROZEN(2026-09-22、査読2で固定)。以後、本文は書き換えず、新しい証拠(H-U7x-1追試・LLM validation addendum・embedding retrieval・実対話での再検証など)は100問終了後の追加研究として、本文とは別に扱う。

改訂履歴(査読1、ACCEPT WITH REVISION): 必須5点を反映した。①Q93の比較対象の名称を限定: Final Verdictの「lexical retrieval baseline」を「lexical write-time proxy」に修正し、query条件付き検索(Q94-B)での大敗と混同されないようにした(§4)。②Q98の「完全に回避」「アーキテクチャ上の解決策」を弱化: 「今回評価したK≤8の条件で、専用インスタンスへの分割により単一共有インスタンスで観測された性能劣化を観測しなかった(operational workaround、容量限界そのものの解決ではない)」に修正(§3 Evidence Map・§4 Final Verdict・§9 Failure Modes)。③Q100の「最も強くFOUND」を「FOUND — Phase6〜10で最も一貫して再現された性質」に変更(新しい評価軸(ランキング)ではなく証拠の反復性についての記述にする、§4.2)。④Q97 Capability Matrixの「N=10,000まで実測+外挿」を「N=5,000まで実測、N=10,000は外挿」に訂正(§8、実際の実測範囲と外挿範囲を正確に区別)。⑤Q98 Mistake Ledgerの「正しい結果」を「protocol-consistent rerun(既存Q69条件に復元した再実行結果)」に変更(§10、epochs=50の結果も「間違い」ではなく設計ミスによる無効runであり、CSEの性質の発見ではないことを明確化)。推奨反映: Predictions Scorecardの総括(§7)を「私の直感が楽観的だった」という一般化から、外れの種類(性能・削減率・baseline性能・資源量)を具体的に述べる書き方に変更し、Phase8/9との定量比較は行わないことにした。

固定記録(査読2): 査読1の必須5点が意図どおり反映されていると確認され、ACCEPT / FROZEN。確認された境界: (1)Q93は「write-time, query-independent history compression FOUND / read-time, query-conditioned retrieval NOT FOUND」が明示的に分離され、比較対象もlexical write-time proxyまで限定されており、「CSEがRAG検索でTF-IDFに勝った」という誤読はできない。(2)Q98は「今回評価したK≤8では性能劣化を観測しなかった(operational workaround、capacity limitそのものの解決ではない、因果未解明、K>8未検証)」まで一貫して制限され、Frozen Boundaryにも同じ制限が入っている(将来「Q98でcapacity問題解決済み」に化けることを防止)。H-U7x-1はSEALED / UNTESTED / CORRELATIONAL ONLYのまま。(3)Q100は「他候補より優れている」という新しい採点ではなく証拠の反復性についての記述になっている(核=Local Structural Anomaly Detector、条件付き性質=Sequence Memory/Temporal State、狭い実証済み応用=query-independent LLM History Selector)。(4)Q97(5,000実測/10,000外挿)・Q98(50 epochsをprotocol implementation errorによるinvalid run→既存Q69条件5 epochsへ復元→protocol-consistent rerunと明記、元runも隠していない)の訂正は妥当。(5)Q96(U表現Δp=0は論理的必然、S表現も実用閾値では区別不能という境界)・Q99(2件のみ、無理に3件目を生やさない)は変更不要のまま妥当。(6)Predictions総括は心理評価ではなくNumerical predictionごとの外れの記録になっている。

Phase6〜9チェックポイント、PHASE8/9_PROTOCOL.md・PHASE10_PROTOCOL.mdは書き換えない。それらの結論へのPhase10からの追加・修正は「6. Superseded / Revised Claims」に記録した。

CSE 100 Challenge — Q1〜Q100 COMPLETE(2026-09-22)

Phase1〜10・全10チェックポイント(PHASE1〜4はPHASE4_CHECKPOINT.mdに統合、PHASE6〜10は個別)がすべてFROZEN。100問チャレンジ完走。以後、この文書とPhase1〜9の各チェックポイントの本文は書き換えず、H-U7x-1容量掃引・実LLM validation addendum・embedding retrieval・実対話での再検証は、すべて100 Challenge後の追加研究として本文とは別に扱う。 エンジン本体(chain_spike_phase0.py)はPhase10を通じて無変更(SHA256 66b3e7fe319f8ce0…、設定とインスタンス操作のみ)。pair_context_capacity(=64)もこのチェックポイントの固定まで変更しない(H-U7x-1は封印中、100問終了後の最優先追試)。

土台: PHASE9_CHECKPOINT.md(FROZEN)まで。PHASE10_PROTOCOL.md(ACCEPT / FROZEN、査読3で固定、2026-09-22)。それらの文書は書き換えず、Phase10からの追加・修正は本チェックポイントの「6. Superseded / Revised」に記録する。

確度の凡例: High=事前登録した予測または比較優位judgmentで統制して検証済み / Medium=単一の合成タスク・探索的な設定 / Low=状況証拠・未検証の一般化。全て合成の対話コーパス(語彙14〜20記号、対話長8〜70ターン)・小型ベースライン(Lexical=TF-IDF文字1-2gram)での試験。実対話・実LLM・embedding検索・実機への一般化は未検証。

1. Phase10 Question

「LLMの横に置いたらCSEは何になるか」。Phase9(「軽量常駐エンジンとして成立するか」)に続き、CSEをLLMの補助として使う具体的な役割(重要履歴選別・トークン削減・回答品質・RAG検索器・Vector DBとの違い・会話状態監視・per-user状態・並列化)を検証し、最後にQ99(3候補への絞り込み)・Q100(100問全体の最終判定)で締める。

2. Configuration / Protocol

• Primary=方式B(合成タスクの情報十分性、オフライン・無料・決定論的)。方式A(実LLM API)・方式C(セッション自身がLLM judge)はLLM validation addendumとしてQ100・本チェックポイント作成の後に実施を検討する(本Phaseでは未実施)。
• Family A(Novelty-aligned)/Family B(Novelty-decoupled): Q91〜93はこの2群で必ず実施(CSEが「重要」を選ぶのか単に「新規」を選ぶのかを分離)。
• 判定区分: CHARACTERIZED(Q91・92・95・96・97・98)/ 比較優位(Q93・94-B)/ 記述のみ(Q94-A)/ 合成・新規実験なし(Q99・Q100)。
• Lexical Vector Retrieval Baseline(TF-IDF文字1-2gram、埋め込みAPI不要)がQ94-B・Q95・Q93で共通の比較対象。embedding検索・Vector DB本体への一般化はしない。
• 実行順: 91→92→94-A→94-B→95→96→97→98→93→99→100(Q93は事前登録済みの評価条件を保ったまま実行だけ後回し)。

3. Evidence Map(Q91〜Q100)

4. Final Verdict

Phase10 found, for the first time across all 100 questions, a preregistered comparative advantage for CSE (Q93: information sufficiency of CSE's threshold-based history selection over the preregistered recency baseline and lexical write-time proxy). This advantage is narrow and specific — write-time, query-independent history compression FOUND; read-time, query-conditioned retrieval NOT FOUND (Q94-B, where CSE loses consistently to the same lexical baseline) — and it holds primarily where importance and structural novelty are aligned, CSE's own established core property throughout all 10 phases. Where they diverge (Q91's Family B), CSE misses a measurable fraction of important-but-common information; where the task requires semantic (not merely structural) contradiction detection (Q96), CSE has no mechanism and cannot be distinguished from noise at a practical threshold. Combined with the extremely lightweight per-instance resource profile (Q97) and the finding that, for the tested K≤8 conditions, per-topic/per-user sharding did not reproduce the interference and degradation observed in a single shared instance (Q98 — an operational workaround, not a resolution of the underlying capacity limit), Phase10 identifies two concrete, defensible roles for CSE — an LLM history selector and a per-user/per-topic state engine — out of the seven candidates evaluated. This does not overturn Phase8's or Phase9's verdicts (no comparative advantage was found there either); it adds one place where the separation between demonstrated capability and demonstrated comparative advantage, maintained since Q80, finally closes.

4.1 Q99の最終候補(2件、3件への強制絞り込みはしない)

4.2 Q100の最終判定(元資料の選択肢への当てはめ)

5. Preserved / Extended Findings from Phase9(および全Phase)

6. Superseded / Revised Claims

Phase6-9チェックポイント、PHASE8/9_PROTOCOL.md・PHASE10_PROTOCOL.mdは書き換えない。

7. Predictions Scorecard(P10-1〜P10-8)

総括: 8件中、方向は全て的中(24/24のDirectional項目が○)。Numericalは8件中3件(P10-4・P10-5・P10-8)が完全的中、5件(P10-1・2・3・6・7)は一部が外れた。Phase10のNumerical予測では、5件の不一致の多くが、性能(Family B全体recall)・削減率(長い対話での上限)・baseline性能(Lexical R@1)・資源量(RSS増分)・崩壊の大きさ(K=8の単一インスタンス)といった定量幅を、楽観側に見積もったものだった。Directional予測24項目は全て一致した。他Phaseとの定量比較(Phase8/9のscorecardとの一致率の比較)は行っていない。

8. Capability / Role Matrix(Q91〜98の要約)

9. Failure Modes(Phase10時点)

10. Mistake & Correction Ledger

共通の教訓: (1)スモークテストは理論値・既知の性質との照合に有効(Q91・Q94-B・Q96はいずれもスモークで発見)。(2)既存の記録(他のdayスクリプトのdocstring)を新しい実験のパラメータ選択に使う前に、必ず読み直す(Q98の教訓、既に自分自身が書いた記録を見落とした)。(3)RSS等の小さい増分を測るときは、測定ノイズ(アロケータの挙動)を考慮し、cumulativeでなくmarginalで見る(Q97)。(4)日本語・CJKのようなトークナイザ前提が異なるテキストを扱うときは、ライブラリの既定動作を検証してから使う(Q94-B)。

11. Open Questions(100問終了後)

1. H-U7x-1(pair-context capacity saturation): SEALED / UNTESTED / CORRELATIONAL ONLYのまま。100問終了後の最優先追試(容量32/64/128/256/512の掃引でrecallとコストの両方を見る)。Q98の分割設計はこの限界の運用上の回避策であり、因果の解明ではない。
2. Q93のLLM validation addendum: 方式A(実LLM API)または方式C(セッション自身がLLM judge)による実際の回答品質検証。プロトコル§1により、このチェックポイントの固定後に実施を検討する(実施する場合は予算・プロンプト形式を事前登録する)。
3. Q98の「複数トピック干渉」と「容量限界」の分離: 未分離のまま(限界として明記済み)。
4. Q96のS表現のΔpが小さい理由: 機構未検証。
5. Q94-Bのcse_only象限がFamily Aで増える理由: 未検証の仮説(短い対話での字面不一致)のまま。
6. 実対話・実LLM・embedding検索への一般化: Phase10全体が合成コーパス・Lexical検索の範囲。実データでの再検証は100問終了後の課題として残る。

12. Frozen Interpretation Boundary(固定後の運用、査読で確認をお願いする前提)

• 固定後、本文は書き換えない。以後の証拠(H-U7x-1追試・LLM validation addendumを含む)はsuperseded / revisedとして追記する。
• Q93の比較優位は方式B(情報十分性)の範囲に限定する。「LLMが実際に正しく回答できる」という主張はaddendum実施まで書かない。
• Q95・Q94-Bの結論はLexical(TF-IDF文字1-2gram)に対するものに限定し、semantic embedding検索・Vector DB本体への一般化はしない。
• Q96で「CSEが意味矛盾を理解した」とは書かない(trust boundary、上流表現への依存)。
• Q99の2候補(3候補ではない)を、無理に3件に揃えない。事前登録した閾値・tie-break規則の結果としてそのまま扱う。
• Q100の最終判定は単一のラベルに矮小化しない(「Anomaly Detector」を核としつつ、Phase10で見つかった具体的応用(LLM History Selector)を併記する)。「最も一貫して再現された性質」という反復性の記述と、新しい優劣のランキングを混同しない。
• Q98の分割設計は「今回評価したK≤8で性能劣化を観測しなかった」という運用上の回避策(operational workaround)であり、H-U7x-1の容量限界の因果を解明したわけではない。「完全に回避」「解決した」とは書かない。
• エンジンとpair_context_capacity(=64)は、このチェックポイントの固定後も変更しない(H-U7x-1の掃引は100問終了後、ユーザー判断で実施タイミングを決める)。

付録: 査読1で確定した事項と、再確認をお願いする点

確定(査読1、ACCEPT WITH REVISION): (1)Q93はwrite-time selection(FOUND)とread-time query retrieval(NOT FOUND, Q94-B)を明示的に対比する書き方に統一、比較対象は「lexical write-time proxy」と明記(2)Q98は「完全に回避/解決」ではなく「今回評価したK≤8で性能劣化を観測しなかった(operational workaround)」に統一(3)Q100の「Anomaly Detector」評価は反復性の記述であり優劣ランキングではないと明記(4)Q97 Capability Matrixの実測/外挿の境界をN=5,000/10,000に訂正(5)Q98 Mistake Ledgerの「正しい結果」を「protocol-consistent rerun」に変更。推奨反映: Predictions Scorecard総括を外れの種類を具体的に述べる書き方に変更。

再確認をお願いする点(文面のみ): ①上記(1)〜(5)の反映が意図どおりか(特に§4 Final Verdict英語文・§3 Evidence Map Q98行・§8 Capability Matrix)。②Q96のTask2(U/S表現)の「言えないこと」の書き方が、trust boundary問題を過不足なく説明しているか(変更なし、査読1で問題なしと確認)。③Q99の2候補(3候補ではない)の扱いが妥当か(変更なし、査読1で問題なしと確認)。