Claude(クロード) 管理人

【2026年最新】Claude Mythosのアーキテクチャを完全解説 | 噂のループ型トランスフォーマーをPyTorchで動かす方法




Sponsored Link

【2026年最新】Claude Mythosのアーキテクチャを完全解説 | 噂のループ型トランスフォーマーをPyTorchで動かす方法

　「Claude Mythos」── 2026年4月にAnthropicが発表したこのモデルは、SWE-bench 93.9%、USAMO 97.6%という、これまでのClaude Opus 4.6を圧倒する数字でAI業界を一夜にして震撼させました。コードネームは「Capybara」。一般公開はされず、Project Glasswingという招待制プログラムを通じて一部のセキュリティ機関にのみ提供される、いわば「触れないフロンティアモデル」です。

そして当然、世界中のエンジニアと研究者が同じ疑問を持っています。

「Claude Mythosの中身は、いったいどうなっているのか?」

　本記事では、現在のリサーチコミュニティで最も有力視されている「ループ型トランスフォーマー(Recurrent-Depth Transformer)仮説」を軸に、Claude Mythosのアーキテクチャを徹底解説します。さらに、この仮説を実際に動くコードとして検証できるオープンソース実装もあわせて紹介します。論文を読むだけでは絶対にたどり着けない理解が得られるはずです。

 

 

なぜいまClaude Mythosのアーキテクチャが話題なのか？

　まず、現時点でAnthropicから公式に出ている情報を整理しておきましょう。

  • リリース日:2026年4月8日(Mythos Preview)
  • アクセス方法:Project Glasswing経由の制限付きプレビューのみ
  • コンテキスト長:1Mトークン、最大出力128Kトークン
  • ベンチマーク:SWE-bench 93.9%、USAMO 97.6%
  • 知識カットオフ:2025年12月
  • 特徴:汎用モデルでありながら、サイバーセキュリティ領域で「桁違いの能力」を発揮

　問題は、Anthropicがアーキテクチャの技術詳細をほとんど開示していない点です。244ページに及ぶシステムカードは安全性評価が中心で、内部構造にはほとんど触れられていません。Project Glasswingの参加企業ですらモデル自体はAPI越しにしか触れず、重みやアーキテクチャ定義に直接アクセスできるのは社内チームに限られます。

　それでも研究者たちは、Mythosが従来モデルと「質的に異なる」挙動を示すことに気付いています。たとえば、明示的なChain-of-Thoughtを出力していないのに、明らかに多段階の推論を内部で行っているように見える。新規の合成問題に対する汎化能力が一段違う。同じパラメータ数では説明できない深さの思考が観察される。サイバーセキュリティタスクでは、過去20年以上人間のレビューと自動解析を生き延びてきた脆弱性を次々に発見する ── これらすべてを統一的に説明できる仮説として、Recurrent-Depth Transformer(RDT) が急速に支持を集めているのです。

　Anthropic自身も公式情報で、Mythosの能力について「OpusからMythosへのジャンプは、これまでのモデル世代間の差を大きく超える」と表現しています。世代差ではなく、新しい階層(tier)が出現したという認識です。これが単なるスケールアップ(パラメータ数の増加)だけでは説明しにくいことから、「アーキテクチャ自体に何か根本的な変化があったはずだ」という推測が世界中の研究者の間で広がっています。

 

 

業界の主流仮説:Recurrent-Depth Transformer(RDT)とは？

　ループ型トランスフォーマー(Looped Transformer、略してLT)、別名Recurrent-Depth Transformerは、その名のとおり「同じレイヤーを何度もループさせる」アーキテクチャです。

　通常のトランスフォーマーは、たとえば100層あるなら100種類の異なるパラメータを順番に通します。一方ループ型は、たとえば10層を10回ループさせることで、計算量としては100層相当の「深さ」を実現します。パラメータ数は10層分のままで。これだけ聞くと「ただのパラメータ削減テクニック」に思えますが、実際に起こることはもっと興味深いものです。

 

 

1. 推論時に「考える時間」を伸ばせる

　ループ回数は推論時に変更できます。簡単な問いには4ループ、難しい問いには32ループ ── という具合に、入力ごとに思考の深さを動的に調整できる。これは、Chain-of-Thoughtのようにトークンを出力しながら推論するのとは決定的に違います。すべての推論が、1回のフォワードパス内、潜在空間の中で完結するのです。

 

 

2. 系統的汎化(systematic generalization)が起きる

　通常のトランスフォーマーは、訓練時に見たことのない概念の組み合わせに弱いことが知られています。「Aを知っていて、Bも知っているのに、A+Bは解けない」現象です。ところがループ型では、訓練の途中である瞬間、突如としてこの組み合わせ能力が「相転移的に」獲得されることが観察されています(grokkingに近い現象です)。

　Mythosが新規の複雑な問いに対して質的に異なる挙動を見せる ── これがこの仮説で説明されると考えられている、最大の根拠です。

 

 

3. 深さを外挿できる

　5ホップの推論で訓練したモデルに10ホップを解かせる ── 通常のトランスフォーマーは失敗しますが、ループ型は「推論時にループ回数を増やすだけ」で成功します。Mythosが訓練時には見ていないはずの多段論証や長期計画でも崩れない理由が、ここに見えてきます。

 

 

RDTのコア構造:Prelude / Recurrent / Codaの3段構成

ループ型トランスフォーマーは、ネットワークを3つの機能ブロックに分けます。

入力
  ↓
[Prelude]        ← 通常のトランスフォーマー層、1回だけ通る
  ↓
[Recurrent]      ← ここをT回ループ
  ↑_____↓        (入力情報eを毎ループ注入)
  ↓
[Coda]           ← 通常のトランスフォーマー層、1回だけ通る
  ↓
出力

ループブロックの更新式は次のように書けます。

h_{t+1} = A·h_t + B·e + Transformer(h_t, e)

ここでh_tはt回目のループ後の隠れ状態、eはPreludeで符号化された入力、AとBは学習される注入パラメータです。

ポイントは 「毎ループ、元の入力eを再注入する」 という設計です。これを忘れると隠れ状態がドリフトして崩壊するのですが、入力信号を常に生かしておくことで、深い再帰でも文脈を見失わない。

そして、この理論を真に理解するために必要なのは、論文を読むことではなく、コードを読むこと、できれば自分のマシンで動かしてみることです。

 

 

自分のマシンでClaude Mythosのアーキテクチャを動かしてみる

　ここまで読んで「概念はわかった、で結局どう動くんだ?」と感じている方は、現時点で最良の選択肢が一つあります。

　Kye Gomez氏が公開している OpenMythos(GitHub: kyegomez/OpenMythos) は、本記事で説明したClaude Mythosのアーキテクチャ仮説 ── Prelude/Recurrent/Coda の3段構成、LTI制約付きの安定化注入、MLA/GQAの切り替え、ファイングレインドMoE、ACTハルティング ── これらすべてを動くPyTorchコードとして再構築した、コミュニティ主導のオープンソース実装です。

　インストールはpipで一発です。

pip install open-mythos

　そして、1Bから1Tパラメータまで7種類のプリセット構成が用意されているので、手元のGPUに合わせて選ぶだけ。3BモデルならFineWeb-Eduでの訓練スクリプトまで付属しています。

from open_mythos import mythos_3b, OpenMythos

cfg = mythos_3b()
model = OpenMythos(cfg)

　Anthropicの公式実装ではない点(リポジトリ自身も「理論的再構築であり、Anthropic公式とは一切無関係」と明記しています)には注意が必要ですが、「Mythosのアーキテクチャがなぜ強いのか」を、推測ベースの記事を100本読むより、コードを30分読むほうがはるかに深く理解できます。研究目的、教育目的、自分のモデルへの応用 ── どの用途でも、現時点でこれより役立つリソースは見当たりません。

　公式情報が出てこない以上、コミュニティ再構築版を読むのが事実上の最短経路 ── これが、世界中の研究者がOpenMythosのリポジトリに集まっている理由です。

 

 

Mixture of Experts ── 「深さ」だけでなく「広さ」を生む仕組み

　ループ型トランスフォーマーは「思考の深さ」を説明できますが、「扱える領域の広さ」── コード、数学、文学、科学、法律をすべて同じモデルでこなす能力 ── は説明しません。これを担うのが、Recurrent BlockのFFN層を置き換えるファイングレインドMixture of Experts(MoE)です。

　設計は次のようになっていると推測されます。

  • 各FFNを通常の1/mサイズの小さなエキスパートに分割する
  • ルーターが学習された親和性スコアにもとづいて、トークンごとにトップmKエキスパートを選択する
  • 加えて、ルーティングに関係なく**常に発火する「共有エキスパート」**を少数置く
  • 共有エキスパートが、構文や基礎推論のような領域横断的な共通知識を担う

　ここで興味深いのは、ループの各イテレーションでh_tが変化していくため、ルーターが毎ループ異なるエキスパート群を選ぶ可能性があることです。同じ重みを共有しているのに、ループ深度ごとに事実上「異なる計算」が走る。深さ(ループ)と広さ(MoE)がここで掛け算的に効きます。

　仮にアクティブ比率が約5%だとすると、Mythosは「総パラメータ数は数千億、しかしトークンごとの計算負荷はその20分の1」というプロファイルになります。Anthropicが総パラメータ数を開示したとしても、それはストレージの数字であって、計算の数字ではないわけです。

 

 

「考えすぎ」を防ぐ ── ACTハルティングの重要性

　ループ型モデルには、見落とされがちな弱点があります。ループ回数を増やしすぎると、逆に予測精度が落ちるのです。隠れ状態が解の周辺を行き過ぎ、ノイズの領域にドリフトしてしまう。いわゆる「考えすぎ(overthinking)」の問題です。

　この問題に対する古典的な解決策が、Universal Transformer(Dehghani et al., 2018)で提案されたAdaptive Computation Time(ACT)です。位置ごとに学習された小さなスカラーが、「もう十分思考した、ここで停止する」という判断を動的に行います。難しいトークンには多くの計算を、簡単なトークンには少ない計算を ── という自然な配分が実現されます。

　Mythosもほぼ確実にこの種の停止メカニズムを持っていると考えられています。1Mトークンの長大なコンテキストを扱いながらも応答速度が極端には落ちない事実は、「全トークンに最大ループ数を適用する」のではなく「必要な部分にだけ深く考える」設計の存在を示唆しています。

　加えて、ACTメカニズムを持つループ型モデルは一定の条件下でチューリング完全になることも理論的に示されており、これは「原理的には任意のアルゴリズムを学習可能」という強い性質を意味します。Mythosが複雑な多段アルゴリズム的タスク(暗号解析、シンボリック数学、長期計画)で異質な強さを見せる背景には、この理論的基盤があるかもしれません。

 

 

学習を安定化させる「スペクトル半径 < 1」の制約

　ループ型モデルには、長年知られた致命的な弱点があります。訓練が崩壊しやすいのです。

　具体的には、隠れ状態h_tがループを繰り返すうちに発散したり、注入パラメータのスペクトルノルムが大きくなって損失が突如スパイクしたりします。これがゆえに「理論的には魅力的だが実用にならない」と長らく言われてきました。2026年に発表された Parcae アーキテクチャ(Prairie et al.)は、これを線形時不変(LTI)系として再解釈することで決着をつけたとされます。

h_{t+1} = A·h_t + B·e   (非線形項を無視した近似)

この線形系の安定性は、行列Aのスペクトル半径ρ(A)だけで決まります。

  • ρ(A) < 1 → 安定、収束
  • ρ(A) ≥ 1 → 不安定、発散

　経験的にも、訓練が崩壊するすべての実行で ρ(A) ≥ 1 となり、成功するすべての実行で ρ(A) < 1 が保たれていました。そこで、Aを「連続な負の対角行列を離散化したもの」としてパラメータ化し、A := Diag(-exp(log_A)) という形に制約してしまう。これだけで、ハイパーパラメータや乱数シードに依らず、構造的に ρ(A) < 1 が保証された訓練が可能になります。

　Mythosが安定して訓練できた背景には、ほぼ確実にこのクラスの制約手法があると見られています。

 

 

なぜこの仮説がMythosの能力を説明できるのか？

　ここまでの要素を統合すると、Mythosの観察される挙動の多くが説明可能になります。

Mythosで観察される現象 アーキテクチャ仮説による説明
Chain-of-Thoughtなしで多段推論できる ループ内の潜在空間で暗黙のCoTを実行している
新規合成問題に強い 系統的汎化が訓練中の相転移として獲得されている
訓練時より深い推論ができる 推論時にループ数を増やせる(深さ外挿)
異なる領域を1モデルで扱える MoEで「広さ」を確保している
同パラメータ数のOpusより遥かに強い 計算がループ深度にスケールし、パラメータには依らない
安定して訓練できた LTI制約による構造的安定化

　さらに、ループ深度ごとに振る舞いを変えるために**ループインデックスの位置埋め込み(RoPE風)**を入れる、深さごとにLoRAアダプタで微調整する、Adaptive Computation Time(ACT)で「考えすぎ」を防ぐ ── これらの細部もMythosに組み込まれている可能性が高いとされます。

 

 

より深く理解したい人のための次の一歩

　ここまでの内容を読んで「もう一段深く理解したい」と思った方には、明確な進路があります。

  1. まずOpenMythosのREADMEを通読する(全アーキテクチャの要点が論文リンク付きで整理されています)
  2. pip install open-mythos でインストールし、まずは小さい構成(mythos_1b)で forward と generate を回してみる
  3. open_mythos/main.py を読む ── 200行程度で Prelude / Recurrent / Coda の構造が見えてきます
  4. スペクトル半径 ρ(A) を実際に計算してみる(READMEに2行のコード例があります)
  5. 興味があれば3Bモデルの訓練スクリプトを覗いてみる(FineWeb-Eduで30Bトークン)

　論文ベースで理論を追うのも当然価値がありますが、「読みながら動かせる」というのは、再帰アーキテクチャのように直感に反する設計を理解するうえで決定的なアドバンテージになります。

 

 

まとめ

　Claude MythosはAnthropicが2026年4月に公開した、コードネーム「Capybara」のフロンティアモデルです。技術詳細は伏せられているものの、コミュニティの研究と理論的考察から、その正体は Recurrent-Depth Transformer(ループ型トランスフォーマー)+ ファイングレインドMoE + MLA/GQA + LTI制約付き安定化注入 + ACTハルティング という構成である可能性がきわめて高いと考えられています。

　この仮説の最大の魅力は、「同じパラメータ数では到達不可能な深さの推論」「新規問題への質的に異なる汎化」「推論時に思考の深さを可変できる」といったMythosの異質な挙動を、単一の理論で説明できる点にあります。

　そして、この理論を「読むだけ」で終わらせず実際に手元で検証するには、現時点では OpenMythos リポジトリ が事実上の標準的な参照実装です。MITライセンスで完全にオープン、1Bから1Tまでスケーリング対応、訓練スクリプトも同梱 ── 研究目的でも、学習目的でも、自分のプロジェクトへの応用目的でも、まず最初に開くべきリソースです。

Mythosの公式実装が公開される日は、おそらくしばらく来ません。それまでの間、世界中の研究者がこのリポジトリを読んでいる理由を、ぜひご自身の目で確かめてみてください。

→ https://github.com/kyegomez/OpenMythos




RECOMMENDこちらの記事も人気です。