二次メモリのボトルネックを克服する
標準の Transformer アテンションは、コンテキストの長さに応じて二次関数 ($O(N^2)$) にスケールされます。 Mamba-2 や状態空間二重性 (SSD) に代表される選択的状態空間モデル (SSM) は、超長時間のコンテキスト推論に線形スケーリング ($O(N)$) を提供します。
1. 状態空間二重性 (SSD) の定式化
Mamba-2 は、連続状態空間モデルを構造化行列乗算と統合し、連続時間状態圧縮を維持しながら、FlashAttendant と同等の高速 GPU テンソルコア実行を可能にします。
2. 定数メモリ推論
Transformer はトークン生成中に大量の Key-Value (KV) キャッシュ フットプリントを蓄積しますが、SSM は生成ステップに関係なく固定の隠し状態サイズを維持するため、マルチターン チャット中のメモリ オーバーヘッドが大幅に削減されます。
3. ハイブリッド SSM アテンション アーキテクチャ
実稼働モデルでは、80% の SSM レイヤーと 20% の標準アテンション レイヤーを組み合わせることにより、ドキュメント スケールのクエリで線形のスループットを維持しながら、グローバルな連想再現をキャプチャすることが増えています。
