Überwindung des quadratischen Speicherengpasses
Die Standard-Transformer-Aufmerksamkeit skaliert quadratisch ($O(N^2)$) mit der Kontextlänge. Selektive Zustandsraummodelle (SSMs), beispielhaft dargestellt durch Mamba-2 und State Space Duality (SSD), bieten lineare Skalierung ($O(N)$) für ultralange Kontextinferenz.
1. State Space Duality (SSD)-Formulierung
Mamba-2 vereint kontinuierliche Zustandsraummodelle mit strukturierten Matrixmultiplikationen und ermöglicht so eine schnelle GPU-Tensor-Core-Ausführung, die mit FlashAttention identisch ist, während gleichzeitig die zeitkontinuierliche Zustandskomprimierung erhalten bleibt.
2. Konstante Gedächtnisinferenz
Während Transformer während der Token-Generierung enorme Key-Value (KV)-Cache-Footprints ansammeln, behalten SSMs unabhängig vom Generierungsschritt eine feste Größe des verborgenen Zustands bei, wodurch der Speicheraufwand bei Multi-Turn-Chats drastisch reduziert wird.
3. Hybride SSM-Aufmerksamkeitsarchitekturen
Produktionsmodelle kombinieren zunehmend 80 % SSM-Schichten mit 20 % Standard-Aufmerksamkeitsschichten und erfassen so den globalen assoziativen Rückruf und bewahren gleichzeitig den linearen Durchsatz bei Abfragen im Dokumentmaßstab.
