Superare il collo di bottiglia della memoria quadratica
L'attenzione del trasformatore standard scala quadraticamente ($O(N^2)$) con la lunghezza del contesto. I modelli Selective State Space (SSM), esemplificati da Mamba-2 e State Space Duality (SSD), offrono un ridimensionamento lineare ($ O (N) $) per l'inferenza del contesto ultra lungo.
1. Formulazione della dualità dello spazio di stato (SSD).
Mamba-2 unifica i modelli di spazio di stato continuo con moltiplicazioni di matrici strutturate, consentendo un'esecuzione veloce del tensor-core della GPU identica a FlashAttention pur mantenendo la compressione dello stato a tempo continuo.
2. Inferenza della memoria costante
Mentre i Transformer accumulano enormi impronte di cache Key-Value (KV) durante la generazione dei token, gli SSM mantengono una dimensione fissa dello stato nascosto indipendentemente dalla fase di generazione, riducendo drasticamente il sovraccarico di memoria durante le chat a più turni.
3. Architetture ibride SSM-Attenzione
I modelli di produzione combinano sempre più l’80% di livelli SSM con il 20% di livelli di attenzione standard, catturando il ricordo associativo globale preservando al contempo il throughput lineare sulle query su scala documentale.
