Surmonter le goulot d'étranglement de la mémoire quadratique
L'attention du transformateur standard évolue de manière quadratique ($O(N^2)$) avec la longueur du contexte. Les modèles spatiaux d'états sélectifs (SSM), illustrés par Mamba-2 et State Space Duality (SSD), offrent une mise à l'échelle linéaire ($O(N)$) pour une inférence de contexte ultra-longue.
1. Formulation de la dualité spatiale d’états (SSD)
Mamba-2 unifie les modèles d'espace d'état continu avec des multiplications matricielles structurées, permettant une exécution rapide du tenseur-cœur du GPU identique à FlashAttention tout en conservant la compression d'état en temps continu.
2. Inférence de mémoire constante
Alors que les Transformers accumulent d'énormes empreintes de cache de valeurs-clés (KV) lors de la génération de jetons, les SSM maintiennent une taille d'état caché fixe quelle que soit l'étape de génération, réduisant ainsi considérablement la surcharge de mémoire lors des discussions à plusieurs tours.
3. Architectures hybrides SSM-Attention
Les modèles de production combinent de plus en plus 80 % de couches SSM avec 20 % de couches d'attention standard, capturant le rappel associatif global tout en préservant le débit linéaire sur les requêtes à l'échelle du document.
