Superar el cuello de botella de la memoria cuadrática
La atención del transformador estándar escala cuadráticamente ($O(N^2)$) con la longitud del contexto. Los modelos de espacio de estados selectivos (SSM), ejemplificados por Mamba-2 y la dualidad del espacio de estados (SSD), ofrecen escala lineal ($O(N)$) para inferencia de contexto ultralarga.
1. Formulación de la dualidad del espacio de estados (SSD)
Mamba-2 unifica modelos de espacio de estado continuo con multiplicaciones de matrices estructuradas, lo que permite una ejecución rápida de núcleo tensor de GPU idéntica a FlashAttention al tiempo que conserva la compresión de estado de tiempo continuo.
2. Inferencia de memoria constante
Mientras que los Transformers acumulan huellas masivas de caché de valor clave (KV) durante la generación de tokens, los SSM mantienen un tamaño de estado oculto fijo independientemente del paso de generación, lo que reduce drásticamente la sobrecarga de memoria durante los chats de varios turnos.
3. Arquitecturas híbridas de atención SSM
Los modelos de producción combinan cada vez más un 80 % de capas SSM con un 20 % de capas de atención estándar, capturando la recuperación asociativa global y preservando al mismo tiempo el rendimiento lineal en consultas a escala de documentos.
