Acelerando la generación autorregresiva
La generación de lenguaje autorregresivo está limitada al ancho de banda de la memoria: cada generación de token requiere cargar miles de millones de parámetros del modelo desde HBM a SRAM para procesar un único paso hacia adelante.
1. El paradigma de redacción y verificación
La decodificación especulativa combina un modelo borrador liviano (por ejemplo, 1B-3B) con un modelo objetivo de alta capacidad (por ejemplo, 70B). El modelo borrador genera especulativamente $K$ tokens candidatos, que el modelo objetivo verifica en paralelo dentro de un único paso hacia adelante.
2. Criterios de aceptación matemática
Mediante el muestreo de rechazo modificado, los tokens candidatos se aceptan o rechazan para garantizar que la distribución de salida siga siendo matemáticamente idéntica al muestreo directo del modelo objetivo.
3. Verificación de borrador basada en árboles (Medusa y EAGLE)
En lugar de simples secuencias de borrador lineales, la verificación basada en árboles redacta múltiples candidatos de ramificación simultáneamente, lo que genera tasas de aceptación promedio superiores al 80 % y produce aceleraciones de 2,2 a 3,0 veces en las API de producción.
