La generación de modelos de lenguaje autorregresivos está fundamentalmente ligada al ancho de banda de la memoria en lugar de ligada a la computación.
La decodificación especulativa aprovecha un modelo preliminar liviano para generar tokens candidatos en paralelo, que son verificados por el modelo primario en un solo paso hacia adelante.
Debido a que la distribución de probabilidad del modelo objetivo se preserva matemáticamente, la velocidad de generación se multiplica sin ninguna pérdida en la calidad de la producción.
