Accélération de la génération autorégressive
La génération de langage autorégressive est limitée à la bande passante mémoire : chaque génération de jeton nécessite le chargement de milliards de paramètres de modèle de HBM dans SRAM pour traiter une seule passe avant.
1. Le paradigme de rédaction et de vérification
Le décodage spéculatif associe un projet de modèle léger (par exemple, 1B-3B) à un modèle cible de grande capacité (par exemple, 70B). Le projet de modèle génère de manière spéculative des jetons candidats $K$, que le modèle cible vérifie en parallèle au cours d'une seule passe avant.
2. Critères mathématiques d'acceptation
À l'aide d'un échantillonnage de rejet modifié, les jetons candidats sont acceptés ou rejetés pour garantir que la distribution de sortie reste mathématiquement identique à l'échantillonnage directement à partir du modèle cible.
3. Vérification du projet basée sur l'arborescence (Medusa et EAGLE)
Plutôt que de simples séquences de brouillon linéaires, la vérification basée sur l'arborescence rédige plusieurs candidats de branchement simultanément, ce qui entraîne des taux d'acceptation moyens supérieurs à 80 % et accélère de 2,2 à 3,0 x les API de production.
