Accelerazione della generazione autoregressiva
La generazione del linguaggio autoregressivo è limitata dalla larghezza di banda della memoria: ogni generazione di token richiede il caricamento di miliardi di parametri del modello dalla HBM nella SRAM per elaborare un singolo passaggio in avanti.
1. Il paradigma della bozza e della verifica
La decodifica speculativa accoppia un modello di bozza leggero (ad esempio, 1B-3B) con un modello target ad alta capacità (ad esempio, 70B). La bozza del modello genera speculativamente token candidati da $K$, che il modello target verifica in parallelo all'interno di un singolo passaggio in avanti.
2. Criteri di accettazione matematici
Utilizzando il campionamento del rifiuto modificato, i token candidati vengono accettati o rifiutati per garantire che la distribuzione dell'output rimanga matematicamente identica al campionamento direttamente dal modello di destinazione.
3. Verifica della bozza basata sull'albero (Medusa e EAGLE)
Invece di semplici sequenze di bozze lineari, la verifica basata su albero bozza più candidati di ramificazione simultaneamente, portando tassi di accettazione medi superiori all’80% e ottenendo accelerazioni da 2,2x a 3,0x nelle API di produzione.
