La generazione del modello linguistico autoregressivo è fondamentalmente legata alla larghezza di banda della memoria piuttosto che al calcolo.
La decodifica speculativa sfrutta un modello di bozza leggero per generare token candidati in parallelo, che vengono verificati dal modello primario in un unico passaggio in avanti.
Poiché la distribuzione di probabilità del modello target viene preservata matematicamente, la velocità di generazione si moltiplica senza alcuna perdita di qualità dell’output.
