Beschleunigung der autoregressiven Generierung
Die autoregressive Sprachgenerierung ist an die Speicherbandbreite gebunden: Jede Token-Generierung erfordert das Laden von Milliarden von Modellparametern vom HBM in den SRAM, um einen einzelnen Vorwärtsdurchlauf zu verarbeiten.
1. Das Entwurfs- und Verifizierungsparadigma
Bei der spekulativen Dekodierung wird ein leichtes Entwurfsmodell (z. B. 1B-3B) mit einem Zielmodell mit hoher Kapazität (z. B. 70B) gepaart. Das Entwurfsmodell generiert spekulativ $K$-Kandidatentoken, die das Zielmodell parallel in einem einzigen Vorwärtsdurchlauf überprüft.
2. Mathematische Akzeptanzkriterien
Mithilfe der modifizierten Ablehnungsstichprobe werden Kandidaten-Token akzeptiert oder abgelehnt, um sicherzustellen, dass die Ausgabeverteilung mathematisch identisch mit der Stichprobe direkt aus dem Zielmodell bleibt.
3. Baumbasierte Entwurfsüberprüfung (Medusa & EAGLE)
Anstelle einfacher linearer Entwurfssequenzen werden bei der baumbasierten Verifizierung mehrere Verzweigungskandidaten gleichzeitig entworfen, was zu durchschnittlichen Akzeptanzraten von über 80 % führt und zu 2,2- bis 3,0-fachen Geschwindigkeitssteigerungen bei Produktions-APIs führt.
