リアルタイム LLM 提供のための投機的デコードの最適化

自己回帰生成の加速

自己回帰言語生成はメモリ帯域幅の制約を受けます。各トークン生成では、単一のフォワード パスを処理するために、HBM から SRAM に数十億のモデル パラメータをロードする必要があります。

1. 草案と検証のパラダイム

投機的デコードでは、軽量のドラフト モデル (例: 1B-3B) と大容量のターゲット モデル (例: 70B) がペアになります。ドラフト モデルは投機的に $K$ 候補トークンを生成し、ターゲット モデルは単一のフォワード パス内で並行して検証します。

2. 数学的合格基準

修正拒否サンプリングを使用すると、候補トークンが受け入れられるか拒否され、出力分布がターゲット モデルから直接サンプリングした場合と数学的に同一のままであることが保証されます。

3. ツリーベースのドラフト検証 (Medusa およ​​び EAGLE)

単純な線形ドラフト シーケンスではなく、ツリーベースの検証により複数の分岐候補が同時にドラフトされ、平均受け入れ率が 80% を超え、運用 API で 2.2 倍から 3.0 倍のスピードアップが実現します。