Le réglage complet des paramètres de modèles de base de plusieurs milliards de paramètres nécessite une infrastructure GPU de niveau cluster et une immense surcharge de mémoire.
L'adaptation de bas rang (LoRA) gèle les pondérations du modèle d'origine et injecte des matrices de décomposition de rang entraînables dans les couches d'auto-attention du transformateur.
Quantized LoRA (QLoRA) introduit une précision NormalFloat 4 bits et une double quantification, permettant un réglage fin des modèles 70B sur du matériel à nœud unique.
