La messa a punto completa dei parametri di modelli di base multimiliardari richiede un'infrastruttura GPU di livello cluster e un immenso sovraccarico di memoria.
L'adattamento di basso rango (LoRA) congela i pesi del modello originale e inietta matrici di decomposizione dei ranghi addestrabili negli strati di autoattenzione del trasformatore.
Quantized LoRA (QLoRA) introduce la precisione NormalFloat a 4 bit e la doppia quantizzazione, rendendo possibile la regolazione fine dei modelli 70B su hardware a nodo singolo.
