Quel GPU pour fine-tuner un LLM ? Mémoire, machine et coût

Combien de mémoire GPU pour fine-tuner un LLM

Pourquoi un tel écart : en fine-tuning complet, chaque paramètre garde ses gradients et les états de l’optimiseur. En LoRA, le modèle est gelé et seuls de petits adaptateurs s’entraînent ; en QLoRA, le modèle gelé est en plus chargé en 4 bits. Le guide CUDA out of memory explique comment réduire les activations.

Les machines à louer, avec leur disponibilité

Combien coûte un fine-tuning

Par exemple, un LoRA de Llama 3.1 8B qui dure 3 heures sur une RTX A6000 coûte 2,01 $ CA. Pour connaître ta vraie durée, lance une courte passe (quelques centaines de pas) et multiplie.

Démarrer un fine-tuning LoRA

Déploie le modèle PyTorch (CUDA) : PyTorch et CUDA sont prêts dans /opt/pytorch. Installe ensuite les bibliothèques de fine-tuning et charge le modèle avec ses adaptateurs LoRA.

import torch
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM

# Modèle à accès restreint : accepte sa licence sur Hugging Face, puis `huggingface-cli login`
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B", torch_dtype=torch.bfloat16, device_map="auto"
)
model.gradient_checkpointing_enable()
config = LoraConfig(
    r=16, lora_alpha=32, lora_dropout=0.05, task_type="CAUSAL_LM",
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
)
model = get_peft_model(model, config)
model.print_trainable_parameters()

Pour un fine-tuning complet sur plusieurs GPU (par exemple 4 × RTX A6000, 192 Go), répartis les états de l’optimiseur entre les GPU avec FSDP ou DeepSpeed ZeRO. Un fine-tuning complet d’un modèle de 70 milliards de paramètres (environ 1 120 Go avant activations) dépasse un serveur vendu en ligne : réserve des GPU pour en parler.

Servir le modèle affiné

Une fois les adaptateurs fusionnés au modèle, le modèle en un clic vLLM le sert par une API compatible OpenAI, dès 0,67 $ CA/h. Le guide héberger son LLM sur un GPU compare ce coût à une API au jeton.

Ce qu’il faut savoir avant de lancer

• La facturation se fait à l’heure, au tarif horaire du serveur, à partir d’un crédit prépayé. Il n’y a pas de facturation à la minute, et la première heure est prélevée au déploiement.
• Un serveur arrêté reste facturé au plein tarif horaire. Pour payer moins, hiberne-le (0,02 $ par heure (environ 14,60 $ par mois), disque conservé) ou supprime-le. Une machine Spot ne s’hiberne pas : supprime-la quand tu as fini.
• La recharge minimale est de 25,00 $ CA, payée par carte de crédit.
• Les serveurs et leurs disques restent au Canada (région canada-montreal, à Montréal). Les renseignements du compte (identité, facturation, courriels) peuvent être traités hors du Québec, comme l’explique la politique de confidentialité.

Questions fréquentes