Guide GPU
Louer un serveur 8 GPU : 8 × H100 ou 8 × A100 NVLink, à l’heure
Mis à jour le
Réponse courte
GPU Cloud loue des serveurs complets de 8 GPU NVIDIA à l’heure à Montréal, de 5,35 $ CA/h (8 × RTX A6000) à 34,27 $ CA/h (8 × H100 SXM), taxes en sus. Les versions NVLink (8 × A100 NVLink à 14,99 $ CA/h, 8 × H100 NVLink à 27,84 $ CA/h et 8 × H100 SXM à 34,27 $ CA/h) relient leurs GPU par un lien rapide pour l’entraînement réparti.
Tous les serveurs de 8 GPU
| GPU | Liaison entre les GPU | Mémoire GPU du serveur | Par heure | 24 heures |
|---|---|---|---|---|
| 8 × RTX A6000 | PCIe Gen4 | 384 Go | 5,35 $ | 128,40 $ |
| 8 × L40 | PCIe Gen4 | 384 Go | 10,71 $ | 257,04 $ |
| 8 × A100 PCIe | PCIe Gen4 | 640 Go | 14,46 $ | 347,04 $ |
| 8 × A100 NVLink | PCIe Gen4 + NVLink (600 Go/s) | 640 Go | 14,99 $ | 359,76 $ |
| 8 × RTX PRO 6000 | PCIe Gen5 | 768 Go | 19,81 $ | 475,44 $ |
| 8 × H100 PCIe | PCIe Gen5 | 640 Go | 26,77 $ | 642,48 $ |
| 8 × H100 NVLink | PCIe Gen5 + NVLink (600 Go/s) | 640 Go | 27,84 $ | 668,16 $ |
| 8 × H100 SXM | NVLink 4.0 (900 Go/s) | 640 Go | 34,27 $ | 822,48 $ |
Prix du serveur entier, à la demande, en dollars canadiens, taxes en sus, lus dans le catalogue à la publication de la page. Liaison : caractéristiques publiées par NVIDIA.
| GPU | GPU par serveur | Mémoire GPU du serveur | À la demande, par heure | Disponibilité |
|---|---|---|---|---|
| NVIDIA RTX A6000 | 8 | 384 Go | 5,35 $ | |
| NVIDIA L40 | 8 | 384 Go | 10,71 $ | |
| NVIDIA A100 PCIe | 8 | 640 Go | 14,46 $ | |
| NVIDIA A100 NVLink | 8 | 640 Go | 14,99 $ | |
| NVIDIA RTX PRO 6000 | 8 | 768 Go | 19,81 $ | |
| NVIDIA H100 PCIe | 8 | 640 Go | 26,77 $ | |
| NVIDIA H100 NVLink | 8 | 640 Go | 27,84 $ | |
| NVIDIA H100 SXM | 8 | 640 Go | 34,27 $ |
Prix en dollars canadiens, taxes en sus, lus dans le catalogue à la publication de la page. La disponibilité est lue en direct ; une machine en rupture affiche la machine équivalente la plus proche qui est en stock.
NVLink ou PCIe : quand la liaison entre les GPU compte
- NVLink compte quand les 8 GPU travaillent sur un même modèle et s’échangent des données à chaque pas : entraînement réparti (FSDP, DeepSpeed), parallélisme de tenseurs, inférence d’un modèle découpé sur plusieurs GPU.
- Le PCIe suffit quand chaque GPU fait son propre travail : plusieurs entraînements en parallèle, une recherche d’hyperparamètres, du rendu ou de l’inférence par lots indépendants.
- Pour des travaux indépendants, un serveur de 8 × RTX A6000 à 5,35 $ CA/h coûte bien moins cher qu’une machine NVLink.
Ce qui tient dans 640 Go de mémoire GPU
- Un modèle de 70 milliards de paramètres en 16 bits : 140 Go de poids, avec beaucoup de place pour le cache KV et les requêtes simultanées.
- Un modèle de 405 milliards de paramètres en 8 bits : 405 Go de poids, servi sur les 8 GPU ensemble.
- Le fine-tuning complet d’un modèle de 70 milliards demande environ 1 120 Go (poids, gradients et états de l’optimiseur), plus qu’un serveur. LoRA et QLoRA le font tenir : voir le guide du fine-tuning.
Disponibilité et réservation
Les serveurs de 8 GPU sont peu nombreux. Le tableau affiche leur disponibilité en direct : si une machine est en rupture, la machine équivalente la plus proche en stock s’affiche avec son prix.
Si tu tiens à une machine précise, réserve-la avec une carte enregistrée et un prix horaire maximal : la première réservation de la file est lancée automatiquement quand la machine revient en stock, et tu reçois un courriel.
Exemples de coûts
- 8 × RTX A6000 : 128,40 $ pour 24 heures, 898,80 $ pour une semaine complète (168 heures), ou 3 737,60 $ au mois payé d’avance.
- 8 × A100 NVLink : 359,76 $ pour 24 heures, 2 518,32 $ pour une semaine complète (168 heures), ou 10 453,60 $ au mois payé d’avance.
- 8 × H100 SXM : 822,48 $ pour 24 heures, 5 757,36 $ pour une semaine complète (168 heures), ou 23 871,00 $ au mois payé d’avance.
Calcul : tarif horaire du serveur entier × nombre d’heures, arrondi au cent, taxes en sus.
Ce qu’il faut savoir avant de lancer
- La facturation se fait à l’heure, au tarif horaire du serveur, à partir d’un crédit prépayé. Il n’y a pas de facturation à la minute, et la première heure est prélevée au déploiement.
- Un serveur arrêté reste facturé au plein tarif horaire. Pour payer moins, hiberne-le (0,02 $ par heure (environ 14,60 $ par mois), disque conservé) ou supprime-le. Une machine Spot ne s’hiberne pas : supprime-la quand tu as fini.
- La recharge minimale est de 25,00 $ CA, payée par carte de crédit.
- Les serveurs et leurs disques restent au Canada (région canada-montreal, à Montréal). Les renseignements du compte (identité, facturation, courriels) peuvent être traités hors du Québec, comme l’explique la politique de confidentialité.
Questions fréquentes
Combien coûte un serveur de 8 H100 à l’heure ?
Selon la version, de 26,77 $ CA/h à 34,27 $ CA/h pour le serveur entier, taxes en sus.
Peut-on louer 8 A100 avec NVLink ?
Oui, 8 × A100 NVLink se loue à 14,99 $ CA/h, avec 640 Go de mémoire GPU au total.
Le prix est-il par GPU ou par serveur ?
Par serveur : le tarif horaire affiché couvre les 8 GPU, les processeurs, la mémoire et le disque de la machine.
Que faire si le serveur de 8 GPU voulu est en rupture ?
Déploie la machine équivalente proposée en premier, ou réserve le serveur voulu : la réservation est lancée automatiquement quand il revient en stock.
Ai-je besoin de NVLink ?
Seulement si les GPU travaillent ensemble sur un même modèle, comme un entraînement réparti. Pour des travaux indépendants, un serveur PCIe coûte moins cher.
Tu veux du GPU ? On est là.
Lance un serveur GPU NVIDIA à l’heure au Canada, payé en dollars canadiens par carte de crédit, ou réserve un GPU en rupture : il est lancé dès qu’il se libère.
Autres guides
- Ton IA te dit qu’il te faut un GPU ? Lance ton script Python sur un GPU en quelques minutes
- CUDA out of memory : causes, correctifs, et quand passer à un GPU avec plus de VRAM
- torch.cuda.is_available() renvoie False : causes et correctifs (Mac, PC sans NVIDIA, Docker)
- Combien coûte un GPU à l’heure au Canada, en dollars canadiens ?
- API OpenAI trop chère ? Héberge ton LLM sur un GPU à l’heure, au Canada
- Louer un GPU à l’heure au Canada : prix, étapes et facturation
- GPU cloud à Montréal, au Canada : serveurs GPU NVIDIA hébergés au pays
- Louer une H100 au Canada : PCIe, NVLink ou SXM, à l’heure
- Quel GPU pour fine-tuner un LLM ? Mémoire, machine et coût
- GPU cloud pas cher : comment payer le moins possible pour un GPU
- GPU pour Ollama : faire tourner un LLM en ligne sur ton propre serveur
- GPU pour Stable Diffusion et ComfyUI : générer des images sur un serveur loué
- Alternative à RunPod au Canada : GPU à l’heure, en dollars canadiens
- GPU pour la recherche universitaire au Québec : louer un GPU à l’heure
- Données de santé et IA : des GPU hébergés au Canada