Guide GPU
Louer un serveur 8 GPU : 8 × H100 ou 8 × A100 NVLink, à l’heure
Mis à jour le
Réponse courte
GPU Cloud loue des serveurs complets de 8 GPU NVIDIA à l’heure à Montréal, de 5,35 $ CA/h (8 × RTX A6000) à 34,27 $ CA/h (8 × H100 SXM), taxes en sus. Les versions NVLink (8 × A100 NVLink à 14,99 $ CA/h, 8 × H100 NVLink à 27,84 $ CA/h et 8 × H100 SXM à 34,27 $ CA/h) relient leurs GPU par un lien rapide pour l’entraînement réparti.
Tous les serveurs de 8 GPU
| GPU | Liaison entre les GPU | Mémoire GPU du serveur | Par heure | 24 heures |
|---|---|---|---|---|
| 8 × RTX A6000 | PCIe Gen4 | 384 Go | 5,35 $ | 128,40 $ |
| 8 × L40 | PCIe Gen4 | 384 Go | 10,71 $ | 257,04 $ |
| 8 × A100 PCIe | PCIe Gen4 | 640 Go | 14,46 $ | 347,04 $ |
| 8 × A100 NVLink | PCIe Gen4 + NVLink (600 Go/s) | 640 Go | 14,99 $ | 359,76 $ |
| 8 × RTX PRO 6000 | PCIe Gen5 | 768 Go | 19,81 $ | 475,44 $ |
| 8 × H100 PCIe | PCIe Gen5 | 640 Go | 26,77 $ | 642,48 $ |
| 8 × H100 NVLink | PCIe Gen5 + NVLink (600 Go/s) | 640 Go | 27,84 $ | 668,16 $ |
| 8 × H100 SXM | NVLink 4.0 (900 Go/s) | 640 Go | 34,27 $ | 822,48 $ |
Prix du serveur entier, à la demande, en dollars canadiens, taxes en sus, lus dans le catalogue à la publication de la page. Liaison : caractéristiques publiées par NVIDIA.
| GPU | GPU par serveur | Mémoire GPU du serveur | À la demande, par heure | Disponibilité |
|---|---|---|---|---|
| NVIDIA RTX A6000 | 8 | 384 Go | 5,35 $ | |
| NVIDIA L40 | 8 | 384 Go | 10,71 $ | |
| NVIDIA A100 PCIe | 8 | 640 Go | 14,46 $ | |
| NVIDIA A100 NVLink | 8 | 640 Go | 14,99 $ | |
| NVIDIA RTX PRO 6000 | 8 | 768 Go | 19,81 $ | |
| NVIDIA H100 PCIe | 8 | 640 Go | 26,77 $ | |
| NVIDIA H100 NVLink | 8 | 640 Go | 27,84 $ | |
| NVIDIA H100 SXM | 8 | 640 Go | 34,27 $ |
Prix en dollars canadiens, taxes en sus, lus dans le catalogue à la publication de la page. La disponibilité est lue en direct ; une machine en rupture affiche la machine équivalente la plus proche qui est en stock.
NVLink ou PCIe : quand la liaison entre les GPU compte
- NVLink compte quand les 8 GPU travaillent sur un même modèle et s’échangent des données à chaque pas : entraînement réparti (FSDP, DeepSpeed), parallélisme de tenseurs, inférence d’un modèle découpé sur plusieurs GPU.
- Le PCIe suffit quand chaque GPU fait son propre travail : plusieurs entraînements en parallèle, une recherche d’hyperparamètres, du rendu ou de l’inférence par lots indépendants.
- Pour des travaux indépendants, un serveur de 8 × RTX A6000 à 5,35 $ CA/h coûte bien moins cher qu’une machine NVLink.
Ce qui tient dans 640 Go de mémoire GPU
- Un modèle de 70 milliards de paramètres en 16 bits : 140 Go de poids, avec beaucoup de place pour le cache KV et les requêtes simultanées.
- Un modèle de 405 milliards de paramètres en 8 bits : 405 Go de poids, servi sur les 8 GPU ensemble.
- Le fine-tuning complet d’un modèle de 70 milliards demande environ 1 120 Go (poids, gradients et états de l’optimiseur), plus qu’un serveur. LoRA et QLoRA le font tenir : voir le guide du fine-tuning.
Disponibilité et réservation
Les serveurs de 8 GPU sont peu nombreux. Le tableau affiche leur disponibilité en direct : si une machine est en rupture, la machine équivalente la plus proche en stock s’affiche avec son prix.
Si tu tiens à une machine précise, réserve-la avec une carte enregistrée et un prix horaire maximal : la première réservation de la file est lancée automatiquement quand la machine revient en stock, et tu reçois un courriel.
Pour un projet de plusieurs mois, le contrat H100 réservé te dédie 8 GPU H100 (PCIe ou NVLink) pour 1, 3, 6 ou 12 mois : mise en service sous 7 jours ouvrables, sinon remboursement complet.
Exemples de coûts
- 8 × RTX A6000 : 128,40 $ pour 24 heures, 898,80 $ pour une semaine complète (168 heures), ou 3 737,60 $ au mois payé d’avance.
- 8 × A100 NVLink : 359,76 $ pour 24 heures, 2 518,32 $ pour une semaine complète (168 heures), ou 10 453,60 $ au mois payé d’avance.
- 8 × H100 SXM : 822,48 $ pour 24 heures, 5 757,36 $ pour une semaine complète (168 heures), ou 23 871,00 $ au mois payé d’avance.
Calcul : tarif horaire du serveur entier × nombre d’heures, arrondi au cent, taxes en sus.
Ce qu’il faut savoir avant de lancer
- La facturation se fait à l’heure, au tarif horaire du serveur, à partir d’un crédit prépayé. Il n’y a pas de facturation à la minute, et la première heure est prélevée au déploiement.
- Un serveur arrêté reste facturé au plein tarif horaire. Pour payer moins, hiberne-le (0,02 $ par heure (environ 14,60 $ par mois), disque conservé) ou supprime-le. Une machine Spot ne s’hiberne pas : supprime-la quand tu as fini.
- La recharge minimale est de 25,00 $ CA, payée par carte de crédit.
- Les serveurs et leurs disques restent au Canada (région canada-montreal, à Montréal). Les renseignements du compte (identité, facturation, courriels) peuvent être traités hors du Québec, comme l’explique la politique de confidentialité.
Questions fréquentes
Combien coûte un serveur de 8 H100 à l’heure ?
Selon la version, de 26,77 $ CA/h à 34,27 $ CA/h pour le serveur entier, taxes en sus.
Peut-on louer 8 A100 avec NVLink ?
Oui, 8 × A100 NVLink se loue à 14,99 $ CA/h, avec 640 Go de mémoire GPU au total.
Le prix est-il par GPU ou par serveur ?
Par serveur : le tarif horaire affiché couvre les 8 GPU, les processeurs, la mémoire et le disque de la machine.
Que faire si le serveur de 8 GPU voulu est en rupture ?
Déploie la machine équivalente proposée en premier, ou réserve le serveur voulu : la réservation est lancée automatiquement quand il revient en stock.
Ai-je besoin de NVLink ?
Seulement si les GPU travaillent ensemble sur un même modèle, comme un entraînement réparti. Pour des travaux indépendants, un serveur PCIe coûte moins cher.
Tu veux du GPU ? On est là.
Lance un serveur GPU NVIDIA à l’heure au Canada, payé en dollars canadiens par carte de crédit, ou réserve un GPU en rupture : il est lancé dès qu’il se libère.
Autres guides
- Ton IA te dit qu’il te faut un GPU ? Lance ton script Python sur un GPU en quelques minutes
- CUDA out of memory : causes, correctifs, et quand passer à un GPU avec plus de VRAM
- torch.cuda.is_available() renvoie False : causes et correctifs (Mac, PC sans NVIDIA, Docker)
- Combien coûte un GPU à l’heure au Canada, en dollars canadiens ?
- API OpenAI trop chère ? Héberge ton LLM sur un GPU à l’heure, au Canada
- Louer un GPU à l’heure au Canada : prix, étapes et facturation
- GPU cloud à Montréal, au Canada : serveurs GPU NVIDIA hébergés au pays
- Louer une H100 au Canada : PCIe, NVLink ou SXM, à l’heure
- Quel GPU pour fine-tuner un LLM ? Mémoire, machine et coût
- GPU cloud pas cher : comment payer le moins possible pour un GPU
- GPU pour Ollama : faire tourner un LLM en ligne sur ton propre serveur
- GPU pour Stable Diffusion et ComfyUI : générer des images sur un serveur loué
- Alternative à RunPod au Canada : GPU à l’heure, en dollars canadiens
- GPU pour la recherche universitaire au Québec : louer un GPU à l’heure
- Données de santé et IA : des GPU hébergés au Canada