GPUcloud

Guide GPU

Louer un serveur 8 GPU : 8 × H100 ou 8 × A100 NVLink, à l’heure

Mis à jour le

Réponse courte

GPU Cloud loue des serveurs complets de 8 GPU NVIDIA à l’heure à Montréal, de 5,35 $ CA/h (8 × RTX A6000) à 34,27 $ CA/h (8 × H100 SXM), taxes en sus. Les versions NVLink (8 × A100 NVLink à 14,99 $ CA/h, 8 × H100 NVLink à 27,84 $ CA/h et 8 × H100 SXM à 34,27 $ CA/h) relient leurs GPU par un lien rapide pour l’entraînement réparti.

Tous les serveurs de 8 GPU

Les serveurs de 8 GPU au catalogue
GPULiaison entre les GPUMémoire GPU du serveurPar heure24 heures
8 × RTX A6000PCIe Gen4384 Go5,35 $128,40 $
8 × L40PCIe Gen4384 Go10,71 $257,04 $
8 × A100 PCIePCIe Gen4640 Go14,46 $347,04 $
8 × A100 NVLinkPCIe Gen4 + NVLink (600 Go/s)640 Go14,99 $359,76 $
8 × RTX PRO 6000PCIe Gen5768 Go19,81 $475,44 $
8 × H100 PCIePCIe Gen5640 Go26,77 $642,48 $
8 × H100 NVLinkPCIe Gen5 + NVLink (600 Go/s)640 Go27,84 $668,16 $
8 × H100 SXMNVLink 4.0 (900 Go/s)640 Go34,27 $822,48 $

Prix du serveur entier, à la demande, en dollars canadiens, taxes en sus, lus dans le catalogue à la publication de la page. Liaison : caractéristiques publiées par NVIDIA.

Les serveurs de 8 GPU, avec leur disponibilité
GPUGPU par serveurMémoire GPU du serveurÀ la demande, par heureDisponibilité
NVIDIA RTX A60008384 Go5,35 $
NVIDIA L408384 Go10,71 $
NVIDIA A100 PCIe8640 Go14,46 $
NVIDIA A100 NVLink8640 Go14,99 $
NVIDIA RTX PRO 60008768 Go19,81 $
NVIDIA H100 PCIe8640 Go26,77 $
NVIDIA H100 NVLink8640 Go27,84 $
NVIDIA H100 SXM8640 Go34,27 $

Prix en dollars canadiens, taxes en sus, lus dans le catalogue à la publication de la page. La disponibilité est lue en direct ; une machine en rupture affiche la machine équivalente la plus proche qui est en stock.

Ce qui tient dans 640 Go de mémoire GPU

  • Un modèle de 70 milliards de paramètres en 16 bits : 140 Go de poids, avec beaucoup de place pour le cache KV et les requêtes simultanées.
  • Un modèle de 405 milliards de paramètres en 8 bits : 405 Go de poids, servi sur les 8 GPU ensemble.
  • Le fine-tuning complet d’un modèle de 70 milliards demande environ 1 120 Go (poids, gradients et états de l’optimiseur), plus qu’un serveur. LoRA et QLoRA le font tenir : voir le guide du fine-tuning.

Disponibilité et réservation

Les serveurs de 8 GPU sont peu nombreux. Le tableau affiche leur disponibilité en direct : si une machine est en rupture, la machine équivalente la plus proche en stock s’affiche avec son prix.

Si tu tiens à une machine précise, réserve-la avec une carte enregistrée et un prix horaire maximal : la première réservation de la file est lancée automatiquement quand la machine revient en stock, et tu reçois un courriel.

Pour un projet de plusieurs mois, le contrat H100 réservé te dédie 8 GPU H100 (PCIe ou NVLink) pour 1, 3, 6 ou 12 mois : mise en service sous 7 jours ouvrables, sinon remboursement complet.

Exemples de coûts

  • 8 × RTX A6000 : 128,40 $ pour 24 heures, 898,80 $ pour une semaine complète (168 heures), ou 3 737,60 $ au mois payé d’avance.
  • 8 × A100 NVLink : 359,76 $ pour 24 heures, 2 518,32 $ pour une semaine complète (168 heures), ou 10 453,60 $ au mois payé d’avance.
  • 8 × H100 SXM : 822,48 $ pour 24 heures, 5 757,36 $ pour une semaine complète (168 heures), ou 23 871,00 $ au mois payé d’avance.

Calcul : tarif horaire du serveur entier × nombre d’heures, arrondi au cent, taxes en sus.

Ce qu’il faut savoir avant de lancer

  • La facturation se fait à l’heure, au tarif horaire du serveur, à partir d’un crédit prépayé. Il n’y a pas de facturation à la minute, et la première heure est prélevée au déploiement.
  • Un serveur arrêté reste facturé au plein tarif horaire. Pour payer moins, hiberne-le (0,02 $ par heure (environ 14,60 $ par mois), disque conservé) ou supprime-le. Une machine Spot ne s’hiberne pas : supprime-la quand tu as fini.
  • La recharge minimale est de 25,00 $ CA, payée par carte de crédit.
  • Les serveurs et leurs disques restent au Canada (région canada-montreal, à Montréal). Les renseignements du compte (identité, facturation, courriels) peuvent être traités hors du Québec, comme l’explique la politique de confidentialité.

Questions fréquentes

Combien coûte un serveur de 8 H100 à l’heure ?

Selon la version, de 26,77 $ CA/h à 34,27 $ CA/h pour le serveur entier, taxes en sus.

Peut-on louer 8 A100 avec NVLink ?

Oui, 8 × A100 NVLink se loue à 14,99 $ CA/h, avec 640 Go de mémoire GPU au total.

Le prix est-il par GPU ou par serveur ?

Par serveur : le tarif horaire affiché couvre les 8 GPU, les processeurs, la mémoire et le disque de la machine.

Que faire si le serveur de 8 GPU voulu est en rupture ?

Déploie la machine équivalente proposée en premier, ou réserve le serveur voulu : la réservation est lancée automatiquement quand il revient en stock.

Ai-je besoin de NVLink ?

Seulement si les GPU travaillent ensemble sur un même modèle, comme un entraînement réparti. Pour des travaux indépendants, un serveur PCIe coûte moins cher.

Tu veux du GPU ? On est là.

Lance un serveur GPU NVIDIA à l’heure au Canada, payé en dollars canadiens par carte de crédit, ou réserve un GPU en rupture : il est lancé dès qu’il se libère.

Autres guides