GPUcloud
ENS’inscrire

Guide GPU

GPU pour Ollama : faire tourner un LLM en ligne sur ton propre serveur

Mis à jour le

Réponse courte

Pour faire tourner Ollama sur un vrai GPU, GPU Cloud installe Ollama et Open WebUI en un clic sur une NVIDIA RTX A6000 de 48 Go, à 0,67 $ CA/h, taxes en sus. Cette mémoire suffit aux modèles jusqu’à environ 32 milliards de paramètres ; pour un modèle de 70 milliards, le serveur le moins cher qui suffit est 2 × RTX A6000, à 1,34 $ CA/h.

Lancer un GPURéserver un GPUHébergé au Canada · Facturé en CAD

Pourquoi sortir Ollama de ton ordinateur

Sur un portable sans carte NVIDIA, ou quand le modèle ne tient pas dans la mémoire de ta carte, Ollama fait tourner une partie des couches sur le processeur. La réponse arrive alors mot par mot, lentement, et un modèle de 32 ou 70 milliards de paramètres devient difficile à utiliser.

Sur un serveur GPU loué à l’heure, le modèle entier tient dans la mémoire du GPU. Tu gardes le contrôle : les modèles sont ouverts, les conversations sont stockées sur ton serveur à Montréal, et tu supprimes tout quand tu as fini.

Quelle mémoire GPU pour quel modèle

Mémoire GPU pour faire tourner un modèle avec Ollama (Q4_K_M), et le serveur le moins cher qui suffit
ModèleMémoire à prévoirServeur le moins cher qui suffitÀ la demande / h
Llama 3.1 8B6 Go1 × RTX A60000,67 $
Qwen2.5 14B11 Go1 × RTX A60000,67 $
Qwen2.5 32B24 Go1 × RTX A60000,67 $
Llama 3.3 70B51 Go2 × RTX A60001,34 $
Mistral Large 2 (123B)89 Go2 × RTX A60001,34 $

Mémoire à prévoir : paramètres × 0,6 octet (Q4_K_M) × 1,2 pour le contexte et CUDA. C’est une estimation : un contexte long en demande plus. Prix en dollars canadiens, taxes en sus.

Le plus petit serveur, 48 Go, fait tourner tous les modèles courants jusqu’à 32 milliards de paramètres avec de la marge pour le contexte. Au delà, Ollama répartit le modèle sur plusieurs GPU du même serveur, sans réglage de ta part. Pour servir une API à plusieurs utilisateurs en même temps, le guide auto-héberger un LLM avec vLLM est plus adapté.

Prix et disponibilité des serveurs pour Ollama

Les serveurs pour Ollama, avec leur disponibilité
GPUGPU par serveurMémoire GPU du serveurÀ la demande, par heureDisponibilité
NVIDIA RTX A6000148 Go0,67 $
Déployer
NVIDIA L40148 Go1,34 $
Déployer
NVIDIA RTX A6000296 Go1,34 $
Déployer
NVIDIA A100 PCIe180 Go1,81 $
Déployer
NVIDIA RTX PRO 6000196 Go2,48 $
Déployer

Prix en dollars canadiens, taxes en sus, lus dans le catalogue à la publication de la page. La disponibilité est lue en direct ; une machine en rupture affiche la machine équivalente la plus proche qui est en stock.

Démarrer Ollama en quelques minutes

  1. 1.Choisis le modèle en un clic Ollama et Open WebUI

    Dans la console, déploie le modèle Ollama et Open WebUI sur le serveur voulu. L’installation prend de 5 à 10 minutes.

  2. 2.Ouvre Open WebUI dans ton navigateur

    Open WebUI est servi en HTTPS, et le compte administrateur est créé pour toi avant l’ouverture de l’accès.

  3. 3.Télécharge un modèle

    Depuis Open WebUI, tire un modèle de la bibliothèque Ollama (par exemple llama3.1:8b ou qwen2.5:32b), puis commence à clavarder.

  4. 4.Branche tes outils

    Depuis ton poste, tes scripts et tes outils passent par Open WebUI avec une clé d’API générée dans ton compte Open WebUI.

Ce que ça coûte vraiment

  • Une soirée de tests de 3 heures sur une RTX A6000 : 2,01 $.
  • 20 soirées de 3 heures dans le mois : 40,20 $, si tu supprimes ou hibernes le serveur entre deux soirées.
  • En hibernation, le serveur coûte 0,02 $ par heure (environ 14,60 $ par mois) et garde ses modèles téléchargés. Un serveur simplement arrêté continue de coûter le plein tarif.

Ce qu’il faut savoir avant de lancer

  • La facturation se fait à l’heure, au tarif horaire du serveur, à partir d’un crédit prépayé. Il n’y a pas de facturation à la minute, et la première heure est prélevée au déploiement.
  • Un serveur arrêté reste facturé au plein tarif horaire. Pour payer moins, hiberne-le (0,02 $ par heure (environ 14,60 $ par mois), disque conservé) ou supprime-le. Une machine Spot ne s’hiberne pas : supprime-la quand tu as fini.
  • La recharge minimale est de 25,00 $ CA, payée par carte de crédit.
  • Les serveurs et leurs disques restent au Canada (région canada-montreal, à Montréal). Les renseignements du compte (identité, facturation, courriels) peuvent être traités hors du Québec, comme l’explique la politique de confidentialité.

Questions fréquentes

Combien coûte un GPU pour Ollama ?

Dès 0,67 $ CA/h pour une NVIDIA RTX A6000 de 48 Go, taxes en sus, facturé à l’heure en dollars canadiens.

Quel GPU pour Llama 3.3 70B avec Ollama ?

Il faut environ 51 Go de mémoire GPU en Q4_K_M. Le serveur le moins cher qui suffit est 2 × RTX A6000, à 1,34 $ CA/h.

Où sont traitées mes conversations ?

Sur ton serveur à Montréal : Ollama et Open WebUI y tournent, et les conversations sont stockées sur son disque, au Canada.

Puis-je utiliser Ollama par API depuis mon poste ?

Oui, en passant par Open WebUI avec une clé d’API créée dans ton compte Open WebUI.

Faut-il installer Ollama moi-même ?

Non. Le modèle en un clic installe Ollama et Open WebUI pour toi, avec le pilote NVIDIA et l’accès HTTPS. Tu gardes un accès SSH complet au serveur.

Tu veux du GPU ? On est là.

Lance un serveur GPU NVIDIA à l’heure au Canada, payé en dollars canadiens par carte de crédit, ou réserve un GPU en rupture : il est lancé dès qu’il se libère.

Lancer un GPURéserver un GPU

Autres guides