Comment déployer un LLM sur un serveur GPU cloud

Déployer un LLM pas à pas

Vous pouvez servir un grand modèle de langage avec vLLM de deux façons sur GPU Cloud : avec le modèle en un clic, ou en l’installant vous-même par SSH.

Étape 1 : choisir le GPU

La mémoire du GPU détermine la taille du modèle. En précision 16 bits, chaque milliard de paramètres occupe environ 2 Go, auxquels s’ajoute le cache KV.

• Modèle de 7 ou 8 milliards de paramètres (environ 16 Go de poids) : un GPU de 48 Go laisse de la place pour le contexte, par exemple le RTX A6000, à partir de 0,79 $/h (1 GPU), ou le L40, à partir de 1,57 $/h (1 GPU).
• Modèle de 70 milliards de paramètres (environ 140 Go de poids en 16 bits) : un serveur de 4 GPU de 80 Go, comme l’A100 PCIe (80 Go HBM2e) ou le H100 PCIe (80 Go HBM2e), avec le parallélisme de tenseurs de vLLM.

Étape 2, option A : le modèle vLLM en un clic

Choisissez le modèle Serveur vLLM compatible OpenAI au moment de créer le serveur. L’installation démarre toute seule ; la console affiche ensuite une adresse HTTPS et une clé d’API générée pour votre serveur.

Étape 2, option B : installation manuelle

1. Dans la console, créez un serveur avec l’image Ubuntu (pilote NVIDIA, CUDA et Docker) et ajoutez votre clé SSH.
2. Quand le serveur est prêt, la console affiche son adresse IP.
3. Connectez-vous, installez vLLM et lancez le modèle :

# Connexion avec l’utilisateur ubuntu
ssh ubuntu@ADRESSE_IP

# Environnement Python isolé pour vLLM
sudo apt-get update && sudo apt-get install -y python3-venv
python3 -m venv ~/vllm
source ~/vllm/bin/activate
pip install vllm

# Lancement du modèle (API compatible OpenAI sur le port 8000)
vllm serve Qwen/Qwen2.5-7B-Instruct --api-key VOTRE_CLE_SECRETE

Étape 3 : tester l’API

Depuis le serveur, vérifiez que le modèle répond :

curl http://localhost:8000/v1/models -H "Authorization: Bearer VOTRE_CLE_SECRETE"

Avant d’ouvrir le port 8000 à Internet, gardez l’option --api-key et limitez l’accès à vos adresses. Le modèle en un clic place l’API derrière un accès HTTPS protégé par clé, sans configuration de votre part.