NVIDIA GeForce RTX 5090 (32 GB GDDR7) — Modèles compatibles, contexte maximal et débits tok/s

Mémoire physique: 32 Go
Default / Tuned Usable: 29.4 / 30.7 Go
Bande passante mémoire: 1,792 GB/s
Calcul FP16: 209.5 TFLOPS
Tarif cloud typique $/h / CapEx: $0.79/hr · $2,199
TDP / Native FP8: 575W · FP8 Yes

Charger dans le calculateur VRAM → Générer une config vLLM / Ollama → Comparer GPU auto-hébergé vs API →

Simulateur interactif de charge sur RTX 5090 32GB

Modèle prédéfini à poids ouverts (ou personnalisé)

Nombre d’unités multi-GPU (1× à 8× RTX 5090 32GB)

Quantification des poids (bpw)

Précision du cache KV

Longueur du contexte (tokens) 32,768 tokens

Répartition mémoire et plafond de bande passante

Tient confortablement

Poids du modèle: 79.2% KV: 13.8% Overhead: 7%

Mémoire totale requise

21.75 Go

Allocation par périphérique: 21.75 / 32 Go

Poids du modèle

17.22 Go

KV: 3.00 Go

Décodage estimé (1 flux)

214.7 tok/s

Débit estimé en batch: 214.7 tok/s

Contexte max avant OOM

132,520

tokens

Garde-fous compilés automatiquement dans les options

Le parallélisme tensoriel répartit les têtes d’attention et les matrices MLP entre les GPU reliés par NVLink ou PCIe ; --tensor-parallel-size doit donc diviser exactement le nombre de têtes de requête et KV tout en conservant une marge pour les tampons all-reduce NCCL et la capture des graphes CUDA.

Lors de la génération autorégressive mono-utilisateur, chaque token produit exige de lire les poids actifs du modèle depuis la VRAM vers les unités de calcul. Doubler la bande passante mémoire (par exemple en passant de 546 Go/s à 1,792 Go/s en GDDR7 ou 3,350 Go/s en HBM3) double presque le débit en tok/s à quantification identique.

Matrice de compatibilité des LLM à poids ouverts sur 1× RTX 5090 32GB (contexte 32K)

Compatibilité et débit de décodage mono-flux estimé en tok/s pour FP16, Q8_0 et Q4_K_M sur une seule unité
Modèle et famille	FP16	Q8_0	Q4_K_M	Meilleure quantif. confortable	Contexte max (Q4_K_M)	Débit décodage (Q4_K_M)
DeepSeek-R1 (671B MoE) 671B · MLA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
DeepSeek-V3-0324 (671B MoE) 671B · MLA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
DeepSeek-R1-Distill-Llama-70B 70.6B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
DeepSeek-R1-Distill-Qwen-32B 32.8B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Ajusté (>90 % utile)	Q4_K_M	44,216 tokens	39.4 tok/s
Qwen3-235B-A22B (MoE) 235B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
Qwen3-30B-A3B (MoE) 30.5B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Tient confortablement	Q5_K_M	132,520 tokens	214.7 tok/s
Qwen3-32B 32.8B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Ajusté (>90 % utile)	Q4_K_M	44,216 tokens	39.4 tok/s
Qwen3-14B 14.8B · GQA	Mémoire insuffisante (OOM)	Tient confortablement	Tient confortablement	FP8	139,349 tokens	78.2 tok/s
Qwen3-8B 8.2B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	182,781 tokens	114.4 tok/s
QwQ-32B (Reasoning) 32.8B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Ajusté (>90 % utile)	Q4_K_M	44,216 tokens	39.4 tok/s
Qwen2.5-Coder-32B-Instruct 32.8B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Ajusté (>90 % utile)	Q4_K_M	44,216 tokens	39.4 tok/s
Qwen2.5-72B-Instruct 72.7B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
Llama 4 Maverick (400B / 17B-128E MoE) 402B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
Llama 4 Scout (109B / 17B-16E MoE) 109B · HYBRID_SWA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
Llama 3.3 70B Instruct 70.6B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
Llama 3.1 405B Instruct 405B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
Llama 3.1 8B Instruct 8.03B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	206,439 tokens	122.3 tok/s
Gemma 3 27B IT (Multimodal) 27.4B · HYBRID_SWA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Tient confortablement	Q6_K	29,460 tokens	56.8 tok/s
Gemma 3 12B IT (Multimodal) 12.2B · HYBRID_SWA	Ajusté (>90 % utile)	Tient confortablement	Tient confortablement	FP16 / BF16	62,191 tokens	113.5 tok/s
Mistral Small 3.1 (24B) 24B · GQA	Mémoire insuffisante (OOM)	Ajusté (>90 % utile)	Tient confortablement	Q6_K	104,285 tokens	56.3 tok/s
Mistral Large 2411 (123B) 123B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
Codestral 22B 22.2B · GQA	Mémoire insuffisante (OOM)	Ajusté (>90 % utile)	Tient confortablement	Q6_K	79,389 tokens	53.4 tok/s
Devstral Small (24B SWE Agent) 23.6B · GQA	Mémoire insuffisante (OOM)	Ajusté (>90 % utile)	Tient confortablement	Q6_K	105,810 tokens	57.0 tok/s
GLM-4-32B-0414 32B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Tient confortablement	Q5_K_M	193,562 tokens	52.3 tok/s
GLM-4-9B-0414 9.4B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	639,720 tokens	159.2 tok/s
Microsoft Phi-4 (14B) 14.7B · GQA	Mémoire insuffisante (OOM)	Tient confortablement	Tient confortablement	FP8	111,784 tokens	71.8 tok/s
Microsoft Phi-4-mini-instruct (3.8B) 3.84B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	226,400 tokens	169.3 tok/s
Cohere Command A (111B) 111B · HYBRID_SWA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—