NVIDIA GeForce RTX 4090 (24 GB GDDR6X) — Modèles compatibles, contexte maximal et débits tok/s
NVIDIA GeForce RTX 4090 (24 GB GDDR6X) offre 24 Go de mémoire (22.1 Go de plafond utile par défaut) soutenus par 1,008 Go/s de bande passante externe et 165.2 TFLOPS en FP16 (~$0.44/h tarif cloud typique, TDP de 450W).
- Mémoire physique
- 24 Go
- Default / Tuned Usable
- 22.1 / 23.0 Go
- Bande passante mémoire
- 1,008 GB/s
- Calcul FP16
- 165.2 TFLOPS
- Tarif cloud typique $/h / CapEx
- $0.44/hr · $1,799
- TDP / Native FP8
- 450W · FP8 Yes
Simulateur interactif de charge sur RTX 4090 24GB
Garde-fous compilés automatiquement dans les options
Le parallélisme tensoriel répartit les têtes d’attention et les matrices MLP entre les GPU reliés par NVLink ou PCIe ; --tensor-parallel-size doit donc diviser exactement le nombre de têtes de requête et KV tout en conservant une marge pour les tampons all-reduce NCCL et la capture des graphes CUDA.
Lors de la génération autorégressive mono-utilisateur, chaque token produit exige de lire les poids actifs du modèle depuis la VRAM vers les unités de calcul. Doubler la bande passante mémoire (par exemple en passant de 546 Go/s à 1,792 Go/s en GDDR7 ou 3,350 Go/s en HBM3) double presque le débit en tok/s à quantification identique.
Matrice de compatibilité des LLM à poids ouverts sur 1× RTX 4090 24GB (contexte 32K)
| Modèle et famille | FP16 | Q8_0 | Q4_K_M | Meilleure quantif. confortable | Contexte max (Q4_K_M) | Débit décodage (Q4_K_M) |
|---|---|---|---|---|---|---|
|
DeepSeek-R1 (671B MoE)
671B · MLA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | — | — |
|
DeepSeek-V3-0324 (671B MoE)
671B · MLA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Llama-70B
70.6B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Qwen-32B
32.8B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | 12,759 tokens | — |
|
Qwen3-235B-A22B (MoE)
235B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | — | — |
|
Qwen3-30B-A3B (MoE)
30.5B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Ajusté (>90 % utile) | IQ4_XS | 48,634 tokens | 120.8 tok/s |
|
Qwen3-32B
32.8B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | 12,759 tokens | — |
|
Qwen3-14B
14.8B · GQA
|
Mémoire insuffisante (OOM) | Ajusté (>90 % utile) | Tient confortablement | FP8 | 89,017 tokens | 44.0 tok/s |
|
Qwen3-8B
8.2B · GQA
|
Ajusté (>90 % utile) | Tient confortablement | Tient confortablement | FP16 / BF16 | 126,857 tokens | 64.3 tok/s |
|
QwQ-32B (Reasoning)
32.8B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | 12,759 tokens | — |
|
Qwen2.5-Coder-32B-Instruct
32.8B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | 12,759 tokens | — |
|
Qwen2.5-72B-Instruct
72.7B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | — | — |
|
Llama 4 Maverick (400B / 17B-128E MoE)
402B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | — | — |
|
Llama 4 Scout (109B / 17B-16E MoE)
109B · HYBRID_SWA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | — | — |
|
Llama 3.3 70B Instruct
70.6B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | — | — |
|
Llama 3.1 405B Instruct
405B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | — | — |
|
Llama 3.1 8B Instruct
8.03B · GQA
|
Ajusté (>90 % utile) | Tient confortablement | Tient confortablement | FP16 / BF16 | 143,524 tokens | 68.8 tok/s |
|
Gemma 3 27B IT (Multimodal)
27.4B · HYBRID_SWA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Ajusté (>90 % utile) | Q4_K_M | 13,224 tokens | 32.0 tok/s |
|
Gemma 3 12B IT (Multimodal)
12.2B · HYBRID_SWA
|
Mémoire insuffisante (OOM) | Tient confortablement | Tient confortablement | FP8 | 41,219 tokens | 63.8 tok/s |
|
Mistral Small 3.1 (24B)
24B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Ajusté (>90 % utile) | Q4_K_M | 53,954 tokens | 31.7 tok/s |
|
Mistral Large 2411 (123B)
123B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | — | — |
|
Codestral 22B
22.2B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Ajusté (>90 % utile) | Q4_K_M | 43,438 tokens | 30.1 tok/s |
|
Devstral Small (24B SWE Agent)
23.6B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Ajusté (>90 % utile) | Q5_K_M | 55,478 tokens | 32.0 tok/s |
|
GLM-4-32B-0414
32B · GQA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Ajusté (>90 % utile) | IQ4_XS | 61,544 tokens | 29.4 tok/s |
|
GLM-4-9B-0414
9.4B · GQA
|
Ajusté (>90 % utile) | Tient confortablement | Tient confortablement | FP16 / BF16 | 438,394 tokens | 89.6 tok/s |
|
Microsoft Phi-4 (14B)
14.7B · GQA
|
Mémoire insuffisante (OOM) | Ajusté (>90 % utile) | Tient confortablement | FP8 | 71,519 tokens | 40.4 tok/s |
|
Microsoft Phi-4-mini-instruct (3.8B)
3.84B · GQA
|
Tient confortablement | Tient confortablement | Tient confortablement | FP16 / BF16 | 163,486 tokens | 95.2 tok/s |
|
Cohere Command A (111B)
111B · HYBRID_SWA
|
Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | Mémoire insuffisante (OOM) | — | — | — |
Comparer d’autres paliers de capacité GPU et Apple Silicon
RTX 3090 24GB
24 Go · 936 GB/s
RTX 5090 32GB
32 Go · 1,792 GB/s
Apple M-Max 64GB
64 Go · 546 GB/s
Mac Studio 128GB
128 Go · 546 GB/s
Mac Studio 192GB
192 Go · 800 GB/s
NVIDIA A100 80GB
80 Go · 2,039 GB/s
NVIDIA H100 80GB
80 Go · 3,350 GB/s