NVIDIA GeForce RTX 4090 (24 GB GDDR6X) — Modelli eseguibili, contesto massimo e prestazioni in tok/s
NVIDIA GeForce RTX 4090 (24 GB GDDR6X) mette a disposizione 24 GB di memoria (22.1 GB utilizzabili di default) supportati da 1,008 GB/s di banda esterna e 165.2 TFLOPS di calcolo FP16 (~$0.44/h tariffa cloud tipica, TDP 450W).
- Memoria fisica
- 24 GB
- Default / Tuned Usable
- 22.1 / 23.0 GB
- Banda di memoria
- 1,008 GB/s
- Calcolo FP16
- 165.2 TFLOPS
- Tariffa cloud tipica $/h / CapEx
- $0.44/hr · $1,799
- TDP / Native FP8
- 450W · FP8 Yes
Simulatore interattivo dei carichi di lavoro su RTX 4090 24GB
Controlli di sicurezza sui flag compilati automaticamente
Il parallelismo tensoriale suddivide le teste di attenzione e le matrici MLP tra dispositivi NVLink o PCIe; pertanto --tensor-parallel-size deve dividere esattamente il numero di teste di query e KV lasciando margine per i buffer all-reduce NCCL e la cattura dei grafi CUDA.
Durante la generazione autoregressiva a singolo utente, ogni token prodotto richiede la lettura dei pesi attivi del modello dalla VRAM verso le unità di calcolo. Raddoppiare la banda di memoria (ad esempio passando da 546 GB/s a 1,792 GB/s su GDDR7 o 3,350 GB/s su HBM3) raddoppia quasi i tok/s a parità di quantizzazione.
Matrice di compatibilità LLM open-weight su 1× RTX 4090 24GB (contesto 32K)
| Modello e famiglia | FP16 | Q8_0 | Q4_K_M | Migliore quant. comoda | Contesto max (Q4_K_M) | Velocità decod. (Q4_K_M) |
|---|---|---|---|---|---|---|
|
DeepSeek-R1 (671B MoE)
671B · MLA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
DeepSeek-V3-0324 (671B MoE)
671B · MLA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Llama-70B
70.6B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Qwen-32B
32.8B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | 12,759 token | — |
|
Qwen3-235B-A22B (MoE)
235B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Qwen3-30B-A3B (MoE)
30.5B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Al limite (>90% usabile) | IQ4_XS | 48,634 token | 120.8 tok/s |
|
Qwen3-32B
32.8B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | 12,759 token | — |
|
Qwen3-14B
14.8B · GQA
|
Memoria esaurita (OOM) | Al limite (>90% usabile) | Entra comodamente | FP8 | 89,017 token | 44.0 tok/s |
|
Qwen3-8B
8.2B · GQA
|
Al limite (>90% usabile) | Entra comodamente | Entra comodamente | FP16 / BF16 | 126,857 token | 64.3 tok/s |
|
QwQ-32B (Reasoning)
32.8B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | 12,759 token | — |
|
Qwen2.5-Coder-32B-Instruct
32.8B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | 12,759 token | — |
|
Qwen2.5-72B-Instruct
72.7B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Llama 4 Maverick (400B / 17B-128E MoE)
402B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Llama 4 Scout (109B / 17B-16E MoE)
109B · HYBRID_SWA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Llama 3.3 70B Instruct
70.6B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Llama 3.1 405B Instruct
405B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Llama 3.1 8B Instruct
8.03B · GQA
|
Al limite (>90% usabile) | Entra comodamente | Entra comodamente | FP16 / BF16 | 143,524 token | 68.8 tok/s |
|
Gemma 3 27B IT (Multimodal)
27.4B · HYBRID_SWA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Al limite (>90% usabile) | Q4_K_M | 13,224 token | 32.0 tok/s |
|
Gemma 3 12B IT (Multimodal)
12.2B · HYBRID_SWA
|
Memoria esaurita (OOM) | Entra comodamente | Entra comodamente | FP8 | 41,219 token | 63.8 tok/s |
|
Mistral Small 3.1 (24B)
24B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Al limite (>90% usabile) | Q4_K_M | 53,954 token | 31.7 tok/s |
|
Mistral Large 2411 (123B)
123B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Codestral 22B
22.2B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Al limite (>90% usabile) | Q4_K_M | 43,438 token | 30.1 tok/s |
|
Devstral Small (24B SWE Agent)
23.6B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Al limite (>90% usabile) | Q5_K_M | 55,478 token | 32.0 tok/s |
|
GLM-4-32B-0414
32B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Al limite (>90% usabile) | IQ4_XS | 61,544 token | 29.4 tok/s |
|
GLM-4-9B-0414
9.4B · GQA
|
Al limite (>90% usabile) | Entra comodamente | Entra comodamente | FP16 / BF16 | 438,394 token | 89.6 tok/s |
|
Microsoft Phi-4 (14B)
14.7B · GQA
|
Memoria esaurita (OOM) | Al limite (>90% usabile) | Entra comodamente | FP8 | 71,519 token | 40.4 tok/s |
|
Microsoft Phi-4-mini-instruct (3.8B)
3.84B · GQA
|
Entra comodamente | Entra comodamente | Entra comodamente | FP16 / BF16 | 163,486 token | 95.2 tok/s |
|
Cohere Command A (111B)
111B · HYBRID_SWA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
Confronta altre fasce di capacità GPU e Apple Silicon
RTX 3090 24GB
24 GB · 936 GB/s
RTX 5090 32GB
32 GB · 1,792 GB/s
Apple M-Max 64GB
64 GB · 546 GB/s
Mac Studio 128GB
128 GB · 546 GB/s
Mac Studio 192GB
192 GB · 800 GB/s
NVIDIA A100 80GB
80 GB · 2,039 GB/s
NVIDIA H100 80GB
80 GB · 3,350 GB/s