NVIDIA GeForce RTX 5090 (32 GB GDDR7) — Modelli eseguibili, contesto massimo e prestazioni in tok/s
NVIDIA GeForce RTX 5090 (32 GB GDDR7) mette a disposizione 32 GB di memoria (29.4 GB utilizzabili di default) supportati da 1,792 GB/s di banda esterna e 209.5 TFLOPS di calcolo FP16 (~$0.79/h tariffa cloud tipica, TDP 575W).
- Memoria fisica
- 32 GB
- Default / Tuned Usable
- 29.4 / 30.7 GB
- Banda di memoria
- 1,792 GB/s
- Calcolo FP16
- 209.5 TFLOPS
- Tariffa cloud tipica $/h / CapEx
- $0.79/hr · $2,199
- TDP / Native FP8
- 575W · FP8 Yes
Simulatore interattivo dei carichi di lavoro su RTX 5090 32GB
Controlli di sicurezza sui flag compilati automaticamente
Il parallelismo tensoriale suddivide le teste di attenzione e le matrici MLP tra dispositivi NVLink o PCIe; pertanto --tensor-parallel-size deve dividere esattamente il numero di teste di query e KV lasciando margine per i buffer all-reduce NCCL e la cattura dei grafi CUDA.
Durante la generazione autoregressiva a singolo utente, ogni token prodotto richiede la lettura dei pesi attivi del modello dalla VRAM verso le unità di calcolo. Raddoppiare la banda di memoria (ad esempio passando da 546 GB/s a 1,792 GB/s su GDDR7 o 3,350 GB/s su HBM3) raddoppia quasi i tok/s a parità di quantizzazione.
Matrice di compatibilità LLM open-weight su 1× RTX 5090 32GB (contesto 32K)
| Modello e famiglia | FP16 | Q8_0 | Q4_K_M | Migliore quant. comoda | Contesto max (Q4_K_M) | Velocità decod. (Q4_K_M) |
|---|---|---|---|---|---|---|
|
DeepSeek-R1 (671B MoE)
671B · MLA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
DeepSeek-V3-0324 (671B MoE)
671B · MLA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Llama-70B
70.6B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Qwen-32B
32.8B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Al limite (>90% usabile) | Q4_K_M | 44,216 token | 39.4 tok/s |
|
Qwen3-235B-A22B (MoE)
235B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Qwen3-30B-A3B (MoE)
30.5B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Entra comodamente | Q5_K_M | 132,520 token | 214.7 tok/s |
|
Qwen3-32B
32.8B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Al limite (>90% usabile) | Q4_K_M | 44,216 token | 39.4 tok/s |
|
Qwen3-14B
14.8B · GQA
|
Memoria esaurita (OOM) | Entra comodamente | Entra comodamente | FP8 | 139,349 token | 78.2 tok/s |
|
Qwen3-8B
8.2B · GQA
|
Entra comodamente | Entra comodamente | Entra comodamente | FP16 / BF16 | 182,781 token | 114.4 tok/s |
|
QwQ-32B (Reasoning)
32.8B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Al limite (>90% usabile) | Q4_K_M | 44,216 token | 39.4 tok/s |
|
Qwen2.5-Coder-32B-Instruct
32.8B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Al limite (>90% usabile) | Q4_K_M | 44,216 token | 39.4 tok/s |
|
Qwen2.5-72B-Instruct
72.7B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Llama 4 Maverick (400B / 17B-128E MoE)
402B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Llama 4 Scout (109B / 17B-16E MoE)
109B · HYBRID_SWA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Llama 3.3 70B Instruct
70.6B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Llama 3.1 405B Instruct
405B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Llama 3.1 8B Instruct
8.03B · GQA
|
Entra comodamente | Entra comodamente | Entra comodamente | FP16 / BF16 | 206,439 token | 122.3 tok/s |
|
Gemma 3 27B IT (Multimodal)
27.4B · HYBRID_SWA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Entra comodamente | Q6_K | 29,460 token | 56.8 tok/s |
|
Gemma 3 12B IT (Multimodal)
12.2B · HYBRID_SWA
|
Al limite (>90% usabile) | Entra comodamente | Entra comodamente | FP16 / BF16 | 62,191 token | 113.5 tok/s |
|
Mistral Small 3.1 (24B)
24B · GQA
|
Memoria esaurita (OOM) | Al limite (>90% usabile) | Entra comodamente | Q6_K | 104,285 token | 56.3 tok/s |
|
Mistral Large 2411 (123B)
123B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
|
Codestral 22B
22.2B · GQA
|
Memoria esaurita (OOM) | Al limite (>90% usabile) | Entra comodamente | Q6_K | 79,389 token | 53.4 tok/s |
|
Devstral Small (24B SWE Agent)
23.6B · GQA
|
Memoria esaurita (OOM) | Al limite (>90% usabile) | Entra comodamente | Q6_K | 105,810 token | 57.0 tok/s |
|
GLM-4-32B-0414
32B · GQA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Entra comodamente | Q5_K_M | 193,562 token | 52.3 tok/s |
|
GLM-4-9B-0414
9.4B · GQA
|
Entra comodamente | Entra comodamente | Entra comodamente | FP16 / BF16 | 639,720 token | 159.2 tok/s |
|
Microsoft Phi-4 (14B)
14.7B · GQA
|
Memoria esaurita (OOM) | Entra comodamente | Entra comodamente | FP8 | 111,784 token | 71.8 tok/s |
|
Microsoft Phi-4-mini-instruct (3.8B)
3.84B · GQA
|
Entra comodamente | Entra comodamente | Entra comodamente | FP16 / BF16 | 226,400 token | 169.3 tok/s |
|
Cohere Command A (111B)
111B · HYBRID_SWA
|
Memoria esaurita (OOM) | Memoria esaurita (OOM) | Memoria esaurita (OOM) | — | — | — |
Confronta altre fasce di capacità GPU e Apple Silicon
RTX 3090 24GB
24 GB · 936 GB/s
RTX 4090 24GB
24 GB · 1,008 GB/s
Apple M-Max 64GB
64 GB · 546 GB/s
Mac Studio 128GB
128 GB · 546 GB/s
Mac Studio 192GB
192 GB · 800 GB/s
NVIDIA A100 80GB
80 GB · 2,039 GB/s
NVIDIA H100 80GB
80 GB · 3,350 GB/s