NVIDIA GeForce RTX 5090 (32 GB GDDR7) — Lauffähige Modelle, maximaler Kontext & tok/s-Richtwerte
NVIDIA GeForce RTX 5090 (32 GB GDDR7) bietet 32 GB Speicher (29.4 GB standardmäßig nutzbares Limit) mit 1,792 GB/s externer Bandbreite und 209.5 TFLOPS FP16-Leistung (~$0.79/Std. typischer Cloud-Tarif, 575W TDP).
- Physischer Speicher
- 32 GB
- Default / Tuned Usable
- 29.4 / 30.7 GB
- Speicherbandbreite
- 1,792 GB/s
- FP16-Rechenleistung
- 209.5 TFLOPS
- Typischer Cloud-$/Std. / CapEx
- $0.79/hr · $2,199
- TDP / Native FP8
- 575W · FP8 Yes
Interaktiver Workload-Simulator auf RTX 5090 32GB
Automatisch kompilierte Parameter-Schutzregeln
Tensorparallelität verteilt Attention-Heads und MLP-Matrizen über NVLink- oder PCIe-GPUs; daher muss --tensor-parallel-size die Anzahl der Query- und KV-Heads ganzzahlig teilen und zugleich Spielraum für NCCL-All-Reduce-Puffer sowie CUDA-Graph-Erfassung lassen.
Bei der autoregressiven Einzel-Stream-Generierung müssen für jedes ausgegebene Token die aktiven Modellgewichte aus dem VRAM in die Recheneinheiten gelesen werden. Eine Verdopplung der Speicherbandbreite (etwa von 546 GB/s auf 1,792 GB/s mit GDDR7 oder 3,350 GB/s mit HBM3) verdoppelt bei gleicher Quantisierung nahezu die tok/s-Rate.
Open-Weight-LLM-Kompatibilitätsmatrix auf 1× RTX 5090 32GB (32K Kontext)
| Modell & Familie | FP16 | Q8_0 | Q4_K_M | Beste komfortable Quant. | Max. Kontext (Q4_K_M) | Decode-Tempo (Q4_K_M) |
|---|---|---|---|---|---|---|
|
DeepSeek-R1 (671B MoE)
671B · MLA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
DeepSeek-V3-0324 (671B MoE)
671B · MLA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Llama-70B
70.6B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Qwen-32B
32.8B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Q4_K_M | 44,216 Tokens | 39.4 tok/s |
|
Qwen3-235B-A22B (MoE)
235B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Qwen3-30B-A3B (MoE)
30.5B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Passt komfortabel | Q5_K_M | 132,520 Tokens | 214.7 tok/s |
|
Qwen3-32B
32.8B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Q4_K_M | 44,216 Tokens | 39.4 tok/s |
|
Qwen3-14B
14.8B · GQA
|
Zu wenig Speicher (OOM) | Passt komfortabel | Passt komfortabel | FP8 | 139,349 Tokens | 78.2 tok/s |
|
Qwen3-8B
8.2B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 182,781 Tokens | 114.4 tok/s |
|
QwQ-32B (Reasoning)
32.8B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Q4_K_M | 44,216 Tokens | 39.4 tok/s |
|
Qwen2.5-Coder-32B-Instruct
32.8B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Q4_K_M | 44,216 Tokens | 39.4 tok/s |
|
Qwen2.5-72B-Instruct
72.7B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 4 Maverick (400B / 17B-128E MoE)
402B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 4 Scout (109B / 17B-16E MoE)
109B · HYBRID_SWA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 3.3 70B Instruct
70.6B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 3.1 405B Instruct
405B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 3.1 8B Instruct
8.03B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 206,439 Tokens | 122.3 tok/s |
|
Gemma 3 27B IT (Multimodal)
27.4B · HYBRID_SWA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Passt komfortabel | Q6_K | 29,460 Tokens | 56.8 tok/s |
|
Gemma 3 12B IT (Multimodal)
12.2B · HYBRID_SWA
|
Knapp (>90 % nutzbar) | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 62,191 Tokens | 113.5 tok/s |
|
Mistral Small 3.1 (24B)
24B · GQA
|
Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Passt komfortabel | Q6_K | 104,285 Tokens | 56.3 tok/s |
|
Mistral Large 2411 (123B)
123B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Codestral 22B
22.2B · GQA
|
Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Passt komfortabel | Q6_K | 79,389 Tokens | 53.4 tok/s |
|
Devstral Small (24B SWE Agent)
23.6B · GQA
|
Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Passt komfortabel | Q6_K | 105,810 Tokens | 57.0 tok/s |
|
GLM-4-32B-0414
32B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Passt komfortabel | Q5_K_M | 193,562 Tokens | 52.3 tok/s |
|
GLM-4-9B-0414
9.4B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 639,720 Tokens | 159.2 tok/s |
|
Microsoft Phi-4 (14B)
14.7B · GQA
|
Zu wenig Speicher (OOM) | Passt komfortabel | Passt komfortabel | FP8 | 111,784 Tokens | 71.8 tok/s |
|
Microsoft Phi-4-mini-instruct (3.8B)
3.84B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 226,400 Tokens | 169.3 tok/s |
|
Cohere Command A (111B)
111B · HYBRID_SWA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
Weitere GPU- & Apple-Silicon-Kapazitätsklassen vergleichen
RTX 3090 24GB
24 GB · 936 GB/s
RTX 4090 24GB
24 GB · 1,008 GB/s
Apple M-Max 64GB
64 GB · 546 GB/s
Mac Studio 128GB
128 GB · 546 GB/s
Mac Studio 192GB
192 GB · 800 GB/s
NVIDIA A100 80GB
80 GB · 2,039 GB/s
NVIDIA H100 80GB
80 GB · 3,350 GB/s