NVIDIA GeForce RTX 4090 (24 GB GDDR6X) — Lauffähige Modelle, maximaler Kontext & tok/s-Richtwerte
NVIDIA GeForce RTX 4090 (24 GB GDDR6X) bietet 24 GB Speicher (22.1 GB standardmäßig nutzbares Limit) mit 1,008 GB/s externer Bandbreite und 165.2 TFLOPS FP16-Leistung (~$0.44/Std. typischer Cloud-Tarif, 450W TDP).
- Physischer Speicher
- 24 GB
- Default / Tuned Usable
- 22.1 / 23.0 GB
- Speicherbandbreite
- 1,008 GB/s
- FP16-Rechenleistung
- 165.2 TFLOPS
- Typischer Cloud-$/Std. / CapEx
- $0.44/hr · $1,799
- TDP / Native FP8
- 450W · FP8 Yes
Interaktiver Workload-Simulator auf RTX 4090 24GB
Automatisch kompilierte Parameter-Schutzregeln
Tensorparallelität verteilt Attention-Heads und MLP-Matrizen über NVLink- oder PCIe-GPUs; daher muss --tensor-parallel-size die Anzahl der Query- und KV-Heads ganzzahlig teilen und zugleich Spielraum für NCCL-All-Reduce-Puffer sowie CUDA-Graph-Erfassung lassen.
Bei der autoregressiven Einzel-Stream-Generierung müssen für jedes ausgegebene Token die aktiven Modellgewichte aus dem VRAM in die Recheneinheiten gelesen werden. Eine Verdopplung der Speicherbandbreite (etwa von 546 GB/s auf 1,792 GB/s mit GDDR7 oder 3,350 GB/s mit HBM3) verdoppelt bei gleicher Quantisierung nahezu die tok/s-Rate.
Open-Weight-LLM-Kompatibilitätsmatrix auf 1× RTX 4090 24GB (32K Kontext)
| Modell & Familie | FP16 | Q8_0 | Q4_K_M | Beste komfortable Quant. | Max. Kontext (Q4_K_M) | Decode-Tempo (Q4_K_M) |
|---|---|---|---|---|---|---|
|
DeepSeek-R1 (671B MoE)
671B · MLA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
DeepSeek-V3-0324 (671B MoE)
671B · MLA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Llama-70B
70.6B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Qwen-32B
32.8B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | 12,759 Tokens | — |
|
Qwen3-235B-A22B (MoE)
235B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Qwen3-30B-A3B (MoE)
30.5B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | IQ4_XS | 48,634 Tokens | 120.8 tok/s |
|
Qwen3-32B
32.8B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | 12,759 Tokens | — |
|
Qwen3-14B
14.8B · GQA
|
Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Passt komfortabel | FP8 | 89,017 Tokens | 44.0 tok/s |
|
Qwen3-8B
8.2B · GQA
|
Knapp (>90 % nutzbar) | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 126,857 Tokens | 64.3 tok/s |
|
QwQ-32B (Reasoning)
32.8B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | 12,759 Tokens | — |
|
Qwen2.5-Coder-32B-Instruct
32.8B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | 12,759 Tokens | — |
|
Qwen2.5-72B-Instruct
72.7B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 4 Maverick (400B / 17B-128E MoE)
402B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 4 Scout (109B / 17B-16E MoE)
109B · HYBRID_SWA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 3.3 70B Instruct
70.6B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 3.1 405B Instruct
405B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 3.1 8B Instruct
8.03B · GQA
|
Knapp (>90 % nutzbar) | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 143,524 Tokens | 68.8 tok/s |
|
Gemma 3 27B IT (Multimodal)
27.4B · HYBRID_SWA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Q4_K_M | 13,224 Tokens | 32.0 tok/s |
|
Gemma 3 12B IT (Multimodal)
12.2B · HYBRID_SWA
|
Zu wenig Speicher (OOM) | Passt komfortabel | Passt komfortabel | FP8 | 41,219 Tokens | 63.8 tok/s |
|
Mistral Small 3.1 (24B)
24B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Q4_K_M | 53,954 Tokens | 31.7 tok/s |
|
Mistral Large 2411 (123B)
123B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Codestral 22B
22.2B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Q4_K_M | 43,438 Tokens | 30.1 tok/s |
|
Devstral Small (24B SWE Agent)
23.6B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Q5_K_M | 55,478 Tokens | 32.0 tok/s |
|
GLM-4-32B-0414
32B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | IQ4_XS | 61,544 Tokens | 29.4 tok/s |
|
GLM-4-9B-0414
9.4B · GQA
|
Knapp (>90 % nutzbar) | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 438,394 Tokens | 89.6 tok/s |
|
Microsoft Phi-4 (14B)
14.7B · GQA
|
Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | Passt komfortabel | FP8 | 71,519 Tokens | 40.4 tok/s |
|
Microsoft Phi-4-mini-instruct (3.8B)
3.84B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 163,486 Tokens | 95.2 tok/s |
|
Cohere Command A (111B)
111B · HYBRID_SWA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
Weitere GPU- & Apple-Silicon-Kapazitätsklassen vergleichen
RTX 3090 24GB
24 GB · 936 GB/s
RTX 5090 32GB
32 GB · 1,792 GB/s
Apple M-Max 64GB
64 GB · 546 GB/s
Mac Studio 128GB
128 GB · 546 GB/s
Mac Studio 192GB
192 GB · 800 GB/s
NVIDIA A100 80GB
80 GB · 2,039 GB/s
NVIDIA H100 80GB
80 GB · 3,350 GB/s