NVIDIA H100 SXM5 (80 GB HBM3) — Lauffähige Modelle, maximaler Kontext & tok/s-Richtwerte
NVIDIA H100 SXM5 (80 GB HBM3) bietet 80 GB Speicher (73.6 GB standardmäßig nutzbares Limit) mit 3,350 GB/s externer Bandbreite und 989 TFLOPS FP16-Leistung (~$2.39/Std. typischer Cloud-Tarif, 700W TDP).
- Physischer Speicher
- 80 GB
- Default / Tuned Usable
- 73.6 / 76.8 GB
- Speicherbandbreite
- 3,350 GB/s
- FP16-Rechenleistung
- 989 TFLOPS
- Typischer Cloud-$/Std. / CapEx
- $2.39/hr · $27,500
- TDP / Native FP8
- 700W · FP8 Yes
Interaktiver Workload-Simulator auf NVIDIA H100 80GB
Automatisch kompilierte Parameter-Schutzregeln
Tensorparallelität verteilt Attention-Heads und MLP-Matrizen über NVLink- oder PCIe-GPUs; daher muss --tensor-parallel-size die Anzahl der Query- und KV-Heads ganzzahlig teilen und zugleich Spielraum für NCCL-All-Reduce-Puffer sowie CUDA-Graph-Erfassung lassen.
Bei der autoregressiven Einzel-Stream-Generierung müssen für jedes ausgegebene Token die aktiven Modellgewichte aus dem VRAM in die Recheneinheiten gelesen werden. Eine Verdopplung der Speicherbandbreite (etwa von 546 GB/s auf 1,792 GB/s mit GDDR7 oder 3,350 GB/s mit HBM3) verdoppelt bei gleicher Quantisierung nahezu die tok/s-Rate.
Open-Weight-LLM-Kompatibilitätsmatrix auf 1× NVIDIA H100 80GB (32K Kontext)
| Modell & Familie | FP16 | Q8_0 | Q4_K_M | Beste komfortable Quant. | Max. Kontext (Q4_K_M) | Decode-Tempo (Q4_K_M) |
|---|---|---|---|---|---|---|
|
DeepSeek-R1 (671B MoE)
671B · MLA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
DeepSeek-V3-0324 (671B MoE)
671B · MLA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Llama-70B
70.6B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Passt komfortabel | Q6_K | 114,335 Tokens | 41.4 tok/s |
|
DeepSeek-R1-Distill-Qwen-32B
32.8B · GQA
|
Knapp (>90 % nutzbar) | Passt komfortabel | Passt komfortabel | FP8 | 232,960 Tokens | 77.9 tok/s |
|
Qwen3-235B-A22B (MoE)
235B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Qwen3-30B-A3B (MoE)
30.5B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 635,837 Tokens | 425.0 tok/s |
|
Qwen3-32B
32.8B · GQA
|
Knapp (>90 % nutzbar) | Passt komfortabel | Passt komfortabel | FP8 | 232,960 Tokens | 77.9 tok/s |
|
Qwen3-14B
14.8B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 441,339 Tokens | 154.7 tok/s |
|
Qwen3-8B
8.2B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 518,326 Tokens | 226.4 tok/s |
|
QwQ-32B (Reasoning)
32.8B · GQA
|
Knapp (>90 % nutzbar) | Passt komfortabel | Passt komfortabel | FP8 | 232,960 Tokens | 77.9 tok/s |
|
Qwen2.5-Coder-32B-Instruct
32.8B · GQA
|
Knapp (>90 % nutzbar) | Passt komfortabel | Passt komfortabel | FP8 | 232,960 Tokens | 77.9 tok/s |
|
Qwen2.5-72B-Instruct
72.7B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Passt komfortabel | Q6_K | 110,333 Tokens | 40.5 tok/s |
|
Llama 4 Maverick (400B / 17B-128E MoE)
402B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 4 Scout (109B / 17B-16E MoE)
109B · HYBRID_SWA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | IQ4_XS | 68,598 Tokens | 167.5 tok/s |
|
Llama 3.3 70B Instruct
70.6B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Passt komfortabel | Q6_K | 114,335 Tokens | 41.4 tok/s |
|
Llama 3.1 405B Instruct
405B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | — | — |
|
Llama 3.1 8B Instruct
8.03B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 583,926 Tokens | 242.2 tok/s |
|
Gemma 3 27B IT (Multimodal)
27.4B · HYBRID_SWA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 126,876 Tokens | 112.5 tok/s |
|
Gemma 3 12B IT (Multimodal)
12.2B · HYBRID_SWA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 188,020 Tokens | 224.6 tok/s |
|
Mistral Small 3.1 (24B)
24B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 406,275 Tokens | 111.4 tok/s |
|
Mistral Large 2411 (123B)
123B · GQA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | — | 13,163 Tokens | — |
|
Codestral 22B
22.2B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 295,097 Tokens | 105.8 tok/s |
|
Devstral Small (24B SWE Agent)
23.6B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 407,800 Tokens | 112.8 tok/s |
|
GLM-4-32B-0414
32B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 985,666 Tokens | 103.5 tok/s |
|
GLM-4-9B-0414
9.4B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 1,048,576 Tokens | 315.2 tok/s |
|
Microsoft Phi-4 (14B)
14.7B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 353,376 Tokens | 142.0 tok/s |
|
Microsoft Phi-4-mini-instruct (3.8B)
3.84B · GQA
|
Passt komfortabel | Passt komfortabel | Passt komfortabel | FP16 / BF16 | 603,888 Tokens | 335.1 tok/s |
|
Cohere Command A (111B)
111B · HYBRID_SWA
|
Zu wenig Speicher (OOM) | Zu wenig Speicher (OOM) | Knapp (>90 % nutzbar) | IQ4_XS | 46,684 Tokens | 31.6 tok/s |
Weitere GPU- & Apple-Silicon-Kapazitätsklassen vergleichen
RTX 3090 24GB
24 GB · 936 GB/s
RTX 4090 24GB
24 GB · 1,008 GB/s
RTX 5090 32GB
32 GB · 1,792 GB/s
Apple M-Max 64GB
64 GB · 546 GB/s
Mac Studio 128GB
128 GB · 546 GB/s
Mac Studio 192GB
192 GB · 800 GB/s
NVIDIA A100 80GB
80 GB · 2,039 GB/s