NVIDIA H100 SXM5 (80 GB HBM3) — Modelli eseguibili, contesto massimo e prestazioni in tok/s

Memoria fisica: 80 GB
Default / Tuned Usable: 73.6 / 76.8 GB
Banda di memoria: 3,350 GB/s
Calcolo FP16: 989 TFLOPS
Tariffa cloud tipica $/h / CapEx: $2.39/hr · $27,500
TDP / Native FP8: 700W · FP8 Yes

Apri nel calcolatore VRAM → Genera config vLLM / Ollama → Confronta GPU self-hosted vs API →

Simulatore interattivo dei carichi di lavoro su NVIDIA H100 80GB

Preset modello open-weight (o personalizzato)

Numero multi-dispositivo (da 1× a 8× NVIDIA H100 80GB)

Quantizzazione dei pesi (bpw)

Precisione KV Cache

Lunghezza contesto (token) 32,768 token

Ripartizione memoria e limite di banda passante

Entra comodamente

Pesi del modello: 76% KV: 19.1% Overhead: 4.9%

Memoria totale richiesta

52.45 GB

Allocazione per dispositivo: 52.45 / 80 GB

Pesi del modello

39.86 GB

KV: 10.00 GB

Decodifica stimata (singolo flusso)

41.4 tok/s

Throughput batch stimato: 41.4 tok/s

Contesto max prima di OOM

114,335

token

Controlli di sicurezza sui flag compilati automaticamente

Il parallelismo tensoriale suddivide le teste di attenzione e le matrici MLP tra dispositivi NVLink o PCIe; pertanto --tensor-parallel-size deve dividere esattamente il numero di teste di query e KV lasciando margine per i buffer all-reduce NCCL e la cattura dei grafi CUDA.

Durante la generazione autoregressiva a singolo utente, ogni token prodotto richiede la lettura dei pesi attivi del modello dalla VRAM verso le unità di calcolo. Raddoppiare la banda di memoria (ad esempio passando da 546 GB/s a 1,792 GB/s su GDDR7 o 3,350 GB/s su HBM3) raddoppia quasi i tok/s a parità di quantizzazione.

Matrice di compatibilità LLM open-weight su 1× NVIDIA H100 80GB (contesto 32K)

Stato di compatibilità e tok/s stimati in decodifica singolo flusso per FP16, Q8_0 e Q4_K_M su singolo dispositivo
Modello e famiglia	FP16	Q8_0	Q4_K_M	Migliore quant. comoda	Contesto max (Q4_K_M)	Velocità decod. (Q4_K_M)
DeepSeek-R1 (671B MoE) 671B · MLA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	—	—
DeepSeek-V3-0324 (671B MoE) 671B · MLA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	—	—
DeepSeek-R1-Distill-Llama-70B 70.6B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Entra comodamente	Q6_K	114,335 token	41.4 tok/s
DeepSeek-R1-Distill-Qwen-32B 32.8B · GQA	Al limite (>90% usabile)	Entra comodamente	Entra comodamente	FP8	232,960 token	77.9 tok/s
Qwen3-235B-A22B (MoE) 235B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	—	—
Qwen3-30B-A3B (MoE) 30.5B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	635,837 token	425.0 tok/s
Qwen3-32B 32.8B · GQA	Al limite (>90% usabile)	Entra comodamente	Entra comodamente	FP8	232,960 token	77.9 tok/s
Qwen3-14B 14.8B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	441,339 token	154.7 tok/s
Qwen3-8B 8.2B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	518,326 token	226.4 tok/s
QwQ-32B (Reasoning) 32.8B · GQA	Al limite (>90% usabile)	Entra comodamente	Entra comodamente	FP8	232,960 token	77.9 tok/s
Qwen2.5-Coder-32B-Instruct 32.8B · GQA	Al limite (>90% usabile)	Entra comodamente	Entra comodamente	FP8	232,960 token	77.9 tok/s
Qwen2.5-72B-Instruct 72.7B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Entra comodamente	Q6_K	110,333 token	40.5 tok/s
Llama 4 Maverick (400B / 17B-128E MoE) 402B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	—	—
Llama 4 Scout (109B / 17B-16E MoE) 109B · HYBRID_SWA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Al limite (>90% usabile)	IQ4_XS	68,598 token	167.5 tok/s
Llama 3.3 70B Instruct 70.6B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Entra comodamente	Q6_K	114,335 token	41.4 tok/s
Llama 3.1 405B Instruct 405B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	—	—
Llama 3.1 8B Instruct 8.03B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	583,926 token	242.2 tok/s
Gemma 3 27B IT (Multimodal) 27.4B · HYBRID_SWA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	126,876 token	112.5 tok/s
Gemma 3 12B IT (Multimodal) 12.2B · HYBRID_SWA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	188,020 token	224.6 tok/s
Mistral Small 3.1 (24B) 24B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	406,275 token	111.4 tok/s
Mistral Large 2411 (123B) 123B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	13,163 token	—
Codestral 22B 22.2B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	295,097 token	105.8 tok/s
Devstral Small (24B SWE Agent) 23.6B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	407,800 token	112.8 tok/s
GLM-4-32B-0414 32B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	985,666 token	103.5 tok/s
GLM-4-9B-0414 9.4B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	1,048,576 token	315.2 tok/s
Microsoft Phi-4 (14B) 14.7B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	353,376 token	142.0 tok/s
Microsoft Phi-4-mini-instruct (3.8B) 3.84B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	603,888 token	335.1 tok/s
Cohere Command A (111B) 111B · HYBRID_SWA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Al limite (>90% usabile)	IQ4_XS	46,684 token	31.6 tok/s