NVIDIA A100 SXM4 (80 GB HBM2e) — Modelli eseguibili, contesto massimo e prestazioni in tok/s

Memoria fisica: 80 GB
Default / Tuned Usable: 73.6 / 76.8 GB
Banda di memoria: 2,039 GB/s
Calcolo FP16: 312 TFLOPS
Tariffa cloud tipica $/h / CapEx: $1.49/hr · $14,500
TDP / Native FP8: 400W · FP16/INT4

Apri nel calcolatore VRAM → Genera config vLLM / Ollama → Confronta GPU self-hosted vs API →

Simulatore interattivo dei carichi di lavoro su NVIDIA A100 80GB

Preset modello open-weight (o personalizzato)

Numero multi-dispositivo (da 1× a 8× NVIDIA A100 80GB)

Quantizzazione dei pesi (bpw)

Precisione KV Cache

Lunghezza contesto (token) 32,768 token

Ripartizione memoria e limite di banda passante

Entra comodamente

Pesi del modello: 76% KV: 19.1% Overhead: 4.9%

Memoria totale richiesta

52.45 GB

Allocazione per dispositivo: 52.45 / 80 GB

Pesi del modello

39.86 GB

KV: 10.00 GB

Decodifica stimata (singolo flusso)

25.2 tok/s

Throughput batch stimato: 25.2 tok/s

Contesto max prima di OOM

114,335

token

Controlli di sicurezza sui flag compilati automaticamente

Il parallelismo tensoriale suddivide le teste di attenzione e le matrici MLP tra dispositivi NVLink o PCIe; pertanto --tensor-parallel-size deve dividere esattamente il numero di teste di query e KV lasciando margine per i buffer all-reduce NCCL e la cattura dei grafi CUDA.

Durante la generazione autoregressiva a singolo utente, ogni token prodotto richiede la lettura dei pesi attivi del modello dalla VRAM verso le unità di calcolo. Raddoppiare la banda di memoria (ad esempio passando da 546 GB/s a 1,792 GB/s su GDDR7 o 3,350 GB/s su HBM3) raddoppia quasi i tok/s a parità di quantizzazione.

Matrice di compatibilità LLM open-weight su 1× NVIDIA A100 80GB (contesto 32K)

Stato di compatibilità e tok/s stimati in decodifica singolo flusso per FP16, Q8_0 e Q4_K_M su singolo dispositivo
Modello e famiglia	FP16	Q8_0	Q4_K_M	Migliore quant. comoda	Contesto max (Q4_K_M)	Velocità decod. (Q4_K_M)
DeepSeek-R1 (671B MoE) 671B · MLA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	—	—
DeepSeek-V3-0324 (671B MoE) 671B · MLA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	—	—
DeepSeek-R1-Distill-Llama-70B 70.6B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Entra comodamente	Q6_K	114,335 token	25.2 tok/s
DeepSeek-R1-Distill-Qwen-32B 32.8B · GQA	Al limite (>90% usabile)	Entra comodamente	Entra comodamente	Q8_0	232,960 token	47.4 tok/s
Qwen3-235B-A22B (MoE) 235B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	—	—
Qwen3-30B-A3B (MoE) 30.5B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	635,837 token	258.7 tok/s
Qwen3-32B 32.8B · GQA	Al limite (>90% usabile)	Entra comodamente	Entra comodamente	Q8_0	232,960 token	47.4 tok/s
Qwen3-14B 14.8B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	441,339 token	94.2 tok/s
Qwen3-8B 8.2B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	518,326 token	137.8 tok/s
QwQ-32B (Reasoning) 32.8B · GQA	Al limite (>90% usabile)	Entra comodamente	Entra comodamente	Q8_0	232,960 token	47.4 tok/s
Qwen2.5-Coder-32B-Instruct 32.8B · GQA	Al limite (>90% usabile)	Entra comodamente	Entra comodamente	Q8_0	232,960 token	47.4 tok/s
Qwen2.5-72B-Instruct 72.7B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Entra comodamente	Q6_K	110,333 token	24.6 tok/s
Llama 4 Maverick (400B / 17B-128E MoE) 402B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	—	—
Llama 4 Scout (109B / 17B-16E MoE) 109B · HYBRID_SWA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Al limite (>90% usabile)	IQ4_XS	68,598 token	102.0 tok/s
Llama 3.3 70B Instruct 70.6B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Entra comodamente	Q6_K	114,335 token	25.2 tok/s
Llama 3.1 405B Instruct 405B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	—	—
Llama 3.1 8B Instruct 8.03B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	583,926 token	147.4 tok/s
Gemma 3 27B IT (Multimodal) 27.4B · HYBRID_SWA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	126,876 token	68.4 tok/s
Gemma 3 12B IT (Multimodal) 12.2B · HYBRID_SWA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	188,020 token	136.7 tok/s
Mistral Small 3.1 (24B) 24B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	406,275 token	67.8 tok/s
Mistral Large 2411 (123B) 123B · GQA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Memoria esaurita (OOM)	—	13,163 token	—
Codestral 22B 22.2B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	295,097 token	64.4 tok/s
Devstral Small (24B SWE Agent) 23.6B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	407,800 token	68.6 tok/s
GLM-4-32B-0414 32B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	985,666 token	63.0 tok/s
GLM-4-9B-0414 9.4B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	1,048,576 token	191.8 tok/s
Microsoft Phi-4 (14B) 14.7B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	353,376 token	86.5 tok/s
Microsoft Phi-4-mini-instruct (3.8B) 3.84B · GQA	Entra comodamente	Entra comodamente	Entra comodamente	FP16 / BF16	603,888 token	203.9 tok/s
Cohere Command A (111B) 111B · HYBRID_SWA	Memoria esaurita (OOM)	Memoria esaurita (OOM)	Al limite (>90% usabile)	IQ4_XS	46,684 token	19.2 tok/s