NVIDIA A100 SXM4 (80 GB HBM2e) — Modelos compatibles, contexto máximo y rendimiento en tok/s

Memoria física: 80 GB
Default / Tuned Usable: 73.6 / 76.8 GB
Ancho de banda de memoria: 2,039 GB/s
Cómputo FP16: 312 TFLOPS
Tarifa nube típica $/h / CapEx: $1.49/hr · $14,500
TDP / Native FP8: 400W · FP16/INT4

Cargar en la calculadora de VRAM → Generar config de vLLM / Ollama → Comparar GPU propia vs API →

Simulador interactivo de cargas de trabajo en NVIDIA A100 80GB

Modelo predefinido de pesos abiertos (o personalizado)

Cantidad multidispositivo (1× a 8× NVIDIA A100 80GB)

Cuantización de pesos (bpw)

Precisión de caché KV

Longitud de contexto (tokens) 32,768 tokens

Desglose de memoria y techo de ancho de banda

Cabe con holgura

Pesos del modelo: 76% KV: 19.1% Overhead: 4.9%

Memoria total requerida

52.45 GB

Asignación por dispositivo: 52.45 / 80 GB

Pesos del modelo

39.86 GB

KV: 10.00 GB

Decodificación estimada (1 flujo)

25.2 tok/s

Rendimiento estimado por lotes: 25.2 tok/s

Contexto máx. antes de OOM

114,335

tokens

Salvaguardas clave de parámetros compiladas automáticamente

El paralelismo de tensores divide las cabezas de atención y las matrices MLP entre dispositivos NVLink o PCIe, por lo que --tensor-parallel-size debe dividir exactamente el número de cabezas de consulta y KV dejando margen para los búferes all-reduce de NCCL y la captura de grafos CUDA.

Durante la generación autorregresiva de un solo usuario, cada token de salida exige leer los pesos activos del modelo desde la VRAM hacia los núcleos de cómputo. Duplicar el ancho de banda de memoria (por ejemplo, pasar de 546 GB/s a 1,792 GB/s en GDDR7 o 3,350 GB/s en HBM3) prácticamente duplica los tok/s con idéntica cuantización.

Matriz de compatibilidad de LLM de pesos abiertos en 1× NVIDIA A100 80GB (contexto 32K)

Estado de ajuste y tok/s estimados de decodificación de flujo único en FP16, Q8_0 y Q4_K_M sobre un solo dispositivo
Modelo y familia	FP16	Q8_0	Q4_K_M	Mejor cuantización holgada	Contexto máx. (Q4_K_M)	Velocidad decod. (Q4_K_M)
DeepSeek-R1 (671B MoE) 671B · MLA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	—	—	—
DeepSeek-V3-0324 (671B MoE) 671B · MLA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	—	—	—
DeepSeek-R1-Distill-Llama-70B 70.6B · GQA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Cabe con holgura	Q6_K	114,335 tokens	25.2 tok/s
DeepSeek-R1-Distill-Qwen-32B 32.8B · GQA	Ajustado (>90 % útil)	Cabe con holgura	Cabe con holgura	Q8_0	232,960 tokens	47.4 tok/s
Qwen3-235B-A22B (MoE) 235B · GQA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	—	—	—
Qwen3-30B-A3B (MoE) 30.5B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	635,837 tokens	258.7 tok/s
Qwen3-32B 32.8B · GQA	Ajustado (>90 % útil)	Cabe con holgura	Cabe con holgura	Q8_0	232,960 tokens	47.4 tok/s
Qwen3-14B 14.8B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	441,339 tokens	94.2 tok/s
Qwen3-8B 8.2B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	518,326 tokens	137.8 tok/s
QwQ-32B (Reasoning) 32.8B · GQA	Ajustado (>90 % útil)	Cabe con holgura	Cabe con holgura	Q8_0	232,960 tokens	47.4 tok/s
Qwen2.5-Coder-32B-Instruct 32.8B · GQA	Ajustado (>90 % útil)	Cabe con holgura	Cabe con holgura	Q8_0	232,960 tokens	47.4 tok/s
Qwen2.5-72B-Instruct 72.7B · GQA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Cabe con holgura	Q6_K	110,333 tokens	24.6 tok/s
Llama 4 Maverick (400B / 17B-128E MoE) 402B · GQA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	—	—	—
Llama 4 Scout (109B / 17B-16E MoE) 109B · HYBRID_SWA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Ajustado (>90 % útil)	IQ4_XS	68,598 tokens	102.0 tok/s
Llama 3.3 70B Instruct 70.6B · GQA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Cabe con holgura	Q6_K	114,335 tokens	25.2 tok/s
Llama 3.1 405B Instruct 405B · GQA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	—	—	—
Llama 3.1 8B Instruct 8.03B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	583,926 tokens	147.4 tok/s
Gemma 3 27B IT (Multimodal) 27.4B · HYBRID_SWA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	126,876 tokens	68.4 tok/s
Gemma 3 12B IT (Multimodal) 12.2B · HYBRID_SWA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	188,020 tokens	136.7 tok/s
Mistral Small 3.1 (24B) 24B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	406,275 tokens	67.8 tok/s
Mistral Large 2411 (123B) 123B · GQA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	—	13,163 tokens	—
Codestral 22B 22.2B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	295,097 tokens	64.4 tok/s
Devstral Small (24B SWE Agent) 23.6B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	407,800 tokens	68.6 tok/s
GLM-4-32B-0414 32B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	985,666 tokens	63.0 tok/s
GLM-4-9B-0414 9.4B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	1,048,576 tokens	191.8 tok/s
Microsoft Phi-4 (14B) 14.7B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	353,376 tokens	86.5 tok/s
Microsoft Phi-4-mini-instruct (3.8B) 3.84B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	603,888 tokens	203.9 tok/s
Cohere Command A (111B) 111B · HYBRID_SWA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Ajustado (>90 % útil)	IQ4_XS	46,684 tokens	19.2 tok/s