Calculadora de VRAM, caché KV y rendimiento para LLM

Entorno interactivo de VRAM, caché KV y velocidad de decodificación

Modelo predefinido de pesos abiertos (o personalizado)

Cuantización de pesos (bpw)

Precisión de caché KV

GPU objetivo / nivel de memoria unificada

Dispositivos (TP)

Longitud de contexto (tokens) 32,768 tokens

Secuencias concurrentes (lote) 1

Inspeccionar o ajustar dimensiones brutas del Transformer (capas, cabezas KV, rango MLA, expertos MoE)

Topología y atención

Mecanismo de atención

Parámetros totales (B)

Parámetros activos / token (B)

Capas ocultas

Tamaño oculto

Cabezas de consulta

Cabezas KV

Dimensión de cabeza

MLA kv_lora_rank

SWA Window

Desglose de memoria y techo de ancho de banda

Ajustado (>90 % útil)

Pesos del modelo: 65.5% KV Cache: 28.3% Sobrecarga de runtime y TP: 6.2%

Memoria total requerida

28.28 GB

88.4% of 32 GB

Asignación por dispositivo

28.28 GB

Usable: 29.4 GB

Pesos del modelo

18.52 GB

Sobrecarga de runtime y TP: 1.76 GB

Caché KV (FP16)

8.00 GB

MHA FP16: 64.00 GB

Decodificación estimada (1 flujo)

39.4 tok/s

Rendimiento estimado por lotes: 39.4 tok/s

Contexto máx. antes de OOM

44,216

tokens

La compresión KV de la arquitectura ahorra un 87.5 % frente a MHA FP16 sin comprimir (64.00 GB).

Generar config de vLLM / Ollama → Comparar GPU propia vs API → Comparar tarifas de tokens API en vivo en DevToken →

Ir a herramientas especializadas de despliegue en GPU

Inspector GGUF y config.json

Inspeccione archivos .gguf y metadatos config.json localmente en 0 ms vía File.slice y DataView: cero subida de archivos y cálculo inmediato de VRAM.

File.slice(0..16MiB) · 0 Upload

Generador de configs de despliegue

Genere flags CLI de vLLM sin OOM, comandos SGLang, Modelfiles de Ollama, Docker Compose GPU y Deployment YAML de Kubernetes con cálculo real de VRAM LLM.

vLLM · SGLang · Ollama · K8s

Rentabilidad GPU vs API en la nube

Compare el costo mensual de GPU dedicada o local frente a facturas de API Cloud LLM, descuentos de caché de prompts y saturación física en tok/s.

FinOps 30-Day ROI · DevToken

Referencia rápida de VRAM para LLM de pesos abiertos (28 modelos @ Q4_K_M y FP16)

Mostrando 28 de 28 modelos

Arquitecturas LLM de pesos abiertos verificadas con parámetros residentes, mecanismo de atención y requisitos base de VRAM
Modelo y familia	Topología y atención	Residentes / Activos	FP16 (ctx 8K)	Q4_K_M (ctx 32K)	Nivel práctico mínimo	Análisis
DeepSeek-R1 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	Guía de VRAM →
DeepSeek-V3-0324 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	Guía de VRAM →
DeepSeek-R1-Distill-Llama-70B DeepSeek · MIT	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	Guía de VRAM →
DeepSeek-R1-Distill-Qwen-32B DeepSeek · MIT	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guía de VRAM →
Qwen3-235B-A22B (MoE) Qwen · Apache-2.0	MOE GQA	235B / 22B	453.5 GB	143.7 GB	Mac Studio 192GB	Guía de VRAM →
Qwen3-30B-A3B (MoE) Qwen · Apache-2.0	MOE GQA	30.5B / 3.3B	60.3 GB	21.8 GB	RTX 3090 24GB	Guía de VRAM →
Qwen3-32B Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guía de VRAM →
Qwen3-14B Qwen · Apache-2.0	DENSE GQA	14.8B	30.9 GB	14.8 GB	RTX 4060 Ti 16GB	Guía de VRAM →
Qwen3-8B Qwen · Apache-2.0	DENSE GQA	8.2B	18.0 GB	10.4 GB	RTX 3060 12GB	Guía de VRAM →
QwQ-32B (Reasoning) Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guía de VRAM →
Qwen2.5-Coder-32B-Instruct Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guía de VRAM →
Qwen2.5-72B-Instruct Qwen · Qwen License	DENSE GQA	72.7B	143.4 GB	53.7 GB	NVIDIA A100 80GB	Guía de VRAM →
Llama 4 Maverick (400B / 17B-128E MoE) Meta Llama · Llama 4 Community	MOE GQA	402B / 17.2B	774.0 GB	241.0 GB	Mac Studio 512GB	Guía de VRAM →
Llama 4 Scout (109B / 17B-16E MoE) Meta Llama · Llama 4 Community	MOE HYBRID_SWA	109B / 17.2B	211.8 GB	67.2 GB	NVIDIA A100 80GB	Guía de VRAM →
Llama 3.3 70B Instruct Meta Llama · Llama 3.3 Community	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	Guía de VRAM →
Llama 3.1 405B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	405B	782.8 GB	253.2 GB	Mac Studio 512GB	Guía de VRAM →
Llama 3.1 8B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	8.03B	17.6 GB	9.8 GB	RTX 3060 12GB	Guía de VRAM →
Gemma 3 27B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	27.4B	54.8 GB	20.1 GB	RTX 3090 24GB	Guía de VRAM →
Gemma 3 12B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	12.2B	25.3 GB	10.5 GB	RTX 3060 12GB	Guía de VRAM →
Mistral Small 3.1 (24B) Mistral · Apache-2.0	DENSE GQA	24B	48.5 GB	20.2 GB	RTX 3090 24GB	Guía de VRAM →
Mistral Large 2411 (123B) Mistral · Mistral Research	DENSE GQA	123B	240.4 GB	84.2 GB	RTX PRO 6000 96GB	Guía de VRAM →
Codestral 22B Mistral · Mistral Non-Production	DENSE GQA	22.2B	45.6 GB	21.2 GB	RTX 3090 24GB	Guía de VRAM →
Devstral Small (24B SWE Agent) Mistral · Apache-2.0	DENSE GQA	23.6B	47.7 GB	19.9 GB	RTX 3090 24GB	Guía de VRAM →
GLM-4-32B-0414 Zhipu GLM · MIT	DENSE GQA	32B	63.1 GB	21.8 GB	RTX 3090 24GB	Guía de VRAM →
GLM-4-9B-0414 Zhipu GLM · MIT	DENSE GQA	9.4B	19.5 GB	7.9 GB	RTX 3060 12GB	Guía de VRAM →
Microsoft Phi-4 (14B) Microsoft Phi · MIT	DENSE GQA	14.7B	31.0 GB	16.0 GB	RTX 3090 24GB	Guía de VRAM →
Microsoft Phi-4-mini-instruct (3.8B) Microsoft Phi · MIT	DENSE GQA	3.84B	9.4 GB	7.3 GB	RTX 3060 12GB	Guía de VRAM →
Cohere Command A (111B) Cohere · CC-BY-NC-4.0	DENSE HYBRID_SWA	111B	215.8 GB	68.9 GB	NVIDIA A100 80GB	Guía de VRAM →

Guías de capacidad de GPU principales y Apple Silicon

RTX 3090 24GB

GPU de consumo · 24 GB

936 GB/s · $0.29/hr

RTX 4090 24GB

GPU de consumo · 24 GB

1,008 GB/s · $0.44/hr

RTX 5090 32GB

GPU de consumo · 32 GB

1,792 GB/s · $0.79/hr

Apple M-Max 64GB

Memoria unificada Apple Silicon · 64 GB

546 GB/s · $0.22/hr

Mac Studio 128GB

Memoria unificada Apple Silicon · 128 GB

546 GB/s · $0.32/hr

Mac Studio 192GB

Memoria unificada Apple Silicon · 192 GB

800 GB/s · $0.48/hr

NVIDIA A100 80GB

GPU de centro de datos · 80 GB

2,039 GB/s · $1.49/hr

NVIDIA H100 80GB

GPU de centro de datos · 80 GB

3,350 GB/s · $2.39/hr

Por qué las fórmulas simplistas de «2 GB por cada mil millones de parámetros» fallan en producción

Las reglas aproximadas ignoran tres variables dominantes en la inferencia moderna de pesos abiertos: los factores de escala de superbloques GGUF (donde Q4_K_M promedia 4.85 bits/peso en lugar de 4.00), el crecimiento de la caché KV en ventanas de contexto largas y ranuras concurrentes de procesamiento por lotes continuo, y el enrutamiento Mixture-of-Experts donde los 671B o 235B parámetros residen en VRAM aunque solo se lean 37B o 22B por token generado.

VRAMLab evalúa cada modelo a partir de su geometría Transformer verificada —ramificando explícitamente entre atención multicabeza (MHA), atención de consulta agrupada (GQA), atención latente multicabeza de DeepSeek (MLA) y pilas híbridas locales/globales de ventana deslizante— para que la planificación de capacidad coincida con las asignaciones reales de vLLM, SGLang, Ollama y llama.cpp.

Preguntas frecuentes

¿Cómo reduce DeepSeek MLA la VRAM de la caché KV en comparación con GQA estándar?

La atención latente multicabeza proyecta claves y valores en un vector latente compartido de bajo rango (como kv_lora_rank = 512 más qk_rope_head_dim = 64) en lugar de almacenar tensores 2 × H_kv × head_dim por capa, reduciendo la memoria de caché KV en contextos largos en más de un 90 % frente a MHA sin comprimir.

¿Por qué los modelos Mixture-of-Experts (MoE) exigen mucha VRAM pero decodifican rápido?

Todos los expertos enrutados deben permanecer residentes en la GPU o memoria unificada para evitar intercambios por PCIe o SSD, de modo que la VRAM escala con los parámetros totales (p. ej., 235B en Qwen3-235B-A22B). Sin embargo, los tok/s de decodificación dependen del ancho de banda sobre los parámetros activos por token (22B), ofreciendo una velocidad similar a un modelo denso de 32B una vez alojado.

¿Por qué macOS provoca OOM en Apple Silicon antes de usar el 100 % de la RAM unificada?

macOS reserva memoria unificada para el kernel y la composición de escritorio mediante iogpu.wired_limit_mb (~75 % de la RAM física por defecto). Los modelos que ocupan entre el 75 % y el 88 % de la RAM requieren aumentar iogpu.wired_limit_mb con sysctl antes de iniciar Ollama o llama.cpp.

¿De dónde provienen las dimensiones de arquitectura de VRAMLab?

Nuestra canalización automatizada de verificación de arquitecturas cada 12 horas valida los campos numéricos de configuración Transformer en lanzamientos oficiales de pesos abiertos y los compila en HTML estático, sin llamadas API en tiempo de ejecución ni telemetría del usuario.

Calculadora de VRAM y caché KV para LLM basada en arquitectura