Calculadora de VRAM, Cache KV e Vazão para LLM

Bancada Interativa de VRAM, Cache KV e Velocidade de Decodificação

Modelo Predefinido de Pesos Abertos (ou Personalizado)

Quantização de Pesos (bpw)

Precisão do Cache KV

GPU Alvo / Nível de Memória Unificada

Dispositivos (TP)

Tamanho do Contexto (tokens) 32,768 tokens

Sequências Simultâneas (Batch) 1

Inspecionar ou sobrescrever dimensões brutas do transformer (camadas, cabeças KV, rank MLA, especialistas MoE)

Topologia e Atenção

Mecanismo de Atenção

Parâmetros Totais (B)

Parâmetros Ativos / Token (B)

Camadas Ocultas

Dimensão Oculta

Cabeças de Consulta

Cabeças KV

Dimensão da Cabeça

MLA kv_lora_rank

SWA Window

Detalhamento de Memória e Teto de Largura de Banda

Ajuste Apertado (>90% Útil)

Pesos do Modelo: 65.5% KV Cache: 28.3% Sobrecarga de Runtime e TP: 6.2%

Memória Total Necessária

28.28 GB

88.4% of 32 GB

Alocação por Dispositivo

28.28 GB

Usable: 29.4 GB

Pesos do Modelo

18.52 GB

Sobrecarga de Runtime e TP: 1.76 GB

Cache KV (FP16)

8.00 GB

MHA FP16: 64.00 GB

Decodificação Est. (1 Fluxo)

39.4 tok/s

Vazão Est. em Lote (Batch): 39.4 tok/s

Contexto Máx. Antes de OOM

44,216

tokens

A compressão arquitetural de KV economiza 87.5% vs MHA FP16 ingênuo (64.00 GB).

Gerar Config vLLM / Ollama → Comparar GPU Própria vs API → Comparar Preços de API ao Vivo no DevToken →

Acesse Bancadas Especializadas de Serving em GPU

Inspetor GGUF e config.json

Inspecione arquivos .gguf de vários gigabytes e metadados config.json localmente em 0ms via File.slice e DataView — zero upload e envio direto ao cálculo de VRAM.

File.slice(0..16MiB) · 0 Upload

Gerador de Configs de Serving

Compile flags de CLI contra OOM para vLLM, comandos SGLang, Modelfiles do Ollama, pilhas Docker Compose com GPU e YAML do Kubernetes com cálculo real de VRAM de LLM.

vLLM · SGLang · Ollama · K8s

Ponto de Equilíbrio GPU vs API

Compare custos mensais de aluguel de GPU ou estação local contra faturas de tokens de LLM API em nuvem, descontos de cache de prompt e saturação física em tok/s.

FinOps 30-Day ROI · DevToken

Referência Rápida de VRAM para LLM de Pesos Abertos (28 Modelos @ Q4_K_M e FP16)

Exibindo 28 de 28 modelos

Arquiteturas verificadas de LLM de pesos abertos com parâmetros residentes, mecanismo de atenção e requisitos base de VRAM
Modelo e Família	Topologia e Atenção	Residentes / Ativos	FP16 (8K ctx)	Q4_K_M (32K ctx)	Nível Mínimo Prático	Análise
DeepSeek-R1 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	Guia de VRAM →
DeepSeek-V3-0324 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	Guia de VRAM →
DeepSeek-R1-Distill-Llama-70B DeepSeek · MIT	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	Guia de VRAM →
DeepSeek-R1-Distill-Qwen-32B DeepSeek · MIT	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guia de VRAM →
Qwen3-235B-A22B (MoE) Qwen · Apache-2.0	MOE GQA	235B / 22B	453.5 GB	143.7 GB	Mac Studio 192GB	Guia de VRAM →
Qwen3-30B-A3B (MoE) Qwen · Apache-2.0	MOE GQA	30.5B / 3.3B	60.3 GB	21.8 GB	RTX 3090 24GB	Guia de VRAM →
Qwen3-32B Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guia de VRAM →
Qwen3-14B Qwen · Apache-2.0	DENSE GQA	14.8B	30.9 GB	14.8 GB	RTX 4060 Ti 16GB	Guia de VRAM →
Qwen3-8B Qwen · Apache-2.0	DENSE GQA	8.2B	18.0 GB	10.4 GB	RTX 3060 12GB	Guia de VRAM →
QwQ-32B (Reasoning) Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guia de VRAM →
Qwen2.5-Coder-32B-Instruct Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guia de VRAM →
Qwen2.5-72B-Instruct Qwen · Qwen License	DENSE GQA	72.7B	143.4 GB	53.7 GB	NVIDIA A100 80GB	Guia de VRAM →
Llama 4 Maverick (400B / 17B-128E MoE) Meta Llama · Llama 4 Community	MOE GQA	402B / 17.2B	774.0 GB	241.0 GB	Mac Studio 512GB	Guia de VRAM →
Llama 4 Scout (109B / 17B-16E MoE) Meta Llama · Llama 4 Community	MOE HYBRID_SWA	109B / 17.2B	211.8 GB	67.2 GB	NVIDIA A100 80GB	Guia de VRAM →
Llama 3.3 70B Instruct Meta Llama · Llama 3.3 Community	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	Guia de VRAM →
Llama 3.1 405B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	405B	782.8 GB	253.2 GB	Mac Studio 512GB	Guia de VRAM →
Llama 3.1 8B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	8.03B	17.6 GB	9.8 GB	RTX 3060 12GB	Guia de VRAM →
Gemma 3 27B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	27.4B	54.8 GB	20.1 GB	RTX 3090 24GB	Guia de VRAM →
Gemma 3 12B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	12.2B	25.3 GB	10.5 GB	RTX 3060 12GB	Guia de VRAM →
Mistral Small 3.1 (24B) Mistral · Apache-2.0	DENSE GQA	24B	48.5 GB	20.2 GB	RTX 3090 24GB	Guia de VRAM →
Mistral Large 2411 (123B) Mistral · Mistral Research	DENSE GQA	123B	240.4 GB	84.2 GB	RTX PRO 6000 96GB	Guia de VRAM →
Codestral 22B Mistral · Mistral Non-Production	DENSE GQA	22.2B	45.6 GB	21.2 GB	RTX 3090 24GB	Guia de VRAM →
Devstral Small (24B SWE Agent) Mistral · Apache-2.0	DENSE GQA	23.6B	47.7 GB	19.9 GB	RTX 3090 24GB	Guia de VRAM →
GLM-4-32B-0414 Zhipu GLM · MIT	DENSE GQA	32B	63.1 GB	21.8 GB	RTX 3090 24GB	Guia de VRAM →
GLM-4-9B-0414 Zhipu GLM · MIT	DENSE GQA	9.4B	19.5 GB	7.9 GB	RTX 3060 12GB	Guia de VRAM →
Microsoft Phi-4 (14B) Microsoft Phi · MIT	DENSE GQA	14.7B	31.0 GB	16.0 GB	RTX 3090 24GB	Guia de VRAM →
Microsoft Phi-4-mini-instruct (3.8B) Microsoft Phi · MIT	DENSE GQA	3.84B	9.4 GB	7.3 GB	RTX 3060 12GB	Guia de VRAM →
Cohere Command A (111B) Cohere · CC-BY-NC-4.0	DENSE HYBRID_SWA	111B	215.8 GB	68.9 GB	NVIDIA A100 80GB	Guia de VRAM →

Guias de Capacidade para GPUs Topo de Linha e Apple Silicon

RTX 3090 24GB

GPU de Consumo · 24 GB

936 GB/s · $0.29/hr

RTX 4090 24GB

GPU de Consumo · 24 GB

1,008 GB/s · $0.44/hr

RTX 5090 32GB

GPU de Consumo · 32 GB

1,792 GB/s · $0.79/hr

Apple M-Max 64GB

Memória Unificada Apple Silicon · 64 GB

546 GB/s · $0.22/hr

Mac Studio 128GB

Memória Unificada Apple Silicon · 128 GB

546 GB/s · $0.32/hr

Mac Studio 192GB

Memória Unificada Apple Silicon · 192 GB

800 GB/s · $0.48/hr

NVIDIA A100 80GB

GPU de Datacenter · 80 GB

2,039 GB/s · $1.49/hr

NVIDIA H100 80GB

GPU de Datacenter · 80 GB

3,350 GB/s · $2.39/hr

Por Que Fórmulas Ingênuas de "2 GB por Bilhão de Parâmetros" Falham em Produção

Regras de bolso ignoram três variáveis dominantes na inferência moderna de pesos abertos: escalas de superblocos de quantização GGUF (onde Q4_K_M tem média de 4,85 bits/peso em vez de 4,00), o crescimento do cache KV em janelas longas de contexto e slots simultâneos de continuous batching, e o roteamento Mixture-of-Experts em que todos os 671B ou 235B parâmetros residem na VRAM enquanto apenas 37B ou 22B trafegam por token gerado.

O VRAMLab avalia cada modelo a partir da geometria verificada do seu transformer — diferenciando explicitamente Multi-Head Attention (MHA), Grouped-Query Attention (GQA), DeepSeek Multi-head Latent Attention (MLA) e pilhas híbridas de janela deslizante local/global — para que o planejamento de capacidade reflita alocações reais no vLLM, SGLang, Ollama e llama.cpp.

Perguntas Frequentes

Como o DeepSeek MLA reduz a VRAM do cache KV em comparação ao GQA padrão?

O Multi-head Latent Attention projeta chaves e valores em um vetor latente compartilhado de posto baixo (como kv_lora_rank = 512 mais qk_rope_head_dim = 64) em vez de armazenar tensores 2 × H_kv × head_dim por camada, reduzindo o consumo de memória do cache KV em contextos longos em mais de 90% frente ao MHA sem compressão.

Por que modelos Mixture-of-Experts (MoE) exigem muita VRAM mas decodificam rápido?

Todos os especialistas roteáveis precisam permanecer residentes na GPU ou na memória unificada para evitar paginação via PCIe/SSD, fazendo a VRAM escalar com o total de parâmetros (ex.: 235B no Qwen3-235B-A22B). Já a velocidade em tok/s é limitada pela largura de banda de memória apenas sobre os parâmetros ativos por token (22B), entregando velocidade equivalente a um modelo denso de 32B quando acomodado.

Por que o macOS acusa OOM no Apple Silicon antes de usar 100% da RAM unificada?

O macOS reserva memória unificada para o kernel e a composição gráfica da área de trabalho via iogpu.wired_limit_mb (~75% da RAM física por padrão). Modelos entre 75% e 88% da RAM exigem elevar iogpu.wired_limit_mb via sysctl antes de iniciar o Ollama ou o llama.cpp.

De onde vêm as dimensões arquiteturais do VRAMLab?

Nosso pipeline automatizado de verificação arquitetural de 12 horas valida os campos numéricos de configuração de transformers nos lançamentos oficiais de pesos abertos e os compila em HTML estático — sem exigir chamadas de API em tempo de execução nem telemetria do usuário.

Calculadora de VRAM e Cache KV para LLM Sensível à Arquitetura