Metodologia de Memória e Largura de Banda para LLM Sensível à Arquitetura
O VRAMLab modela a memória de inferência de LLM a partir das dimensões fundamentais dos tensores, em vez de multiplicadores estáticos aproximados, rodando 100% no cliente sobre ativos estáticos de borda.
1. Quantização de Pesos e Bits Efetivos por Peso (bpw)
Formatos quantizados armazenam fatores de escala e pontos zero por bloco junto aos pesos inteiros compactados. Um checkpoint GGUF Q4_K_M de 4 bits tem média de 4,85 bits efetivos por parâmetro (e não 4,00), enquanto Q8_0 tem média de 8,50 bpw. Em modelos Mixture-of-Experts, todos os especialistas roteados e compartilhados permanecem residentes na memória para evitar paginação a cada token.
| Precisão / Formato | bpw Efetivo | 32B Weights | 70B Weights | vLLM / Ollama / GGUF |
|---|---|---|---|---|
| FP16 / BF16 (16-bit Native) | 16.00 bpw | 61.09 GB | 131.50 GB | native · fp16 · F16 / BF16 |
| FP8 E4M3 (Hopper / Ada / Blackwell) | 8.50 bpw | 32.46 GB | 69.86 GB | fp8 · fp8 · FP8_E4M3 |
| INT8 SmoothQuant / bitsandbytes | 8.50 bpw | 32.46 GB | 69.86 GB | bitsandbytes · q8_0 · INT8 |
| GGUF Q8_0 (8.50 bpw) | 8.50 bpw | 32.46 GB | 69.86 GB | gguf · q8_0 · Q8_0 |
| GGUF Q6_K (6.56 bpw) | 6.56 bpw | 25.05 GB | 53.92 GB | gguf · q6_K · Q6_K |
| GGUF Q5_K_M (5.69 bpw) | 5.69 bpw | 21.73 GB | 46.77 GB | gguf · q5_K_M · Q5_K_M |
| GGUF Q4_K_M (4.85 bpw — Recommended) | 4.85 bpw | 18.52 GB | 39.86 GB | gguf · q4_K_M · Q4_K_M |
| AWQ / GPTQ INT4 (4.50 bpw) | 4.50 bpw | 17.18 GB | 36.99 GB | awq · q4_K_M · AWQ_4BIT |
| GGUF IQ4_XS (4.25 bpw Importance Matrix) | 4.25 bpw | 16.23 GB | 34.93 GB | gguf · iq4_XS · IQ4_XS |
| GGUF Q3_K_M (3.91 bpw) | 3.91 bpw | 14.93 GB | 32.14 GB | gguf · q3_K_M · Q3_K_M |
| GGUF Q2_K (3.35 bpw Extreme) | 3.35 bpw | 12.79 GB | 27.53 GB | gguf · q2_K · Q2_K |
2. Equações de Cache KV por Tipo de Atenção (MHA, GQA, MLA e SWA Híbrida)
O Grouped-Query Attention padrão aloca 2 × L × H_kv × d_head × S × B × bytes_kv entre as camadas. O DeepSeek Multi-head Latent Attention (MLA) comprime chaves e valores em L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv, cortando a memória de contexto longo em mais de 90%. Modelos híbridos de janela deslizante limitam camadas de atenção local a min(S, window_size) enquanto escalam camadas globais linearmente com S.
- Atenção Multi-Cabeça (MHA) / Atenção de Consulta Agrupada (GQA)
- 2 × L × H_kv × d_head × S × B × bytes_kv
- Atenção Latente Multi-Cabeça (MLA)
- L × (kv_lora_rank + qk_rope_dim) × S × B × bytes_kv
- Janela Deslizante Híbrida (SWA)
- (L_global × S + L_local × min(S, W)) × 2 × H_kv × d_head × B × bytes_kv
- Mistura de Especialistas (MoE)
- Weights ∝ P_total · Decode tok/s ∝ BW / P_active
3. Memória Unificada Apple Silicon e Limite Superior de Banda na Decodificação
Em sistemas macOS com Apple Silicon, a alocação padrão de memória wired da GPU para perto de 75% da RAM física unificada, a menos que seja ajustada com sysctl iogpu.wired_limit_mb (modelada até um teto seguro de 88% que preserva a estabilidade do sistema). A velocidade de decodificação autorregressiva é limitada pela largura de banda externa efetiva dividida pelos bytes de parâmetros ativos mais os bytes ativos do cache KV lidos por passo, verificados a cada 12 horas pelo pipeline automatizado do VRAMLab.
| Acelerador / Sistema | Memória Física | Default Usable | Tuned Ceiling | Largura de Banda |
|---|---|---|---|---|
| NVIDIA GeForce RTX 3090 (24 GB GDDR6X) | 24 GB | 22.1 GB (92%) | 23.0 GB (96%) | 936 GB/s |
| NVIDIA GeForce RTX 4090 (24 GB GDDR6X) | 24 GB | 22.1 GB (92%) | 23.0 GB (96%) | 1,008 GB/s |
| NVIDIA GeForce RTX 5090 (32 GB GDDR7) | 32 GB | 29.4 GB (92%) | 30.7 GB (96%) | 1,792 GB/s |
| Apple Silicon M-Series Max (64 GB Unified Memory) | 64 GB | 48.0 GB (75%) | 56.3 GB (88% sysctl) | 546 GB/s |
| Apple Mac Studio M4 Max (128 GB Unified Memory) | 128 GB | 96.0 GB (75%) | 112.6 GB (88% sysctl) | 546 GB/s |
| Apple Mac Studio M2/M3 Ultra (192 GB Unified Memory) | 192 GB | 144.0 GB (75%) | 169.0 GB (88% sysctl) | 800 GB/s |
| NVIDIA A100 SXM4 (80 GB HBM2e) | 80 GB | 73.6 GB (92%) | 76.8 GB (96%) | 2,039 GB/s |
| NVIDIA H100 SXM5 (80 GB HBM3) | 80 GB | 73.6 GB (92%) | 76.8 GB (96%) | 3,350 GB/s |
4. Bancadas Conectadas de Engenharia da CodeAP Studio
Combine o planejamento de capacidade no VRAMLab com preços ao vivo de mais de 460 provedores de LLM API e modelagem de limites 429 no DevToken, rastreamento de descontinuação em 7 ecossistemas no LLMEOL e compressão de tokens de PDF/DOCX/HTML para Markdown no ToMarkdown.
Perguntas Frequentes
Como o DeepSeek MLA reduz a VRAM do cache KV em comparação ao GQA padrão?
O Multi-head Latent Attention projeta chaves e valores em um vetor latente compartilhado de posto baixo (como kv_lora_rank = 512 mais qk_rope_head_dim = 64) em vez de armazenar tensores 2 × H_kv × head_dim por camada, reduzindo o consumo de memória do cache KV em contextos longos em mais de 90% frente ao MHA sem compressão.
Por que modelos Mixture-of-Experts (MoE) exigem muita VRAM mas decodificam rápido?
Todos os especialistas roteáveis precisam permanecer residentes na GPU ou na memória unificada para evitar paginação via PCIe/SSD, fazendo a VRAM escalar com o total de parâmetros (ex.: 235B no Qwen3-235B-A22B). Já a velocidade em tok/s é limitada pela largura de banda de memória apenas sobre os parâmetros ativos por token (22B), entregando velocidade equivalente a um modelo denso de 32B quando acomodado.
Por que o macOS acusa OOM no Apple Silicon antes de usar 100% da RAM unificada?
O macOS reserva memória unificada para o kernel e a composição gráfica da área de trabalho via iogpu.wired_limit_mb (~75% da RAM física por padrão). Modelos entre 75% e 88% da RAM exigem elevar iogpu.wired_limit_mb via sysctl antes de iniciar o Ollama ou o llama.cpp.
De onde vêm as dimensões arquiteturais do VRAMLab?
Nosso pipeline automatizado de verificação arquitetural de 12 horas valida os campos numéricos de configuração de transformers nos lançamentos oficiais de pesos abertos e os compila em HTML estático — sem exigir chamadas de API em tempo de execução nem telemetria do usuário.