Metodología de memoria y ancho de banda para LLM según arquitectura
VRAMLab modela la memoria de inferencia de LLM a partir de dimensiones tensoriales de primeros principios en lugar de multiplicadores heurísticos estáticos, ejecutándose 100 % en el cliente sobre activos estáticos sin costo de servidor.
1. Cuantización de pesos y bits efectivos por peso (bpw)
Los formatos cuantizados almacenan factores de escala por bloque y puntos cero junto con pesos enteros empaquetados. Un checkpoint GGUF Q4_K_M de 4 bits promedia 4.85 bits efectivos por parámetro (no 4.00), mientras que Q8_0 promedia 8.50 bpw. En los modelos Mixture-of-Experts, todos los expertos enrutados y compartidos permanecen residentes en memoria para evitar paginación desde el host token a token.
| Precisión / Formato | bpw efectivos | 32B Weights | 70B Weights | vLLM / Ollama / GGUF |
|---|---|---|---|---|
| FP16 / BF16 (16-bit Native) | 16.00 bpw | 61.09 GB | 131.50 GB | native · fp16 · F16 / BF16 |
| FP8 E4M3 (Hopper / Ada / Blackwell) | 8.50 bpw | 32.46 GB | 69.86 GB | fp8 · fp8 · FP8_E4M3 |
| INT8 SmoothQuant / bitsandbytes | 8.50 bpw | 32.46 GB | 69.86 GB | bitsandbytes · q8_0 · INT8 |
| GGUF Q8_0 (8.50 bpw) | 8.50 bpw | 32.46 GB | 69.86 GB | gguf · q8_0 · Q8_0 |
| GGUF Q6_K (6.56 bpw) | 6.56 bpw | 25.05 GB | 53.92 GB | gguf · q6_K · Q6_K |
| GGUF Q5_K_M (5.69 bpw) | 5.69 bpw | 21.73 GB | 46.77 GB | gguf · q5_K_M · Q5_K_M |
| GGUF Q4_K_M (4.85 bpw — Recommended) | 4.85 bpw | 18.52 GB | 39.86 GB | gguf · q4_K_M · Q4_K_M |
| AWQ / GPTQ INT4 (4.50 bpw) | 4.50 bpw | 17.18 GB | 36.99 GB | awq · q4_K_M · AWQ_4BIT |
| GGUF IQ4_XS (4.25 bpw Importance Matrix) | 4.25 bpw | 16.23 GB | 34.93 GB | gguf · iq4_XS · IQ4_XS |
| GGUF Q3_K_M (3.91 bpw) | 3.91 bpw | 14.93 GB | 32.14 GB | gguf · q3_K_M · Q3_K_M |
| GGUF Q2_K (3.35 bpw Extreme) | 3.35 bpw | 12.79 GB | 27.53 GB | gguf · q2_K · Q2_K |
2. Ecuaciones de caché KV según el tipo de atención (MHA, GQA, MLA y SWA híbrida)
La atención de consulta agrupada estándar asigna 2 × L × H_kv × d_head × S × B × bytes_kv entre capas. La atención latente multicabeza de DeepSeek (MLA) comprime claves y valores en L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv, reduciendo en más de un 90 % la memoria en contextos largos. Los modelos híbridos de ventana deslizante limitan las capas de atención local a min(S, window_size) mientras escalan linealmente las capas globales con S.
- Atención multicabeza (MHA) / Atención de consulta agrupada (GQA)
- 2 × L × H_kv × d_head × S × B × bytes_kv
- Atención latente multicabeza (MLA)
- L × (kv_lora_rank + qk_rope_dim) × S × B × bytes_kv
- Ventana deslizante híbrida (SWA)
- (L_global × S + L_local × min(S, W)) × 2 × H_kv × d_head × B × bytes_kv
- Mezcla de expertos (MoE)
- Weights ∝ P_total · Decode tok/s ∝ BW / P_active
3. Memoria unificada en Apple Silicon y límite superior de ancho de banda en decodificación
En sistemas macOS con Apple Silicon, la asignación cableada predeterminada de GPU se detiene cerca del 75 % de la RAM física unificada salvo que se modifique con sysctl iogpu.wired_limit_mb (modelado hasta un techo seguro del 88 % que preserva la estabilidad del sistema operativo). La velocidad de decodificación autorregresiva está acotada por el ancho de banda efectivo de memoria externa dividido entre los bytes de parámetros activos más los bytes activos de caché KV leídos por paso, verificado cada 12 horas por la canalización automatizada de VRAMLab.
| Acelerador / Sistema | Memoria física | Default Usable | Tuned Ceiling | Ancho de banda de memoria |
|---|---|---|---|---|
| NVIDIA GeForce RTX 3090 (24 GB GDDR6X) | 24 GB | 22.1 GB (92%) | 23.0 GB (96%) | 936 GB/s |
| NVIDIA GeForce RTX 4090 (24 GB GDDR6X) | 24 GB | 22.1 GB (92%) | 23.0 GB (96%) | 1,008 GB/s |
| NVIDIA GeForce RTX 5090 (32 GB GDDR7) | 32 GB | 29.4 GB (92%) | 30.7 GB (96%) | 1,792 GB/s |
| Apple Silicon M-Series Max (64 GB Unified Memory) | 64 GB | 48.0 GB (75%) | 56.3 GB (88% sysctl) | 546 GB/s |
| Apple Mac Studio M4 Max (128 GB Unified Memory) | 128 GB | 96.0 GB (75%) | 112.6 GB (88% sysctl) | 546 GB/s |
| Apple Mac Studio M2/M3 Ultra (192 GB Unified Memory) | 192 GB | 144.0 GB (75%) | 169.0 GB (88% sysctl) | 800 GB/s |
| NVIDIA A100 SXM4 (80 GB HBM2e) | 80 GB | 73.6 GB (92%) | 76.8 GB (96%) | 2,039 GB/s |
| NVIDIA H100 SXM5 (80 GB HBM3) | 80 GB | 73.6 GB (92%) | 76.8 GB (96%) | 3,350 GB/s |
4. Entornos de ingeniería conectados de CodeAP Studio
Combine la planificación de capacidad en VRAMLab con precios en vivo de más de 460 API de LLM y modelado de límites 429 en DevToken, seguimiento de obsolescencia en 7 ecosistemas en LLMEOL y compresión de tokens de PDF/DOCX/HTML a Markdown en ToMarkdown.
Preguntas frecuentes
¿Cómo reduce DeepSeek MLA la VRAM de la caché KV en comparación con GQA estándar?
La atención latente multicabeza proyecta claves y valores en un vector latente compartido de bajo rango (como kv_lora_rank = 512 más qk_rope_head_dim = 64) en lugar de almacenar tensores 2 × H_kv × head_dim por capa, reduciendo la memoria de caché KV en contextos largos en más de un 90 % frente a MHA sin comprimir.
¿Por qué los modelos Mixture-of-Experts (MoE) exigen mucha VRAM pero decodifican rápido?
Todos los expertos enrutados deben permanecer residentes en la GPU o memoria unificada para evitar intercambios por PCIe o SSD, de modo que la VRAM escala con los parámetros totales (p. ej., 235B en Qwen3-235B-A22B). Sin embargo, los tok/s de decodificación dependen del ancho de banda sobre los parámetros activos por token (22B), ofreciendo una velocidad similar a un modelo denso de 32B una vez alojado.
¿Por qué macOS provoca OOM en Apple Silicon antes de usar el 100 % de la RAM unificada?
macOS reserva memoria unificada para el kernel y la composición de escritorio mediante iogpu.wired_limit_mb (~75 % de la RAM física por defecto). Los modelos que ocupan entre el 75 % y el 88 % de la RAM requieren aumentar iogpu.wired_limit_mb con sysctl antes de iniciar Ollama o llama.cpp.
¿De dónde provienen las dimensiones de arquitectura de VRAMLab?
Nuestra canalización automatizada de verificación de arquitecturas cada 12 horas valida los campos numéricos de configuración Transformer en lanzamientos oficiales de pesos abiertos y los compila en HTML estático, sin llamadas API en tiempo de ejecución ni telemetría del usuario.