VRAMLab

Llama 3.1 405B Instruct — Requisitos de VRAM, matriz de cuantización y guía de GPU

Llama 3.1 405B Instruct (Meta Llama, Llama 3.1 Community) es una arquitectura Transformer denso con 405B parámetros residentes (405B activos por token), 126 capas y Atención de consulta agrupada (GQA) compatible con hasta 131,072 tokens de contexto.

Cargar en la calculadora de VRAM → Generar config de vLLM / Ollama → Comparar GPU propia vs API → Comparar tarifas de tokens API en vivo en DevToken →

Simulador interactivo de memoria y contexto para Llama 3.1 405B Instruct

32,768 tokens

Desglose de memoria y techo de ancho de banda

Cabe con holgura
Pesos del modelo: 91.7% KV: 6.3% Overhead: 2%
Memoria total requerida
249.40 GB
Asignación por dispositivo: 249.40 GB
Pesos del modelo
228.67 GB
Caché KV (FP16): 15.75 GB
Decodificación estimada (1 flujo)
1.8 tok/s
Sobrecarga de runtime y TP: 4.98 GB
Contexto máx. antes de OOM
446,229
tokens

La compresión KV de la arquitectura ahorra un 93.8 % frente a MHA FP16 sin comprimir (252.00 GB).

macOS limita por defecto la memoria cableada de GPU a unos 384.0 GB (75 %); elevar iogpu.wired_limit_mb desbloquea hasta 450.6 GB (88 %).

sudo sysctl iogpu.wired_limit_mb=461373

Matriz de VRAM por precisión y cuantización (contexto 8K / 32K / 128K)

Memoria GPU total requerida según precisión de pesos y longitud de contexto (lote = 1, caché KV en FP16)
Precisión / Formato bpw efectivos Solo pesos Total @ ctx 8K Total @ ctx 32K Total @ ctx 128K Nivel recomendado (@ 32K)
FP16 / BF16 16.00 bpw 754.37 GB 771.17 GB 782.99 GB 830.24 GB 8× NVIDIA H100 80GB
FP8 8.50 bpw 400.76 GB 412.26 GB 424.07 GB 471.32 GB 8× NVIDIA H100 80GB
Q8_0 8.50 bpw 400.76 GB 412.26 GB 424.07 GB 471.32 GB 8× NVIDIA H100 80GB
Q6_K 6.56 bpw 309.29 GB 319.42 GB 331.23 GB 378.48 GB Mac Studio 512GB
Q5_K_M 5.69 bpw 268.27 GB 277.78 GB 289.60 GB 336.85 GB Mac Studio 512GB
Q4_K_M 4.85 bpw 228.67 GB 237.59 GB 249.40 GB 296.65 GB Mac Studio 512GB
AWQ INT4 4.50 bpw 212.17 GB 220.84 GB 232.65 GB 279.90 GB Mac Studio 512GB
IQ4_XS 4.25 bpw 200.38 GB 208.87 GB 220.69 GB 267.94 GB Mac Studio 512GB

Compatibilidad de hardware y velocidad de decodificación (Llama 3.1 405B Instruct @ Q4_K_M, contexto 32K)

Estado de ajuste, uso de memoria y rendimiento estimado de decodificación en GPU principales y Apple Silicon
Nivel de hardware Memoria y ancho de banda Requerido (32K) Veredicto de ajuste Velocidad est. decodificación
RTX 3090 24GB 24 GB · 936 GB/s 253.17 GB (1055%) Memoria insuficiente (OOM) —
RTX 4090 24GB 24 GB · 1008 GB/s 253.17 GB (1055%) Memoria insuficiente (OOM) —
RTX 5090 32GB 32 GB · 1792 GB/s 253.17 GB (791%) Memoria insuficiente (OOM) —
Apple M-Max 64GB 64 GB · 546 GB/s 249.40 GB (390%) Memoria insuficiente (OOM) —
Mac Studio 128GB 128 GB · 546 GB/s 249.40 GB (195%) Memoria insuficiente (OOM) —
Mac Studio 192GB 192 GB · 800 GB/s 249.40 GB (130%) Memoria insuficiente (OOM) —
NVIDIA A100 80GB 80 GB · 2039 GB/s 253.17 GB (317%) Memoria insuficiente (OOM) —
NVIDIA H100 80GB 80 GB · 3350 GB/s 253.17 GB (317%) Memoria insuficiente (OOM) —

Parámetros verificados de la arquitectura Transformer

Checkpoint ID
meta-llama/Llama-3.1-405B-Instruct
Ollama Tag
llama3.1:405b
License / Release
Llama 3.1 Community · 2024-Q3
Topología y atención
Transformer denso
Mecanismo de atención
Atención de consulta agrupada (GQA)
Parámetros totales (B)
405B
Parámetros activos / token (B)
405B
Capas ocultas / Tamaño oculto
126 / 16384
Cabezas de consulta / Cabezas KV
128Q / 8KV (d=128)
Vocab / Max Position
128,256 / 131,072

Los formatos cuantizados almacenan factores de escala por bloque y puntos cero junto con pesos enteros empaquetados. Un checkpoint GGUF Q4_K_M de 4 bits promedia 4.85 bits efectivos por parámetro (no 4.00), mientras que Q8_0 promedia 8.50 bpw. En los modelos Mixture-of-Experts, todos los expertos enrutados y compartidos permanecen residentes en memoria para evitar paginación desde el host token a token.

La atención de consulta agrupada estándar asigna 2 × L × H_kv × d_head × S × B × bytes_kv entre capas. La atención latente multicabeza de DeepSeek (MLA) comprime claves y valores en L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv, reduciendo en más de un 90 % la memoria en contextos largos. Los modelos híbridos de ventana deslizante limitan las capas de atención local a min(S, window_size) mientras escalan linealmente las capas globales con S.

Comandos rápidos de vLLM y Ollama para Llama 3.1 405B Instruct

CLI de vLLM (Mac Studio 512GB) 
vllm serve meta-llama/Llama-3.1-405B-Instruct \
  --tensor-parallel-size 1 \
  --max-model-len 32768 \
  --max-num-seqs 8 \
  --gpu-memory-utilization 0.80 \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --port 8000
Modelfile de Ollama 
# Optional macOS unified-memory ceiling override before launching:
# sudo sysctl iogpu.wired_limit_mb=461373

# Save as Modelfile, then run: ollama create llama-3-1-405b-custom -f Modelfile
FROM llama3.1:405b
PARAMETER num_ctx 32768
PARAMETER num_batch 512
PARAMETER flash_attn true

# Environment variables for ollama serve:
# OLLAMA_NUM_PARALLEL=8 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

Comparar modelos hermanos y de escala similar de pesos abiertos

Llama 4 Maverick (400B / 17B-128E MoE)

Meta Llama · 402B (GQA)

237.2 GB @ Q4_K_M · Mac Studio 512GB

Llama 4 Scout (109B / 17B-16E MoE)

Meta Llama · 109B (HYBRID_SWA)

67.2 GB @ Q4_K_M · NVIDIA A100 80GB

Llama 3.3 70B Instruct

Meta Llama · 70.6B (GQA)

52.5 GB @ Q4_K_M · NVIDIA A100 80GB

Llama 3.1 8B Instruct

Meta Llama · 8.03B (GQA)

9.8 GB @ Q4_K_M · RTX 3060 12GB

Qwen3-235B-A22B (MoE)

Qwen · 235B (GQA)

141.3 GB @ Q4_K_M · Mac Studio 192GB

DeepSeek-R1 (671B MoE)

DeepSeek · 671B (MLA)

416.1 GB @ Q4_K_M · 8× NVIDIA H100 80GB