VRAMLab

Llama 4 Maverick (400B / 17B-128E MoE) — Besoins VRAM, matrice de quantification et guide GPU

Llama 4 Maverick (400B / 17B-128E MoE) (Meta Llama, Llama 4 Community) repose sur une architecture Mélange d’experts (MoE) comptant 402B paramètres résidents (17.2B actifs par token), 48 couches et Attention à requêtes groupées (GQA) prenant en charge jusqu’à 1,048,576 tokens de contexte.

Charger dans le calculateur VRAM → Générer une config vLLM / Ollama → Comparer GPU auto-hébergé vs API → Comparer les tarifs API en direct sur DevToken →

Simulateur interactif de mémoire et de contexte pour Llama 4 Maverick (400B / 17B-128E MoE)

32,768 tokens

Répartition mémoire et plafond de bande passante

Tient confortablement
Poids du modèle: 95.7% KV: 2.5% Overhead: 1.8%
Mémoire totale requise
237.24 Go
Allocation par périphérique: 237.24 Go
Poids du modèle
226.97 Go
Cache KV (FP16): 6.00 Go
Décodage estimé (1 flux)
28.6 tok/s
Surcharge runtime et TP: 4.27 Go
Contexte max avant OOM
1,048,576
tokens

La compression KV architecturale économise 80.0 % par rapport au MHA FP16 naïf (30.00 Go).

macOS plafonne par défaut la mémoire GPU verrouillée vers 384.0 Go (75 %) ; augmenter iogpu.wired_limit_mb débloque jusqu’à 450.6 Go (88 %).

sudo sysctl iogpu.wired_limit_mb=461373

Matrice VRAM par précision et quantification (contexte 8K / 32K / 128K)

Mémoire GPU totale requise selon la précision des poids et la longueur du contexte (batch = 1, cache KV FP16)
Précision / Format bpw effectifs Poids seuls Total @ ctx 8K Total @ ctx 32K Total @ ctx 128K Palier recommandé (@ 32K)
FP16 / BF16 16.00 bpw 748.78 Go 762.38 Go 766.88 Go 784.88 Go 8× NVIDIA H100 80GB
FP8 8.50 bpw 397.79 Go 406.12 Go 410.62 Go 428.62 Go 8× NVIDIA H100 80GB
Q8_0 8.50 bpw 397.79 Go 406.12 Go 410.62 Go 428.62 Go 8× NVIDIA H100 80GB
Q6_K 6.56 bpw 307.00 Go 313.97 Go 318.47 Go 336.47 Go Mac Studio 512GB
Q5_K_M 5.69 bpw 266.29 Go 272.64 Go 277.14 Go 295.14 Go Mac Studio 512GB
Q4_K_M 4.85 bpw 226.97 Go 232.74 Go 237.24 Go 255.24 Go Mac Studio 512GB
AWQ INT4 4.50 bpw 210.60 Go 216.12 Go 220.62 Go 238.62 Go Mac Studio 512GB
IQ4_XS 4.25 bpw 198.90 Go 204.24 Go 208.74 Go 226.74 Go Mac Studio 512GB

Compatibilité matérielle et vitesse de décodage (Llama 4 Maverick (400B / 17B-128E MoE) @ Q4_K_M, contexte 32K)

Statut de compatibilité, utilisation mémoire et débit de décodage estimé sur les GPU phares et Apple Silicon
Palier matériel Mémoire et bande passante Requis (32K) Compatibilité Débit décodage est.
RTX 3090 24GB 24 Go · 936 GB/s 240.99 Go (1004%) Mémoire insuffisante (OOM) —
RTX 4090 24GB 24 Go · 1008 GB/s 240.99 Go (1004%) Mémoire insuffisante (OOM) —
RTX 5090 32GB 32 Go · 1792 GB/s 240.99 Go (753%) Mémoire insuffisante (OOM) —
Apple M-Max 64GB 64 Go · 546 GB/s 237.24 Go (371%) Mémoire insuffisante (OOM) —
Mac Studio 128GB 128 Go · 546 GB/s 237.24 Go (185%) Mémoire insuffisante (OOM) —
Mac Studio 192GB 192 Go · 800 GB/s 237.24 Go (124%) Mémoire insuffisante (OOM) —
NVIDIA A100 80GB 80 Go · 2039 GB/s 240.99 Go (301%) Mémoire insuffisante (OOM) —
NVIDIA H100 80GB 80 Go · 3350 GB/s 240.99 Go (301%) Mémoire insuffisante (OOM) —

Paramètres vérifiés de l’architecture Transformer

Checkpoint ID
meta-llama/Llama-4-Maverick-17B-128E-Instruct
Ollama Tag
llama4:maverick
License / Release
Llama 4 Community · 2025-Q2
Topologie et attention
Mélange d’experts (MoE)
Mécanisme d’attention
Attention à requêtes groupées (GQA)
Paramètres totaux (B)
402B
Paramètres actifs / token (B)
17.2B
Couches cachées / Dimension cachée
48 / 5120
Têtes de requête / Têtes KV
40Q / 8KV (d=128)
MoE Routed Experts
1 active / 128 total
Vocab / Max Position
202,048 / 1,048,576

Les formats quantifiés stockent des facteurs d’échelle et des points zéro par bloc aux côtés des poids entiers compressés. Un checkpoint GGUF Q4_K_M 4 bits occupe en moyenne 4.85 bits effectifs par paramètre (et non 4.00), tandis que Q8_0 atteint 8.50 bpw. Pour les architectures Mixture-of-Experts, l’ensemble des experts routés et partagés reste résident en mémoire afin d’éviter la pagination hôte à chaque token.

L’attention à requêtes groupées standard alloue 2 × L × H_kv × d_head × S × B × bytes_kv sur l’ensemble des couches. L’attention latente multi-têtes de DeepSeek (MLA) compresse clés et valeurs en L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv, réduisant de plus de 90 % l’empreinte mémoire sur long contexte. Les modèles hybrides à fenêtre glissante plafonnent les couches locales à min(S, window_size) tout en faisant croître linéairement les couches globales avec S.

Commandes rapides vLLM et Ollama pour Llama 4 Maverick (400B / 17B-128E MoE)

CLI vLLM (Mac Studio 512GB) 
vllm serve meta-llama/Llama-4-Maverick-17B-128E-Instruct \
  --tensor-parallel-size 1 \
  --max-model-len 32768 \
  --max-num-seqs 8 \
  --gpu-memory-utilization 0.80 \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --port 8000
Modelfile Ollama 
# Optional macOS unified-memory ceiling override before launching:
# sudo sysctl iogpu.wired_limit_mb=461373

# Save as Modelfile, then run: ollama create llama-4-maverick-custom -f Modelfile
FROM llama4:maverick
PARAMETER num_ctx 32768
PARAMETER num_batch 512
PARAMETER flash_attn true

# Environment variables for ollama serve:
# OLLAMA_NUM_PARALLEL=8 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

Comparer les modèles proches et de taille similaire à poids ouverts

Llama 3.1 405B Instruct

Meta Llama · 405B (GQA)

249.4 Go @ Q4_K_M · Mac Studio 512GB

Llama 4 Scout (109B / 17B-16E MoE)

Meta Llama · 109B (HYBRID_SWA)

67.2 Go @ Q4_K_M · NVIDIA A100 80GB

Llama 3.3 70B Instruct

Meta Llama · 70.6B (GQA)

52.5 Go @ Q4_K_M · NVIDIA A100 80GB

Llama 3.1 8B Instruct

Meta Llama · 8.03B (GQA)

9.8 Go @ Q4_K_M · RTX 3060 12GB

Qwen3-235B-A22B (MoE)

Qwen · 235B (GQA)

141.3 Go @ Q4_K_M · Mac Studio 192GB

DeepSeek-R1 (671B MoE)

DeepSeek · 671B (MLA)

416.1 Go @ Q4_K_M · 8× NVIDIA H100 80GB