Calculateur de VRAM, cache KV et débit pour LLM

Atelier interactif VRAM, cache KV et vitesse de décodage

Modèle prédéfini à poids ouverts (ou personnalisé)

Quantification des poids (bpw)

Précision du cache KV

GPU cible / palier de mémoire unifiée

Périphériques (TP)

Longueur du contexte (tokens) 32,768 tokens

Séquences simultanées (batch) 1

Inspecter ou modifier les dimensions brutes du Transformer (couches, têtes KV, rang MLA, experts MoE)

Topologie et attention

Mécanisme d’attention

Paramètres totaux (B)

Paramètres actifs / token (B)

Couches cachées

Dimension cachée

Têtes de requête

Têtes KV

Dimension par tête

MLA kv_lora_rank

SWA Window

Répartition mémoire et plafond de bande passante

Ajusté (>90 % utile)

Poids du modèle: 65.5% KV Cache: 28.3% Surcharge runtime et TP: 6.2%

Mémoire totale requise

28.28 Go

88.4% of 32 Go

Allocation par périphérique

28.28 Go

Usable: 29.4 Go

Poids du modèle

18.52 Go

Surcharge runtime et TP: 1.76 Go

Cache KV (FP16)

8.00 Go

MHA FP16: 64.00 Go

Décodage estimé (1 flux)

39.4 tok/s

Débit estimé en batch: 39.4 tok/s

Contexte max avant OOM

44,216

tokens

La compression KV architecturale économise 87.5 % par rapport au MHA FP16 naïf (64.00 Go).

Générer une config vLLM / Ollama → Comparer GPU auto-hébergé vs API → Comparer les tarifs API en direct sur DevToken →

Accéder aux ateliers spécialisés de déploiement GPU

Inspecteur GGUF et config.json

Inspectez localement en 0 ms vos fichiers .gguf et métadonnées config.json via File.slice et DataView : zéro envoi réseau et calcul VRAM immédiat.

File.slice(0..16MiB) · 0 Upload

Générateur de configs de serving

Générez des options CLI vLLM sans OOM, commandes SGLang, Modelfiles Ollama, piles Docker Compose GPU et YAML Kubernetes depuis un calcul réel de VRAM LLM.

vLLM · SGLang · Ollama · K8s

Rentabilité GPU vs API Cloud

Comparez le coût mensuel GPU dédié ou local face aux factures API Cloud LLM, aux remises de cache de prompt et à la saturation physique du débit tok/s.

FinOps 30-Day ROI · DevToken

Référence rapide VRAM des LLM à poids ouverts (28 modèles @ Q4_K_M et FP16)

Affichage de 28 sur 28 modèles

Architectures LLM à poids ouverts vérifiées avec paramètres résidents, mécanisme d’attention et besoins VRAM de base
Modèle et famille	Topologie et attention	Résidents / Actifs	FP16 (ctx 8K)	Q4_K_M (ctx 32K)	Palier pratique minimal	Détails
DeepSeek-R1 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 Go	393.7 Go	8× NVIDIA H100 80GB	Guide VRAM →
DeepSeek-V3-0324 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 Go	393.7 Go	8× NVIDIA H100 80GB	Guide VRAM →
DeepSeek-R1-Distill-Llama-70B DeepSeek · MIT	DENSE GQA	70.6B	139.3 Go	52.5 Go	NVIDIA A100 80GB	Guide VRAM →
DeepSeek-R1-Distill-Qwen-32B DeepSeek · MIT	DENSE GQA	32.8B	66.1 Go	28.3 Go	RTX 5090 32GB	Guide VRAM →
Qwen3-235B-A22B (MoE) Qwen · Apache-2.0	MOE GQA	235B / 22B	453.5 Go	143.7 Go	Mac Studio 192GB	Guide VRAM →
Qwen3-30B-A3B (MoE) Qwen · Apache-2.0	MOE GQA	30.5B / 3.3B	60.3 Go	21.8 Go	RTX 3090 24GB	Guide VRAM →
Qwen3-32B Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 Go	28.3 Go	RTX 5090 32GB	Guide VRAM →
Qwen3-14B Qwen · Apache-2.0	DENSE GQA	14.8B	30.9 Go	14.8 Go	RTX 4060 Ti 16GB	Guide VRAM →
Qwen3-8B Qwen · Apache-2.0	DENSE GQA	8.2B	18.0 Go	10.4 Go	RTX 3060 12GB	Guide VRAM →
QwQ-32B (Reasoning) Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 Go	28.3 Go	RTX 5090 32GB	Guide VRAM →
Qwen2.5-Coder-32B-Instruct Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 Go	28.3 Go	RTX 5090 32GB	Guide VRAM →
Qwen2.5-72B-Instruct Qwen · Qwen License	DENSE GQA	72.7B	143.4 Go	53.7 Go	NVIDIA A100 80GB	Guide VRAM →
Llama 4 Maverick (400B / 17B-128E MoE) Meta Llama · Llama 4 Community	MOE GQA	402B / 17.2B	774.0 Go	241.0 Go	Mac Studio 512GB	Guide VRAM →
Llama 4 Scout (109B / 17B-16E MoE) Meta Llama · Llama 4 Community	MOE HYBRID_SWA	109B / 17.2B	211.8 Go	67.2 Go	NVIDIA A100 80GB	Guide VRAM →
Llama 3.3 70B Instruct Meta Llama · Llama 3.3 Community	DENSE GQA	70.6B	139.3 Go	52.5 Go	NVIDIA A100 80GB	Guide VRAM →
Llama 3.1 405B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	405B	782.8 Go	253.2 Go	Mac Studio 512GB	Guide VRAM →
Llama 3.1 8B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	8.03B	17.6 Go	9.8 Go	RTX 3060 12GB	Guide VRAM →
Gemma 3 27B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	27.4B	54.8 Go	20.1 Go	RTX 3090 24GB	Guide VRAM →
Gemma 3 12B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	12.2B	25.3 Go	10.5 Go	RTX 3060 12GB	Guide VRAM →
Mistral Small 3.1 (24B) Mistral · Apache-2.0	DENSE GQA	24B	48.5 Go	20.2 Go	RTX 3090 24GB	Guide VRAM →
Mistral Large 2411 (123B) Mistral · Mistral Research	DENSE GQA	123B	240.4 Go	84.2 Go	RTX PRO 6000 96GB	Guide VRAM →
Codestral 22B Mistral · Mistral Non-Production	DENSE GQA	22.2B	45.6 Go	21.2 Go	RTX 3090 24GB	Guide VRAM →
Devstral Small (24B SWE Agent) Mistral · Apache-2.0	DENSE GQA	23.6B	47.7 Go	19.9 Go	RTX 3090 24GB	Guide VRAM →
GLM-4-32B-0414 Zhipu GLM · MIT	DENSE GQA	32B	63.1 Go	21.8 Go	RTX 3090 24GB	Guide VRAM →
GLM-4-9B-0414 Zhipu GLM · MIT	DENSE GQA	9.4B	19.5 Go	7.9 Go	RTX 3060 12GB	Guide VRAM →
Microsoft Phi-4 (14B) Microsoft Phi · MIT	DENSE GQA	14.7B	31.0 Go	16.0 Go	RTX 3090 24GB	Guide VRAM →
Microsoft Phi-4-mini-instruct (3.8B) Microsoft Phi · MIT	DENSE GQA	3.84B	9.4 Go	7.3 Go	RTX 3060 12GB	Guide VRAM →
Cohere Command A (111B) Cohere · CC-BY-NC-4.0	DENSE HYBRID_SWA	111B	215.8 Go	68.9 Go	NVIDIA A100 80GB	Guide VRAM →

Guides de capacité des GPU phares et Apple Silicon

RTX 3090 24GB

GPU grand public · 24 Go

936 GB/s · $0.29/hr

RTX 4090 24GB

GPU grand public · 24 Go

1,008 GB/s · $0.44/hr

RTX 5090 32GB

GPU grand public · 32 Go

1,792 GB/s · $0.79/hr

Apple M-Max 64GB

Mémoire unifiée Apple Silicon · 64 Go

546 GB/s · $0.22/hr

Mac Studio 128GB

Mémoire unifiée Apple Silicon · 128 Go

546 GB/s · $0.32/hr

Mac Studio 192GB

Mémoire unifiée Apple Silicon · 192 Go

800 GB/s · $0.48/hr

NVIDIA A100 80GB

GPU de centre de données · 80 Go

2,039 GB/s · $1.49/hr

NVIDIA H100 80GB

GPU de centre de données · 80 Go

3,350 GB/s · $2.39/hr

Pourquoi les formules naïves « 2 Go par milliard de paramètres » échouent en production

Les estimations approximatives ignorent trois variables dominantes de l’inférence moderne à poids ouverts : les facteurs d’échelle des super-blocs GGUF (où Q4_K_M atteint en moyenne 4.85 bits/poids au lieu de 4.00), la croissance du cache KV sur les longues fenêtres de contexte et les requêtes simultanées en batch continu, ainsi que le routage Mixture-of-Experts où l’intégralité des 671B ou 235B paramètres réside en VRAM alors que seuls 37B ou 22B sont lus par token généré.

VRAMLab évalue chaque modèle à partir de sa géométrie Transformer vérifiée — en distinguant explicitement l’attention multi-têtes (MHA), l’attention à requêtes groupées (GQA), l’attention latente multi-têtes de DeepSeek (MLA) et les empilements hybrides locaux/globaux à fenêtre glissante — afin d’aligner vos plans de capacité sur les allocations réelles de vLLM, SGLang, Ollama et llama.cpp.

Questions fréquentes

Comment DeepSeek MLA réduit-il la VRAM du cache KV par rapport au GQA standard ?

L’attention latente multi-têtes projette les clés et valeurs dans un vecteur latent partagé de faible rang (tel que kv_lora_rank = 512 plus qk_rope_head_dim = 64) au lieu de mettre en cache des tenseurs 2 × H_kv × head_dim par couche, réduisant la mémoire du cache KV sur long contexte de plus de 90 % par rapport au MHA non compressé.

Pourquoi les modèles Mixture-of-Experts (MoE) exigent-ils beaucoup de VRAM tout en décodant rapidement ?

Chaque expert routé doit rester résident en mémoire GPU ou unifiée pour éviter la saturation PCIe/SSD, de sorte que la VRAM évolue avec le total des paramètres (p. ex. 235B pour Qwen3-235B-A22B). Le débit de décodage en tok/s dépend en revanche de la bande passante mémoire sur les seuls paramètres actifs par token (22B), offrant une vitesse proche d’un modèle dense 32B une fois chargé.

Pourquoi macOS déclenche-t-il une erreur OOM sur Apple Silicon avant d’utiliser 100 % de la RAM unifiée ?

macOS réserve une partie de la mémoire unifiée au noyau et au compositeur graphique via iogpu.wired_limit_mb (~75 % de la RAM physique par défaut). Les modèles occupant entre 75 % et 88 % de la RAM nécessitent d’élever iogpu.wired_limit_mb avec sysctl avant de lancer Ollama ou llama.cpp.

D’où proviennent les dimensions d’architecture utilisées par VRAMLab ?

Notre pipeline automatisé de vérification d’architectures toutes les 12 heures valide les champs numériques des configurations Transformer à partir des publications officielles à poids ouverts et les compile en HTML statique, sans aucun appel API à l’exécution ni télémétrie utilisateur.

Calculateur de VRAM et de cache KV pour LLM tenant compte de l’architecture