Besoins VRAM de Qwen3-30B-A3B (MoE), tailles GGUF et guide GPU

Simulateur interactif de mémoire et de contexte pour Qwen3-30B-A3B (MoE)

Quantification des poids (bpw)

Précision du cache KV

GPU cible / palier de mémoire unifiée

Périphériques (TP)

Longueur du contexte (tokens) 32,768 tokens

Répartition mémoire et plafond de bande passante

Ajusté (>90 % utile)

Poids du modèle: 79.2% KV: 13.8% Overhead: 7%

Mémoire totale requise

21.75 Go

Allocation par périphérique: 21.75 Go

Poids du modèle

17.22 Go

Cache KV (FP16): 3.00 Go

Décodage estimé (1 flux)

112.1 tok/s

Surcharge runtime et TP: 1.53 Go

Contexte max avant OOM

48,634

tokens

La compression KV architecturale économise 87.5 % par rapport au MHA FP16 naïf (24.00 Go).

Matrice VRAM par précision et quantification (contexte 8K / 32K / 128K)

Mémoire GPU totale requise selon la précision des poids et la longueur du contexte (batch = 1, cache KV FP16)
Précision / Format	bpw effectifs	Poids seuls	Total @ ctx 8K	Total @ ctx 32K	Total @ ctx 128K	Palier recommandé (@ 32K)
FP16 / BF16	16.00 bpw	56.81 Go	60.28 Go	62.53 Go	71.53 Go	NVIDIA A100 80GB
FP8	8.50 bpw	30.18 Go	32.85 Go	35.10 Go	44.10 Go	Apple M4 Pro 48GB
Q8_0	8.50 bpw	30.18 Go	32.85 Go	35.10 Go	44.10 Go	Apple M4 Pro 48GB
Q6_K	6.56 bpw	23.29 Go	25.76 Go	28.01 Go	37.01 Go	RTX 5090 32GB
Q5_K_M	5.69 bpw	20.20 Go	22.57 Go	24.82 Go	33.82 Go	RTX 5090 32GB
Q4_K_M	4.85 bpw	17.22 Go	19.50 Go	21.75 Go	30.75 Go	RTX 3090 24GB
AWQ INT4	4.50 bpw	15.98 Go	18.22 Go	20.47 Go	29.47 Go	RTX 3090 24GB
IQ4_XS	4.25 bpw	15.09 Go	17.31 Go	19.56 Go	28.56 Go	RTX 3090 24GB

Compatibilité matérielle et vitesse de décodage (Qwen3-30B-A3B (MoE) @ Q4_K_M, contexte 32K)

Statut de compatibilité, utilisation mémoire et débit de décodage estimé sur les GPU phares et Apple Silicon
Palier matériel	Mémoire et bande passante	Requis (32K)	Compatibilité	Débit décodage est.
RTX 3090 24GB	24 Go · 936 GB/s	21.75 Go (91%)	Ajusté (>90 % utile)	112.1 tok/s
RTX 4090 24GB	24 Go · 1008 GB/s	21.75 Go (91%)	Ajusté (>90 % utile)	120.8 tok/s
RTX 5090 32GB	32 Go · 1792 GB/s	21.75 Go (68%)	Tient confortablement	214.7 tok/s
Apple M-Max 64GB	64 Go · 546 GB/s	21.15 Go (33%)	Tient confortablement	61.6 tok/s
Mac Studio 128GB	128 Go · 546 GB/s	21.15 Go (17%)	Tient confortablement	61.6 tok/s
Mac Studio 192GB	192 Go · 800 GB/s	21.15 Go (11%)	Tient confortablement	90.2 tok/s
NVIDIA A100 80GB	80 Go · 2039 GB/s	21.75 Go (27%)	Tient confortablement	258.7 tok/s
NVIDIA H100 80GB	80 Go · 3350 GB/s	21.75 Go (27%)	Tient confortablement	425.0 tok/s

Paramètres vérifiés de l’architecture Transformer

Checkpoint ID: Qwen/Qwen3-30B-A3B
Ollama Tag: qwen3:30b-a3b
License / Release: Apache-2.0 · 2025-Q2
Topologie et attention: Mélange d’experts (MoE)
Mécanisme d’attention: Attention à requêtes groupées (GQA)
Paramètres totaux (B): 30.5B
Paramètres actifs / token (B): 3.3B
Couches cachées / Dimension cachée: 48 / 2048
Têtes de requête / Têtes KV: 32Q / 4KV (d=128)
MoE Routed Experts: 8 active / 128 total
Vocab / Max Position: 151,936 / 40,960

Les formats quantifiés stockent des facteurs d’échelle et des points zéro par bloc aux côtés des poids entiers compressés. Un checkpoint GGUF Q4_K_M 4 bits occupe en moyenne 4.85 bits effectifs par paramètre (et non 4.00), tandis que Q8_0 atteint 8.50 bpw. Pour les architectures Mixture-of-Experts, l’ensemble des experts routés et partagés reste résident en mémoire afin d’éviter la pagination hôte à chaque token.

L’attention à requêtes groupées standard alloue 2 × L × H_kv × d_head × S × B × bytes_kv sur l’ensemble des couches. L’attention latente multi-têtes de DeepSeek (MLA) compresse clés et valeurs en L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv, réduisant de plus de 90 % l’empreinte mémoire sur long contexte. Les modèles hybrides à fenêtre glissante plafonnent les couches locales à min(S, window_size) tout en faisant croître linéairement les couches globales avec S.

Commandes rapides vLLM et Ollama pour Qwen3-30B-A3B (MoE)

vllm serve Qwen/Qwen3-30B-A3B \
  --tensor-parallel-size 1 \
  --max-model-len 32768 \
  --max-num-seqs 8 \
  --gpu-memory-utilization 0.95 \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --port 8000

# Save as Modelfile, then run: ollama create qwen3-30b-a3b-custom -f Modelfile
FROM qwen3:30b-a3b
PARAMETER num_ctx 32768
PARAMETER num_batch 512
PARAMETER flash_attn true

# Environment variables for ollama serve:
# OLLAMA_NUM_PARALLEL=8 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve