Requisiti VRAM di Qwen3-14B, dimensioni GGUF e guida GPU

Simulatore interattivo di memoria e contesto per Qwen3-14B

Quantizzazione dei pesi (bpw)

Precisione KV Cache

GPU di destinazione / fascia memoria unificata

Dispositivi (TP)

Lunghezza contesto (token) 32,768 token

Ripartizione memoria e limite di banda passante

Al limite (>90% usabile)

Pesi del modello: 56.4% KV: 33.8% Overhead: 9.8%

Memoria totale richiesta

14.81 GB

Allocazione per dispositivo: 14.81 GB

Pesi del modello

8.36 GB

KV Cache (FP16): 5.00 GB

Decodifica stimata (singolo flusso)

12.6 tok/s

Overhead runtime e TP: 1.45 GB

Contesto max prima di OOM

38,686

token

La compressione KV architetturale risparmia il 80.0% rispetto a MHA FP16 standard (25.00 GB).

Matrice VRAM per precisione e quantizzazione (contesto 8K / 32K / 128K)

Memoria GPU totale richiesta in base alla precisione dei pesi e alla lunghezza del contesto (batch = 1, KV cache FP16)
Precisione / Formato	bpw effettivi	Solo pesi	Totale @ ctx 8K	Totale @ ctx 32K	Totale @ ctx 128K	Fascia consigliata (@ 32K)
FP16 / BF16	16.00 bpw	27.57 GB	30.85 GB	34.60 GB	49.60 GB	Apple M4 Pro 48GB
FP8	8.50 bpw	14.65 GB	17.54 GB	21.29 GB	36.29 GB	RTX 3090 24GB
Q8_0	8.50 bpw	14.65 GB	17.54 GB	21.29 GB	36.29 GB	RTX 3090 24GB
Q6_K	6.56 bpw	11.30 GB	14.09 GB	17.84 GB	32.84 GB	RTX 3090 24GB
Q5_K_M	5.69 bpw	9.80 GB	12.55 GB	16.30 GB	31.30 GB	RTX 3090 24GB
Q4_K_M	4.85 bpw	8.36 GB	11.06 GB	14.81 GB	29.81 GB	RTX 4060 Ti 16GB
AWQ INT4	4.50 bpw	7.75 GB	10.44 GB	14.19 GB	29.19 GB	RTX 4060 Ti 16GB
IQ4_XS	4.25 bpw	7.32 GB	9.99 GB	13.74 GB	28.74 GB	RTX 4060 Ti 16GB

Compatibilità hardware e velocità di decodifica (Qwen3-14B @ Q4_K_M, contesto 32K)

Esito di compatibilità, utilizzo memoria e throughput di decodifica stimato sulle principali GPU e Apple Silicon
Fascia hardware	Memoria e banda	Richiesta (32K)	Compatibilità	Velocità decod. stimata
RTX 3090 24GB	24 GB · 936 GB/s	14.81 GB (62%)	Entra comodamente	40.8 tok/s
RTX 4090 24GB	24 GB · 1008 GB/s	14.81 GB (62%)	Entra comodamente	44.0 tok/s
RTX 5090 32GB	32 GB · 1792 GB/s	14.81 GB (46%)	Entra comodamente	78.2 tok/s
Apple M-Max 64GB	64 GB · 546 GB/s	14.34 GB (22%)	Entra comodamente	22.4 tok/s
Mac Studio 128GB	128 GB · 546 GB/s	14.34 GB (11%)	Entra comodamente	22.4 tok/s
Mac Studio 192GB	192 GB · 800 GB/s	14.34 GB (8%)	Entra comodamente	32.8 tok/s
NVIDIA A100 80GB	80 GB · 2039 GB/s	14.81 GB (19%)	Entra comodamente	94.2 tok/s
NVIDIA H100 80GB	80 GB · 3350 GB/s	14.81 GB (19%)	Entra comodamente	154.7 tok/s

Parametri verificati dell’architettura Transformer

Checkpoint ID: Qwen/Qwen3-14B
Ollama Tag: qwen3:14b
License / Release: Apache-2.0 · 2025-Q2
Topologia e attenzione: Transformer denso
Meccanismo di attenzione: Attenzione a query raggruppate (GQA)
Parametri totali (B): 14.8B
Parametri attivi / token (B): 14.8B
Livelli nascosti / Dimensione nascosta: 40 / 5120
Teste di query / Teste KV: 40Q / 8KV (d=128)
Vocab / Max Position: 151,936 / 40,960

I formati quantizzati memorizzano fattori di scala per blocco e zero-point accanto ai pesi interi compatti. Un checkpoint GGUF Q4_K_M a 4 bit richiede in media 4.85 bit effettivi per parametro (non 4.00), mentre Q8_0 si attesta a 8.50 bpw. Nei modelli Mixture-of-Experts, tutti gli esperti instradati e condivisi restano residenti in memoria per evitare il paging dall’host a ogni token.

La Grouped-Query Attention standard alloca 2 × L × H_kv × d_head × S × B × bytes_kv lungo i livelli. La Multi-head Latent Attention di DeepSeek (MLA) comprime chiavi e valori in L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv, riducendo di oltre il 90% la memoria sui contesti lunghi. I modelli ibridi a finestra scorrevole limitano i livelli di attenzione locale a min(S, window_size) facendo scalare linearmente con S quelli globali.

Comandi rapidi vLLM e Ollama per Qwen3-14B

vllm serve Qwen/Qwen3-14B \
  --tensor-parallel-size 1 \
  --max-model-len 32768 \
  --max-num-seqs 8 \
  --gpu-memory-utilization 0.95 \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --port 8000

# Save as Modelfile, then run: ollama create qwen3-14b-custom -f Modelfile
FROM qwen3:14b
PARAMETER num_ctx 32768
PARAMETER num_batch 512
PARAMETER flash_attn true

# Environment variables for ollama serve:
# OLLAMA_NUM_PARALLEL=8 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve