VRAM de Qwen3-14B, Tamanhos GGUF e Guia de GPU

Simulador Interativo de Memória e Contexto para Qwen3-14B

Quantização de Pesos (bpw)

Precisão do Cache KV

GPU Alvo / Nível de Memória Unificada

Dispositivos (TP)

Tamanho do Contexto (tokens) 32,768 tokens

Detalhamento de Memória e Teto de Largura de Banda

Ajuste Apertado (>90% Útil)

Pesos do Modelo: 56.4% KV: 33.8% Overhead: 9.8%

Memória Total Necessária

14.81 GB

Alocação por Dispositivo: 14.81 GB

Pesos do Modelo

8.36 GB

Cache KV (FP16): 5.00 GB

Decodificação Est. (1 Fluxo)

12.6 tok/s

Sobrecarga de Runtime e TP: 1.45 GB

Contexto Máx. Antes de OOM

38,686

tokens

A compressão arquitetural de KV economiza 80.0% vs MHA FP16 ingênuo (25.00 GB).

Matriz de VRAM por Precisão e Quantização (Contexto 8K / 32K / 128K)

Memória total de GPU exigida por precisão de pesos e tamanho de contexto (batch = 1, cache KV FP16)
Precisão / Formato	bpw Efetivo	Apenas Pesos	Total @ 8K ctx	Total @ 32K ctx	Total @ 128K ctx	Nível Recomendado (@ 32K)
FP16 / BF16	16.00 bpw	27.57 GB	30.85 GB	34.60 GB	49.60 GB	Apple M4 Pro 48GB
FP8	8.50 bpw	14.65 GB	17.54 GB	21.29 GB	36.29 GB	RTX 3090 24GB
Q8_0	8.50 bpw	14.65 GB	17.54 GB	21.29 GB	36.29 GB	RTX 3090 24GB
Q6_K	6.56 bpw	11.30 GB	14.09 GB	17.84 GB	32.84 GB	RTX 3090 24GB
Q5_K_M	5.69 bpw	9.80 GB	12.55 GB	16.30 GB	31.30 GB	RTX 3090 24GB
Q4_K_M	4.85 bpw	8.36 GB	11.06 GB	14.81 GB	29.81 GB	RTX 4060 Ti 16GB
AWQ INT4	4.50 bpw	7.75 GB	10.44 GB	14.19 GB	29.19 GB	RTX 4060 Ti 16GB
IQ4_XS	4.25 bpw	7.32 GB	9.99 GB	13.74 GB	28.74 GB	RTX 4060 Ti 16GB

Compatibilidade de Hardware e Velocidade de Decodificação (Qwen3-14B @ Q4_K_M, 32K)

Status de ajuste, uso de memória e vazão estimada de decodificação nas principais GPUs e Apple Silicon
Nível de Hardware	Memória e Banda	Exigido (32K)	Veredito de Ajuste	Velocidade Est.
RTX 3090 24GB	24 GB · 936 GB/s	14.81 GB (62%)	Cabe com Folga	40.8 tok/s
RTX 4090 24GB	24 GB · 1008 GB/s	14.81 GB (62%)	Cabe com Folga	44.0 tok/s
RTX 5090 32GB	32 GB · 1792 GB/s	14.81 GB (46%)	Cabe com Folga	78.2 tok/s
Apple M-Max 64GB	64 GB · 546 GB/s	14.34 GB (22%)	Cabe com Folga	22.4 tok/s
Mac Studio 128GB	128 GB · 546 GB/s	14.34 GB (11%)	Cabe com Folga	22.4 tok/s
Mac Studio 192GB	192 GB · 800 GB/s	14.34 GB (8%)	Cabe com Folga	32.8 tok/s
NVIDIA A100 80GB	80 GB · 2039 GB/s	14.81 GB (19%)	Cabe com Folga	94.2 tok/s
NVIDIA H100 80GB	80 GB · 3350 GB/s	14.81 GB (19%)	Cabe com Folga	154.7 tok/s

Parâmetros Verificados da Arquitetura Transformer

Checkpoint ID: Qwen/Qwen3-14B
Ollama Tag: qwen3:14b
License / Release: Apache-2.0 · 2025-Q2
Topologia e Atenção: Transformer Denso
Mecanismo de Atenção: Atenção de Consulta Agrupada (GQA)
Parâmetros Totais (B): 14.8B
Parâmetros Ativos / Token (B): 14.8B
Camadas Ocultas / Dimensão Oculta: 40 / 5120
Cabeças de Consulta / Cabeças KV: 40Q / 8KV (d=128)
Vocab / Max Position: 151,936 / 40,960

Formatos quantizados armazenam fatores de escala e pontos zero por bloco junto aos pesos inteiros compactados. Um checkpoint GGUF Q4_K_M de 4 bits tem média de 4,85 bits efetivos por parâmetro (e não 4,00), enquanto Q8_0 tem média de 8,50 bpw. Em modelos Mixture-of-Experts, todos os especialistas roteados e compartilhados permanecem residentes na memória para evitar paginação a cada token.

O Grouped-Query Attention padrão aloca 2 × L × H_kv × d_head × S × B × bytes_kv entre as camadas. O DeepSeek Multi-head Latent Attention (MLA) comprime chaves e valores em L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv, cortando a memória de contexto longo em mais de 90%. Modelos híbridos de janela deslizante limitam camadas de atenção local a min(S, window_size) enquanto escalam camadas globais linearmente com S.

Comandos Rápidos de vLLM e Ollama para Qwen3-14B

vllm serve Qwen/Qwen3-14B \
  --tensor-parallel-size 1 \
  --max-model-len 32768 \
  --max-num-seqs 8 \
  --gpu-memory-utilization 0.95 \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --port 8000

# Save as Modelfile, then run: ollama create qwen3-14b-custom -f Modelfile
FROM qwen3:14b
PARAMETER num_ctx 32768
PARAMETER num_batch 512
PARAMETER flash_attn true

# Environment variables for ollama serve:
# OLLAMA_NUM_PARALLEL=8 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve