VRAM de Microsoft Phi-4 (14B), Tamanhos GGUF e Guia de GPU

Simulador Interativo de Memória e Contexto para Microsoft Phi-4 (14B)

Quantização de Pesos (bpw)

Precisão do Cache KV

GPU Alvo / Nível de Memória Unificada

Dispositivos (TP)

Tamanho do Contexto (tokens) 32,768 tokens

Detalhamento de Memória e Teto de Largura de Banda

Cabe com Folga

Pesos do Modelo: 51.9% KV: 39.1% Overhead: 9%

Memória Total Necessária

16.00 GB

Alocação por Dispositivo: 16.00 GB

Pesos do Modelo

8.30 GB

Cache KV (FP16): 6.25 GB

Decodificação Est. (1 Fluxo)

37.5 tok/s

Sobrecarga de Runtime e TP: 1.45 GB

Contexto Máx. Antes de OOM

71,519

tokens

A compressão arquitetural de KV economiza 75.0% vs MHA FP16 ingênuo (25.00 GB).

Matriz de VRAM por Precisão e Quantização (Contexto 8K / 32K / 128K)

Memória total de GPU exigida por precisão de pesos e tamanho de contexto (batch = 1, cache KV FP16)
Precisão / Formato	bpw Efetivo	Apenas Pesos	Total @ 8K ctx	Total @ 32K ctx	Total @ 128K ctx	Nível Recomendado (@ 32K)
FP16 / BF16	16.00 bpw	27.38 GB	30.97 GB	35.65 GB	54.40 GB	Apple M4 Pro 48GB
FP8	8.50 bpw	14.55 GB	17.75 GB	22.43 GB	41.18 GB	RTX 3090 24GB
Q8_0	8.50 bpw	14.55 GB	17.75 GB	22.43 GB	41.18 GB	RTX 3090 24GB
Q6_K	6.56 bpw	11.23 GB	14.33 GB	19.02 GB	37.77 GB	RTX 3090 24GB
Q5_K_M	5.69 bpw	9.74 GB	12.79 GB	17.48 GB	36.23 GB	RTX 3090 24GB
Q4_K_M	4.85 bpw	8.30 GB	11.31 GB	16.00 GB	34.75 GB	RTX 3090 24GB
AWQ INT4	4.50 bpw	7.70 GB	10.70 GB	15.38 GB	34.13 GB	RTX 4060 Ti 16GB
IQ4_XS	4.25 bpw	7.27 GB	10.26 GB	14.94 GB	33.69 GB	RTX 4060 Ti 16GB

Compatibilidade de Hardware e Velocidade de Decodificação (Microsoft Phi-4 (14B) @ Q4_K_M, 32K)

Status de ajuste, uso de memória e vazão estimada de decodificação nas principais GPUs e Apple Silicon
Nível de Hardware	Memória e Banda	Exigido (32K)	Veredito de Ajuste	Velocidade Est.
RTX 3090 24GB	24 GB · 936 GB/s	16.00 GB (67%)	Cabe com Folga	37.5 tok/s
RTX 4090 24GB	24 GB · 1008 GB/s	16.00 GB (67%)	Cabe com Folga	40.4 tok/s
RTX 5090 32GB	32 GB · 1792 GB/s	16.00 GB (50%)	Cabe com Folga	71.8 tok/s
Apple M-Max 64GB	64 GB · 546 GB/s	15.54 GB (24%)	Cabe com Folga	20.6 tok/s
Mac Studio 128GB	128 GB · 546 GB/s	15.54 GB (12%)	Cabe com Folga	20.6 tok/s
Mac Studio 192GB	192 GB · 800 GB/s	15.54 GB (8%)	Cabe com Folga	30.2 tok/s
NVIDIA A100 80GB	80 GB · 2039 GB/s	16.00 GB (20%)	Cabe com Folga	86.5 tok/s
NVIDIA H100 80GB	80 GB · 3350 GB/s	16.00 GB (20%)	Cabe com Folga	142.0 tok/s

Parâmetros Verificados da Arquitetura Transformer

Checkpoint ID: microsoft/phi-4
Ollama Tag: phi4:14b
License / Release: MIT · 2025-Q1
Topologia e Atenção: Transformer Denso
Mecanismo de Atenção: Atenção de Consulta Agrupada (GQA)
Parâmetros Totais (B): 14.7B
Parâmetros Ativos / Token (B): 14.7B
Camadas Ocultas / Dimensão Oculta: 40 / 5120
Cabeças de Consulta / Cabeças KV: 40Q / 10KV (d=128)
Vocab / Max Position: 100,352 / 16,384

Formatos quantizados armazenam fatores de escala e pontos zero por bloco junto aos pesos inteiros compactados. Um checkpoint GGUF Q4_K_M de 4 bits tem média de 4,85 bits efetivos por parâmetro (e não 4,00), enquanto Q8_0 tem média de 8,50 bpw. Em modelos Mixture-of-Experts, todos os especialistas roteados e compartilhados permanecem residentes na memória para evitar paginação a cada token.

O Grouped-Query Attention padrão aloca 2 × L × H_kv × d_head × S × B × bytes_kv entre as camadas. O DeepSeek Multi-head Latent Attention (MLA) comprime chaves e valores em L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv, cortando a memória de contexto longo em mais de 90%. Modelos híbridos de janela deslizante limitam camadas de atenção local a min(S, window_size) enquanto escalam camadas globais linearmente com S.

Comandos Rápidos de vLLM e Ollama para Microsoft Phi-4 (14B)

vllm serve microsoft/phi-4 \
  --tensor-parallel-size 1 \
  --max-model-len 32768 \
  --max-num-seqs 8 \
  --gpu-memory-utilization 0.95 \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --port 8000

# Save as Modelfile, then run: ollama create phi-4-14b-custom -f Modelfile
FROM phi4:14b
PARAMETER num_ctx 32768
PARAMETER num_batch 512
PARAMETER flash_attn true

# Environment variables for ollama serve:
# OLLAMA_NUM_PARALLEL=8 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve