Microsoft Phi-4 (14B) VRAM-Bedarf, GGUF-Größen & GPU-Leitfaden

Interaktiver Speicher- & Kontextsimulator für Microsoft Phi-4 (14B)

Gewichtsquantisierung (bpw)

KV-Cache-Präzision

Ziel-GPU / Unified-Memory-Klasse

Geräte (TP)

Kontextlänge (Tokens) 32,768 Tokens

Speicheraufschlüsselung & Bandbreitenlimit

Passt komfortabel

Modellgewichte: 51.9% KV: 39.1% Overhead: 9%

Gesamter Speicherbedarf

16.00 GB

Belegung pro Gerät: 16.00 GB

Modellgewichte

8.30 GB

KV-Cache (FP16): 6.25 GB

Gesch. Einzelstream-Decode

37.5 tok/s

Runtime- & TP-Overhead: 1.45 GB

Max. Kontext vor OOM

71,519

Tokens

Architekturbedingte KV-Komprimierung spart 75.0 % gegenüber naiver MHA FP16 (25.00 GB).

Präzisions- & Quantisierungs-VRAM-Matrix (8K / 32K / 128K Kontext)

Gesamter GPU-Speicherbedarf nach Gewichtspräzision und Kontextlänge (Batch = 1, FP16-KV-Cache)
Präzision / Format	Effektive bpw	Nur Gewichte	Gesamt @ 8K	Gesamt @ 32K	Gesamt @ 128K	Empfohlene Klasse (@ 32K)
FP16 / BF16	16.00 bpw	27.38 GB	30.97 GB	35.65 GB	54.40 GB	Apple M4 Pro 48GB
FP8	8.50 bpw	14.55 GB	17.75 GB	22.43 GB	41.18 GB	RTX 3090 24GB
Q8_0	8.50 bpw	14.55 GB	17.75 GB	22.43 GB	41.18 GB	RTX 3090 24GB
Q6_K	6.56 bpw	11.23 GB	14.33 GB	19.02 GB	37.77 GB	RTX 3090 24GB
Q5_K_M	5.69 bpw	9.74 GB	12.79 GB	17.48 GB	36.23 GB	RTX 3090 24GB
Q4_K_M	4.85 bpw	8.30 GB	11.31 GB	16.00 GB	34.75 GB	RTX 3090 24GB
AWQ INT4	4.50 bpw	7.70 GB	10.70 GB	15.38 GB	34.13 GB	RTX 4060 Ti 16GB
IQ4_XS	4.25 bpw	7.27 GB	10.26 GB	14.94 GB	33.69 GB	RTX 4060 Ti 16GB

Hardware-Kompatibilität & Decode-Geschwindigkeit (Microsoft Phi-4 (14B) @ Q4_K_M, 32K Kontext)

Passstatus, Speicherauslastung und geschätzter Decode-Durchsatz auf führenden GPUs und Apple Silicon
Hardware-Klasse	Speicher & Bandbreite	Benötigt (32K)	Bewertung	Gesch. Decode-Rate
RTX 3090 24GB	24 GB · 936 GB/s	16.00 GB (67%)	Passt komfortabel	37.5 tok/s
RTX 4090 24GB	24 GB · 1008 GB/s	16.00 GB (67%)	Passt komfortabel	40.4 tok/s
RTX 5090 32GB	32 GB · 1792 GB/s	16.00 GB (50%)	Passt komfortabel	71.8 tok/s
Apple M-Max 64GB	64 GB · 546 GB/s	15.54 GB (24%)	Passt komfortabel	20.6 tok/s
Mac Studio 128GB	128 GB · 546 GB/s	15.54 GB (12%)	Passt komfortabel	20.6 tok/s
Mac Studio 192GB	192 GB · 800 GB/s	15.54 GB (8%)	Passt komfortabel	30.2 tok/s
NVIDIA A100 80GB	80 GB · 2039 GB/s	16.00 GB (20%)	Passt komfortabel	86.5 tok/s
NVIDIA H100 80GB	80 GB · 3350 GB/s	16.00 GB (20%)	Passt komfortabel	142.0 tok/s

Geprüfte Transformer-Architekturparameter

Checkpoint ID: microsoft/phi-4
Ollama Tag: phi4:14b
License / Release: MIT · 2025-Q1
Topologie & Attention: Dichter Transformer
Aufmerksamkeitsmechanismus: Grouped-Query Attention (GQA)
Gesamtparameter (Mrd.): 14.7B
Aktive Parameter / Token (Mrd.): 14.7B
Verborgene Schichten / Hidden-Dimension: 40 / 5120
Query-Heads / KV-Heads: 40Q / 10KV (d=128)
Vocab / Max Position: 100,352 / 16,384

Quantisierte Formate speichern blockweise Skalierungsfaktoren und Nullpunkte neben gepackten Ganzzahlgewichten. Ein 4-Bit-GGUF-Checkpoint in Q4_K_M benötigt im Schnitt 4.85 effektive Bits pro Parameter (nicht 4.00), während Q8_0 bei 8.50 bpw liegt. Bei Mixture-of-Experts-Modellen bleiben sämtliche gerouteten und geteilten Experten im Speicher resident, um Host-Paging bei jedem Token zu verhindern.

Standard-Grouped-Query-Attention reserviert über alle Schichten hinweg 2 × L × H_kv × d_head × S × B × bytes_kv. DeepSeek Multi-head Latent Attention (MLA) komprimiert Keys und Values auf L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv und senkt den Speicherbedarf langer Kontexte um über 90 %. Hybride Sliding-Window-Modelle deckeln lokale Schichten bei min(S, window_size), während globale Schichten linear mit S wachsen.

Schnellstart-Befehle für vLLM & Ollama (Microsoft Phi-4 (14B))

vllm serve microsoft/phi-4 \
  --tensor-parallel-size 1 \
  --max-model-len 32768 \
  --max-num-seqs 8 \
  --gpu-memory-utilization 0.95 \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --port 8000

# Save as Modelfile, then run: ollama create phi-4-14b-custom -f Modelfile
FROM phi4:14b
PARAMETER num_ctx 32768
PARAMETER num_batch 512
PARAMETER flash_attn true

# Environment variables for ollama serve:
# OLLAMA_NUM_PARALLEL=8 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

Microsoft Phi-4 (14B) — VRAM-Anforderungen, Quantisierungsmatrix & GPU-Leitfaden

Interaktiver Speicher- & Kontextsimulator für Microsoft Phi-4 (14B)

Speicheraufschlüsselung & Bandbreitenlimit

Präzisions- & Quantisierungs-VRAM-Matrix (8K / 32K / 128K Kontext)

Hardware-Kompatibilität & Decode-Geschwindigkeit (Microsoft Phi-4 (14B) @ Q4_K_M, 32K Kontext)

Geprüfte Transformer-Architekturparameter

Schnellstart-Befehle für vLLM & Ollama (Microsoft Phi-4 (14B))

Verwandte & ähnlich große Open-Weight-Modelle vergleichen

Microsoft Phi-4-mini-instruct (3.8B)

Qwen3-14B

Gemma 3 12B IT (Multimodal)

GLM-4-9B-0414

Qwen3-8B

Llama 3.1 8B Instruct