LLM-VRAM-, KV-Cache- & Durchsatz-Rechner

Interaktive Workbench für VRAM, KV-Cache & Decode-Geschwindigkeit

Open-Weight-Modellvorlage (oder benutzerdefiniert)

Gewichtsquantisierung (bpw)

KV-Cache-Präzision

Ziel-GPU / Unified-Memory-Klasse

Geräte (TP)

Kontextlänge (Tokens) 32,768 Tokens

Parallele Sequenzen (Batch) 1

Rohe Transformer-Dimensionen prüfen oder überschreiben (Schichten, KV-Heads, MLA-Rang, MoE-Experten)

Topologie & Attention

Aufmerksamkeitsmechanismus

Gesamtparameter (Mrd.)

Aktive Parameter / Token (Mrd.)

Verborgene Schichten

Hidden-Dimension

Query-Heads

KV-Heads

Head-Dimension

MLA kv_lora_rank

SWA Window

Speicheraufschlüsselung & Bandbreitenlimit

Knapp (>90 % nutzbar)

Modellgewichte: 65.5% KV Cache: 28.3% Runtime- & TP-Overhead: 6.2%

Gesamter Speicherbedarf

28.28 GB

88.4% of 32 GB

Belegung pro Gerät

28.28 GB

Usable: 29.4 GB

Modellgewichte

18.52 GB

Runtime- & TP-Overhead: 1.76 GB

KV-Cache (FP16)

8.00 GB

MHA FP16: 64.00 GB

Gesch. Einzelstream-Decode

39.4 tok/s

Gesch. Batch-Durchsatz: 39.4 tok/s

Max. Kontext vor OOM

44,216

Tokens

Architekturbedingte KV-Komprimierung spart 87.5 % gegenüber naiver MHA FP16 (64.00 GB).

vLLM- / Ollama-Config erzeugen → Eigene GPU vs. API vergleichen → Live-API-Tokenpreise auf DevToken vergleichen →

Direkt zu spezialisierten GPU-Serving-Werkzeugen

GGUF- & config.json-Inspektor

Analysieren Sie große .gguf-Dateien und config.json-Metadaten lokal in 0 ms per File.slice und DataView — ohne Upload und mit direkter VRAM-Berechnung.

File.slice(0..16MiB) · 0 Upload

Serving-Config-Generator

Erstellen Sie OOM-sichere vLLM-CLI-Flags, SGLang-Befehle, Ollama-Modelfiles, Docker-Compose-Stacks und Kubernetes-YAML aus exakten LLM-VRAM-Berechnungen.

vLLM · SGLang · Ollama · K8s

GPU vs. Cloud-API Break-Even

Vergleichen Sie monatliche GPU-Miet- oder Workstation-Kosten mit Cloud-LLM-API-Tokenrechnungen, Prompt-Caching-Rabatten und physischer tok/s-Durchsatzsättigung.

FinOps 30-Day ROI · DevToken

Open-Weight-LLM-VRAM-Kurzreferenz (28 Modelle @ Q4_K_M & FP16)

28 von 28 Modellen angezeigt

Geprüfte Open-Weight-LLM-Architekturen mit residenten Parametern, Attention-Typ und Basis-VRAM-Bedarf
Modell & Familie	Topologie & Attention	Resident / Aktiv	FP16 (8K Kontext)	Q4_K_M (32K Kontext)	Praktische Mindestklasse	Details
DeepSeek-R1 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	VRAM-Leitfaden →
DeepSeek-V3-0324 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	VRAM-Leitfaden →
DeepSeek-R1-Distill-Llama-70B DeepSeek · MIT	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	VRAM-Leitfaden →
DeepSeek-R1-Distill-Qwen-32B DeepSeek · MIT	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM-Leitfaden →
Qwen3-235B-A22B (MoE) Qwen · Apache-2.0	MOE GQA	235B / 22B	453.5 GB	143.7 GB	Mac Studio 192GB	VRAM-Leitfaden →
Qwen3-30B-A3B (MoE) Qwen · Apache-2.0	MOE GQA	30.5B / 3.3B	60.3 GB	21.8 GB	RTX 3090 24GB	VRAM-Leitfaden →
Qwen3-32B Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM-Leitfaden →
Qwen3-14B Qwen · Apache-2.0	DENSE GQA	14.8B	30.9 GB	14.8 GB	RTX 4060 Ti 16GB	VRAM-Leitfaden →
Qwen3-8B Qwen · Apache-2.0	DENSE GQA	8.2B	18.0 GB	10.4 GB	RTX 3060 12GB	VRAM-Leitfaden →
QwQ-32B (Reasoning) Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM-Leitfaden →
Qwen2.5-Coder-32B-Instruct Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM-Leitfaden →
Qwen2.5-72B-Instruct Qwen · Qwen License	DENSE GQA	72.7B	143.4 GB	53.7 GB	NVIDIA A100 80GB	VRAM-Leitfaden →
Llama 4 Maverick (400B / 17B-128E MoE) Meta Llama · Llama 4 Community	MOE GQA	402B / 17.2B	774.0 GB	241.0 GB	Mac Studio 512GB	VRAM-Leitfaden →
Llama 4 Scout (109B / 17B-16E MoE) Meta Llama · Llama 4 Community	MOE HYBRID_SWA	109B / 17.2B	211.8 GB	67.2 GB	NVIDIA A100 80GB	VRAM-Leitfaden →
Llama 3.3 70B Instruct Meta Llama · Llama 3.3 Community	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	VRAM-Leitfaden →
Llama 3.1 405B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	405B	782.8 GB	253.2 GB	Mac Studio 512GB	VRAM-Leitfaden →
Llama 3.1 8B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	8.03B	17.6 GB	9.8 GB	RTX 3060 12GB	VRAM-Leitfaden →
Gemma 3 27B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	27.4B	54.8 GB	20.1 GB	RTX 3090 24GB	VRAM-Leitfaden →
Gemma 3 12B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	12.2B	25.3 GB	10.5 GB	RTX 3060 12GB	VRAM-Leitfaden →
Mistral Small 3.1 (24B) Mistral · Apache-2.0	DENSE GQA	24B	48.5 GB	20.2 GB	RTX 3090 24GB	VRAM-Leitfaden →
Mistral Large 2411 (123B) Mistral · Mistral Research	DENSE GQA	123B	240.4 GB	84.2 GB	RTX PRO 6000 96GB	VRAM-Leitfaden →
Codestral 22B Mistral · Mistral Non-Production	DENSE GQA	22.2B	45.6 GB	21.2 GB	RTX 3090 24GB	VRAM-Leitfaden →
Devstral Small (24B SWE Agent) Mistral · Apache-2.0	DENSE GQA	23.6B	47.7 GB	19.9 GB	RTX 3090 24GB	VRAM-Leitfaden →
GLM-4-32B-0414 Zhipu GLM · MIT	DENSE GQA	32B	63.1 GB	21.8 GB	RTX 3090 24GB	VRAM-Leitfaden →
GLM-4-9B-0414 Zhipu GLM · MIT	DENSE GQA	9.4B	19.5 GB	7.9 GB	RTX 3060 12GB	VRAM-Leitfaden →
Microsoft Phi-4 (14B) Microsoft Phi · MIT	DENSE GQA	14.7B	31.0 GB	16.0 GB	RTX 3090 24GB	VRAM-Leitfaden →
Microsoft Phi-4-mini-instruct (3.8B) Microsoft Phi · MIT	DENSE GQA	3.84B	9.4 GB	7.3 GB	RTX 3060 12GB	VRAM-Leitfaden →
Cohere Command A (111B) Cohere · CC-BY-NC-4.0	DENSE HYBRID_SWA	111B	215.8 GB	68.9 GB	NVIDIA A100 80GB	VRAM-Leitfaden →

Kapazitätsleitfäden für Flaggschiff-GPUs & Apple Silicon

RTX 3090 24GB

Consumer-GPU · 24 GB

936 GB/s · $0.29/hr

RTX 4090 24GB

Consumer-GPU · 24 GB

1,008 GB/s · $0.44/hr

RTX 5090 32GB

Consumer-GPU · 32 GB

1,792 GB/s · $0.79/hr

Apple M-Max 64GB

Apple Silicon Unified Memory · 64 GB

546 GB/s · $0.22/hr

Mac Studio 128GB

Apple Silicon Unified Memory · 128 GB

546 GB/s · $0.32/hr

Mac Studio 192GB

Apple Silicon Unified Memory · 192 GB

800 GB/s · $0.48/hr

NVIDIA A100 80GB

Rechenzentrums-GPU · 80 GB

2,039 GB/s · $1.49/hr

NVIDIA H100 80GB

Rechenzentrums-GPU · 80 GB

3,350 GB/s · $2.39/hr

Warum pauschale „2 GB pro Milliarde Parameter“-Faustregeln in der Praxis scheitern

Überschlagsformeln ignorieren drei entscheidende Größen moderner Open-Weight-Inferenz: GGUF-Superblock-Skalierungsfaktoren (bei denen Q4_K_M im Schnitt 4.85 Bits/Gewicht statt 4.00 belegt), das Wachstum des KV-Caches über lange Kontextfenster und parallele Continuous-Batching-Slots sowie Mixture-of-Experts-Routing, bei dem alle 671B bzw. 235B Parameter im VRAM liegen, obwohl pro Token nur 37B bzw. 22B gelesen werden.

VRAMLab berechnet jedes Modell anhand seiner verifizierten Transformer-Geometrie — mit expliziter Unterscheidung zwischen Multi-Head Attention (MHA), Grouped-Query Attention (GQA), DeepSeek Multi-head Latent Attention (MLA) und hybriden lokalen/globalen Sliding-Window-Schichten —, damit Ihre Kapazitätsplanung exakt mit realen Allokationen in vLLM, SGLang, Ollama und llama.cpp übereinstimmt.

Häufig gestellte Fragen

Wie reduziert DeepSeek MLA den KV-Cache-VRAM im Vergleich zu Standard-GQA?

Multi-head Latent Attention projiziert Keys und Values in einen gemeinsamen niederdimensionalen Latenzvektor (etwa kv_lora_rank = 512 plus qk_rope_head_dim = 64), anstatt pro Schicht 2 × H_kv × head_dim-Tensoren vorzuhalten. Dadurch sinkt der KV-Cache-Bedarf bei langen Kontexten um über 90 % gegenüber unkomprimierter MHA.

Warum benötigen Mixture-of-Experts-(MoE)-Modelle viel VRAM, dekodieren aber dennoch schnell?

Jeder geroutete Experte muss dauerhaft im GPU- oder Unified-Speicher gehalten werden, um PCIe-/SSD-Nachladen zu vermeiden; der VRAM-Bedarf skaliert daher mit der Gesamtzahl der Parameter (z. B. 235B bei Qwen3-235B-A22B). Die Decode-Rate in tok/s wird hingegen durch die Speicherbandbreite der aktiven Parameter pro Token (22B) bestimmt und erreicht das Tempo eines dichten 32B-Modells.

Warum meldet macOS auf Apple Silicon einen OOM-Fehler, bevor 100 % des Unified RAM belegt sind?

macOS reserviert über iogpu.wired_limit_mb standardmäßig rund 25 % des physischen Arbeitsspeichers für Kernel und Desktop-Compositor (GPU-Limit bei ~75 %). Modelle zwischen 75 % und 88 % RAM-Anteil erfordern vor dem Start von Ollama oder llama.cpp eine Anhebung von iogpu.wired_limit_mb mittels sysctl.

Woher stammen die Architekturdimensionen in VRAMLab?

Unsere automatisierte 12-Stunden-Verifikationspipeline prüft numerische Transformer-Konfigurationsfelder aus offiziellen Open-Weight-Veröffentlichungen und kompiliert sie in statisches HTML — komplett ohne Laufzeit-API-Aufrufe oder Nutzertelemetrie.

Architekturbewusster LLM-VRAM- & KV-Cache-Rechner