Calcolatore VRAM, KV Cache e Throughput per LLM

Workbench interattivo per VRAM, KV Cache e velocità di decodifica

Preset modello open-weight (o personalizzato)

Quantizzazione dei pesi (bpw)

Precisione KV Cache

GPU di destinazione / fascia memoria unificata

Dispositivi (TP)

Lunghezza contesto (token) 32,768 token

Sequenze concorrenti (batch) 1

Ispeziona o modifica le dimensioni grezze del Transformer (livelli, teste KV, rango MLA, esperti MoE)

Topologia e attenzione

Meccanismo di attenzione

Parametri totali (B)

Parametri attivi / token (B)

Livelli nascosti

Dimensione nascosta

Teste di query

Teste KV

Dimensione testa

MLA kv_lora_rank

SWA Window

Ripartizione memoria e limite di banda passante

Al limite (>90% usabile)

Pesi del modello: 65.5% KV Cache: 28.3% Overhead runtime e TP: 6.2%

Memoria totale richiesta

28.28 GB

88.4% of 32 GB

Allocazione per dispositivo

28.28 GB

Usable: 29.4 GB

Pesi del modello

18.52 GB

Overhead runtime e TP: 1.76 GB

KV Cache (FP16)

8.00 GB

MHA FP16: 64.00 GB

Decodifica stimata (singolo flusso)

39.4 tok/s

Throughput batch stimato: 39.4 tok/s

Contesto max prima di OOM

44,216

token

La compressione KV architetturale risparmia il 87.5% rispetto a MHA FP16 standard (64.00 GB).

Genera config vLLM / Ollama → Confronta GPU self-hosted vs API → Confronta le tariffe token API live su DevToken →

Passa agli strumenti specializzati per il serving GPU

Ispettore GGUF e config.json

Ispeziona localmente in 0 ms file modello .gguf multi-gigabyte e metadati Transformer config.json tramite File.slice e DataView: zero upload di file e calcolo VRAM immediato.

File.slice(0..16MiB) · 0 Upload

Generatore config di serving

Genera flag CLI vLLM anti-OOM, comandi SGLang, Modelfile Ollama, stack GPU Docker Compose e YAML Kubernetes basati sul calcolo reale della VRAM per LLM.

vLLM · SGLang · Ollama · K8s

Break-even GPU vs API Cloud

Confronta i costi mensili di GPU dedicate o locali con le fatture API Cloud LLM, gli sconti di prompt caching e i limiti fisici di throughput in tok/s.

FinOps 30-Day ROI · DevToken

Riferimento rapido VRAM per LLM open-weight (28 modelli @ Q4_K_M e FP16)

Visualizzati 28 di 28 modelli

Architetture LLM open-weight verificate con parametri residenti, meccanismo di attenzione e requisiti VRAM di base
Modello e famiglia	Topologia e attenzione	Residenti / Attivi	FP16 (ctx 8K)	Q4_K_M (ctx 32K)	Fascia pratica minima	Approfondisci
DeepSeek-R1 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	Guida VRAM →
DeepSeek-V3-0324 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	Guida VRAM →
DeepSeek-R1-Distill-Llama-70B DeepSeek · MIT	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	Guida VRAM →
DeepSeek-R1-Distill-Qwen-32B DeepSeek · MIT	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guida VRAM →
Qwen3-235B-A22B (MoE) Qwen · Apache-2.0	MOE GQA	235B / 22B	453.5 GB	143.7 GB	Mac Studio 192GB	Guida VRAM →
Qwen3-30B-A3B (MoE) Qwen · Apache-2.0	MOE GQA	30.5B / 3.3B	60.3 GB	21.8 GB	RTX 3090 24GB	Guida VRAM →
Qwen3-32B Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guida VRAM →
Qwen3-14B Qwen · Apache-2.0	DENSE GQA	14.8B	30.9 GB	14.8 GB	RTX 4060 Ti 16GB	Guida VRAM →
Qwen3-8B Qwen · Apache-2.0	DENSE GQA	8.2B	18.0 GB	10.4 GB	RTX 3060 12GB	Guida VRAM →
QwQ-32B (Reasoning) Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guida VRAM →
Qwen2.5-Coder-32B-Instruct Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	Guida VRAM →
Qwen2.5-72B-Instruct Qwen · Qwen License	DENSE GQA	72.7B	143.4 GB	53.7 GB	NVIDIA A100 80GB	Guida VRAM →
Llama 4 Maverick (400B / 17B-128E MoE) Meta Llama · Llama 4 Community	MOE GQA	402B / 17.2B	774.0 GB	241.0 GB	Mac Studio 512GB	Guida VRAM →
Llama 4 Scout (109B / 17B-16E MoE) Meta Llama · Llama 4 Community	MOE HYBRID_SWA	109B / 17.2B	211.8 GB	67.2 GB	NVIDIA A100 80GB	Guida VRAM →
Llama 3.3 70B Instruct Meta Llama · Llama 3.3 Community	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	Guida VRAM →
Llama 3.1 405B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	405B	782.8 GB	253.2 GB	Mac Studio 512GB	Guida VRAM →
Llama 3.1 8B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	8.03B	17.6 GB	9.8 GB	RTX 3060 12GB	Guida VRAM →
Gemma 3 27B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	27.4B	54.8 GB	20.1 GB	RTX 3090 24GB	Guida VRAM →
Gemma 3 12B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	12.2B	25.3 GB	10.5 GB	RTX 3060 12GB	Guida VRAM →
Mistral Small 3.1 (24B) Mistral · Apache-2.0	DENSE GQA	24B	48.5 GB	20.2 GB	RTX 3090 24GB	Guida VRAM →
Mistral Large 2411 (123B) Mistral · Mistral Research	DENSE GQA	123B	240.4 GB	84.2 GB	RTX PRO 6000 96GB	Guida VRAM →
Codestral 22B Mistral · Mistral Non-Production	DENSE GQA	22.2B	45.6 GB	21.2 GB	RTX 3090 24GB	Guida VRAM →
Devstral Small (24B SWE Agent) Mistral · Apache-2.0	DENSE GQA	23.6B	47.7 GB	19.9 GB	RTX 3090 24GB	Guida VRAM →
GLM-4-32B-0414 Zhipu GLM · MIT	DENSE GQA	32B	63.1 GB	21.8 GB	RTX 3090 24GB	Guida VRAM →
GLM-4-9B-0414 Zhipu GLM · MIT	DENSE GQA	9.4B	19.5 GB	7.9 GB	RTX 3060 12GB	Guida VRAM →
Microsoft Phi-4 (14B) Microsoft Phi · MIT	DENSE GQA	14.7B	31.0 GB	16.0 GB	RTX 3090 24GB	Guida VRAM →
Microsoft Phi-4-mini-instruct (3.8B) Microsoft Phi · MIT	DENSE GQA	3.84B	9.4 GB	7.3 GB	RTX 3060 12GB	Guida VRAM →
Cohere Command A (111B) Cohere · CC-BY-NC-4.0	DENSE HYBRID_SWA	111B	215.8 GB	68.9 GB	NVIDIA A100 80GB	Guida VRAM →

Guide di capacità per GPU di punta e Apple Silicon

RTX 3090 24GB

GPU consumer · 24 GB

936 GB/s · $0.29/hr

RTX 4090 24GB

GPU consumer · 24 GB

1,008 GB/s · $0.44/hr

RTX 5090 32GB

GPU consumer · 32 GB

1,792 GB/s · $0.79/hr

Apple M-Max 64GB

Memoria unificata Apple Silicon · 64 GB

546 GB/s · $0.22/hr

Mac Studio 128GB

Memoria unificata Apple Silicon · 128 GB

546 GB/s · $0.32/hr

Mac Studio 192GB

Memoria unificata Apple Silicon · 192 GB

800 GB/s · $0.48/hr

NVIDIA A100 80GB

GPU da data center · 80 GB

2,039 GB/s · $1.49/hr

NVIDIA H100 80GB

GPU da data center · 80 GB

3,350 GB/s · $2.39/hr

Perché le formule approssimative da «2 GB per miliardo di parametri» falliscono in produzione

Le regole empiriche trascurano tre variabili decisive nell’inferenza moderna open-weight: i fattori di scala dei super-blocchi GGUF (dove Q4_K_M richiede in media 4.85 bit/peso anziché 4.00), la crescita della KV cache su finestre di contesto estese e slot concorrenti in continuous batching, e il routing Mixture-of-Experts in cui tutti i 671B o 235B parametri risiedono in VRAM mentre solo 37B o 22B vengono letti per ogni token generato.

VRAMLab valuta ogni modello a partire dalla sua geometria Transformer verificata — distinguendo esplicitamente tra Multi-Head Attention (MHA), Grouped-Query Attention (GQA), DeepSeek Multi-head Latent Attention (MLA) e stack ibridi locali/globali a finestra scorrevole — affinché i piani di capacità rispecchino le allocazioni reali di vLLM, SGLang, Ollama e llama.cpp.

Domande frequenti

In che modo DeepSeek MLA riduce la VRAM della KV cache rispetto alla GQA standard?

La Multi-head Latent Attention proietta chiavi e valori in un vettore latente condiviso a basso rango (come kv_lora_rank = 512 più qk_rope_head_dim = 64) invece di memorizzare tensori 2 × H_kv × head_dim per livello, abbattendo di oltre il 90% la memoria della KV cache sui contesti lunghi rispetto alla MHA non compressa.

Perché i modelli Mixture-of-Experts (MoE) richiedono molta VRAM ma decodificano velocemente?

Ogni esperto instradato deve restare residente nella memoria GPU o unificata per evitare colli di bottiglia su PCIe o SSD, quindi la VRAM scala con i parametri totali (es. 235B per Qwen3-235B-A22B). La velocità di decodifica in tok/s dipende invece dalla banda di memoria letta sui soli parametri attivi per token (22B), offrendo prestazioni simili a un modello denso da 32B.

Perché macOS va in OOM su Apple Silicon prima di utilizzare il 100% della RAM unificata?

macOS riserva parte della memoria unificata al kernel e al compositore grafico tramite iogpu.wired_limit_mb (~75% della RAM fisica per impostazione predefinita). I modelli compresi tra il 75% e l’88% della RAM richiedono di innalzare iogpu.wired_limit_mb con sysctl prima di avviare Ollama o llama.cpp.

Da dove provengono le dimensioni architetturali usate da VRAMLab?

La nostra pipeline automatizzata di verifica architetturale ogni 12 ore convalida i campi numerici delle configurazioni Transformer dai rilasci ufficiali open-weight e li compila in HTML statico, senza alcuna chiamata API a runtime né telemetria utente.

Calcolatore di VRAM e KV Cache per LLM consapevole dell’architettura