Requisiti VRAM di Mistral Large 2411 (123B), dimensioni GGUF…

Simulatore interattivo di memoria e contesto per Mistral Large 2411 (123B)

Quantizzazione dei pesi (bpw)

Precisione KV Cache

GPU di destinazione / fascia memoria unificata

Dispositivi (TP)

Lunghezza contesto (token) 32,768 token

Ripartizione memoria e limite di banda passante

Al limite (>90% usabile)

Pesi del modello: 82.5% KV: 13.1% Overhead: 4.4%

Memoria totale richiesta

84.17 GB

Allocazione per dispositivo: 84.17 GB

Pesi del modello

69.45 GB

KV Cache (FP16): 11.00 GB

Decodifica stimata (singolo flusso)

13.7 tok/s

Overhead runtime e TP: 3.72 GB

Contesto max prima di OOM

58,919

token

La compressione KV architetturale risparmia il 91.7% rispetto a MHA FP16 standard (132.00 GB).

Matrice VRAM per precisione e quantizzazione (contesto 8K / 32K / 128K)

Memoria GPU totale richiesta in base alla precisione dei pesi e alla lunghezza del contesto (batch = 1, KV cache FP16)
Precisione / Formato	bpw effettivi	Solo pesi	Totale @ ctx 8K	Totale @ ctx 32K	Totale @ ctx 128K	Fascia consigliata (@ 32K)
FP16 / BF16	16.00 bpw	229.11 GB	240.37 GB	248.62 GB	281.62 GB	Mac Studio 512GB
FP8	8.50 bpw	121.71 GB	129.75 GB	138.00 GB	171.00 GB	Mac Studio 192GB
Q8_0	8.50 bpw	121.71 GB	129.75 GB	138.00 GB	171.00 GB	Mac Studio 192GB
Q6_K	6.56 bpw	93.93 GB	101.14 GB	109.39 GB	142.39 GB	NVIDIA H200 141GB
Q5_K_M	5.69 bpw	81.48 GB	88.31 GB	96.56 GB	129.56 GB	Mac Studio 128GB
Q4_K_M	4.85 bpw	69.45 GB	75.92 GB	84.17 GB	117.17 GB	RTX PRO 6000 96GB
AWQ INT4	4.50 bpw	64.44 GB	70.76 GB	79.01 GB	112.01 GB	RTX PRO 6000 96GB
IQ4_XS	4.25 bpw	60.86 GB	67.07 GB	75.32 GB	108.32 GB	NVIDIA A100 80GB

Compatibilità hardware e velocità di decodifica (Mistral Large 2411 (123B) @ Q4_K_M, contesto 32K)

Esito di compatibilità, utilizzo memoria e throughput di decodifica stimato sulle principali GPU e Apple Silicon
Fascia hardware	Memoria e banda	Richiesta (32K)	Compatibilità	Velocità decod. stimata
RTX 3090 24GB	24 GB · 936 GB/s	84.17 GB (351%)	Memoria esaurita (OOM)	—
RTX 4090 24GB	24 GB · 1008 GB/s	84.17 GB (351%)	Memoria esaurita (OOM)	—
RTX 5090 32GB	32 GB · 1792 GB/s	84.17 GB (263%)	Memoria esaurita (OOM)	—
Apple M-Max 64GB	64 GB · 546 GB/s	82.79 GB (129%)	Memoria esaurita (OOM)	—
Mac Studio 128GB	128 GB · 546 GB/s	82.79 GB (65%)	Entra comodamente	3.7 tok/s
Mac Studio 192GB	192 GB · 800 GB/s	82.79 GB (43%)	Entra comodamente	5.5 tok/s
NVIDIA A100 80GB	80 GB · 2039 GB/s	84.17 GB (105%)	Memoria esaurita (OOM)	—
NVIDIA H100 80GB	80 GB · 3350 GB/s	84.17 GB (105%)	Memoria esaurita (OOM)	—

Parametri verificati dell’architettura Transformer

Checkpoint ID: mistralai/Mistral-Large-Instruct-2411
Ollama Tag: mistral-large:123b
License / Release: Mistral Research · 2024-Q4
Topologia e attenzione: Transformer denso
Meccanismo di attenzione: Attenzione a query raggruppate (GQA)
Parametri totali (B): 123B
Parametri attivi / token (B): 123B
Livelli nascosti / Dimensione nascosta: 88 / 12288
Teste di query / Teste KV: 96Q / 8KV (d=128)
Vocab / Max Position: 32,768 / 131,072

I formati quantizzati memorizzano fattori di scala per blocco e zero-point accanto ai pesi interi compatti. Un checkpoint GGUF Q4_K_M a 4 bit richiede in media 4.85 bit effettivi per parametro (non 4.00), mentre Q8_0 si attesta a 8.50 bpw. Nei modelli Mixture-of-Experts, tutti gli esperti instradati e condivisi restano residenti in memoria per evitare il paging dall’host a ogni token.

La Grouped-Query Attention standard alloca 2 × L × H_kv × d_head × S × B × bytes_kv lungo i livelli. La Multi-head Latent Attention di DeepSeek (MLA) comprime chiavi e valori in L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv, riducendo di oltre il 90% la memoria sui contesti lunghi. I modelli ibridi a finestra scorrevole limitano i livelli di attenzione locale a min(S, window_size) facendo scalare linearmente con S quelli globali.

Comandi rapidi vLLM e Ollama per Mistral Large 2411 (123B)

vllm serve mistralai/Mistral-Large-Instruct-2411 \
  --tensor-parallel-size 1 \
  --max-model-len 32768 \
  --max-num-seqs 8 \
  --gpu-memory-utilization 0.95 \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --port 8000

# Save as Modelfile, then run: ollama create mistral-large-123b-custom -f Modelfile
FROM mistral-large:123b
PARAMETER num_ctx 32768
PARAMETER num_batch 512
PARAMETER flash_attn true

# Environment variables for ollama serve:
# OLLAMA_NUM_PARALLEL=8 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve