Apple Mac Studio M2/M3 Ultra (192 GB Unified Memory) — Modèles compatibles, contexte maximal et débits tok/s

Mémoire physique: 192 Go
Default / Tuned Usable: 144.0 / 169.0 Go
Bande passante mémoire: 800 GB/s
Calcul FP16: 54.4 TFLOPS
Tarif cloud typique $/h / CapEx: $0.48/hr · $5,999
TDP / Native FP8: 175W · FP16/INT4

Charger dans le calculateur VRAM → Générer une config vLLM / Ollama → Comparer GPU auto-hébergé vs API →

Simulateur interactif de charge sur Mac Studio 192GB

Modèle prédéfini à poids ouverts (ou personnalisé)

Nombre d’unités multi-GPU (1× à 8× Mac Studio 192GB)

Quantification des poids (bpw)

Précision du cache KV

Longueur du contexte (tokens) 32,768 tokens

Répartition mémoire et plafond de bande passante

Tient confortablement

Poids du modèle: 77.4% KV: 19.4% Overhead: 3.2%

Mémoire totale requise

51.51 Go

Allocation par périphérique: 51.51 / 192 Go

Poids du modèle

39.86 Go

KV: 10.00 Go

Décodage estimé (1 flux)

8.8 tok/s

Débit estimé en batch: 8.8 tok/s

Contexte max avant OOM

417,308

tokens

3. Mémoire unifiée Apple Silicon et borne supérieure de bande passante au décodage

macOS plafonne par défaut la mémoire GPU verrouillée vers 144.0 Go (75 %) ; augmenter iogpu.wired_limit_mb débloque jusqu’à 169.0 Go (88 %).

sudo sysctl iogpu.wired_limit_mb=173015

Sur les systèmes macOS Apple Silicon, l’allocation GPU verrouillée par défaut s’arrête vers 75 % de la RAM physique unifiée sauf ajustement via sysctl iogpu.wired_limit_mb (modélisé jusqu’à un plafond sûr de 88 % préservant la stabilité du système). La vitesse de décodage autorégressif est bornée par la bande passante mémoire externe effective divisée par les octets des paramètres actifs plus les octets actifs du cache KV lus à chaque étape, vérifiée toutes les 12 heures par le pipeline automatisé de VRAMLab.

Matrice de compatibilité des LLM à poids ouverts sur 1× Mac Studio 192GB (contexte 32K)

Compatibilité et débit de décodage mono-flux estimé en tok/s pour FP16, Q8_0 et Q4_K_M sur une seule unité
Modèle et famille	FP16	Q8_0	Q4_K_M	Meilleure quantif. confortable	Contexte max (Q4_K_M)	Débit décodage (Q4_K_M)
DeepSeek-R1 (671B MoE) 671B · MLA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
DeepSeek-V3-0324 (671B MoE) 671B · MLA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
DeepSeek-R1-Distill-Llama-70B 70.6B · GQA	Nécessite sysctl wired_limit	Tient confortablement	Tient confortablement	Q8_0	417,308 tokens	8.8 tok/s
DeepSeek-R1-Distill-Qwen-32B 32.8B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	611,676 tokens	16.5 tok/s
Qwen3-235B-A22B (MoE) 235B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Ajusté (>90 % utile)	Q5_K_M	177,059 tokens	24.0 tok/s
Qwen3-30B-A3B (MoE) 30.5B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	1,048,576 tokens	90.2 tok/s
Qwen3-32B 32.8B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	611,676 tokens	16.5 tok/s
Qwen3-14B 14.8B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	1,047,285 tokens	32.8 tok/s
Qwen3-8B 8.2B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	1,048,576 tokens	48.1 tok/s
QwQ-32B (Reasoning) 32.8B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	611,676 tokens	16.5 tok/s
Qwen2.5-Coder-32B-Instruct 32.8B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	611,676 tokens	16.5 tok/s
Qwen2.5-72B-Instruct 72.7B · GQA	Nécessite sysctl wired_limit	Tient confortablement	Tient confortablement	Q8_0	413,306 tokens	8.6 tok/s
Llama 4 Maverick (400B / 17B-128E MoE) 402B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
Llama 4 Scout (109B / 17B-16E MoE) 109B · HYBRID_SWA	Mémoire insuffisante (OOM)	Tient confortablement	Tient confortablement	Q8_0	573,553 tokens	35.6 tok/s
Llama 3.3 70B Instruct 70.6B · GQA	Nécessite sysctl wired_limit	Tient confortablement	Tient confortablement	Q8_0	417,308 tokens	8.8 tok/s
Llama 3.1 405B Instruct 405B · GQA	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	Mémoire insuffisante (OOM)	—	—	—
Llama 3.1 8B Instruct 8.03B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	1,048,576 tokens	51.4 tok/s
Gemma 3 27B IT (Multimodal) 27.4B · HYBRID_SWA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	322,342 tokens	23.9 tok/s
Gemma 3 12B IT (Multimodal) 12.2B · HYBRID_SWA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	440,497 tokens	47.7 tok/s
Mistral Small 3.1 (24B) 24B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	1,012,221 tokens	23.6 tok/s
Mistral Large 2411 (123B) 123B · GQA	Mémoire insuffisante (OOM)	Ajusté (>90 % utile)	Tient confortablement	Q6_K	288,593 tokens	5.5 tok/s
Codestral 22B 22.2B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	727,915 tokens	22.5 tok/s
Devstral Small (24B SWE Agent) 23.6B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	1,013,745 tokens	23.9 tok/s
GLM-4-32B-0414 32B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	1,048,576 tokens	22.0 tok/s
GLM-4-9B-0414 9.4B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	1,048,576 tokens	66.9 tok/s
Microsoft Phi-4 (14B) 14.7B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	838,132 tokens	30.2 tok/s
Microsoft Phi-4-mini-instruct (3.8B) 3.84B · GQA	Tient confortablement	Tient confortablement	Tient confortablement	FP16 / BF16	1,048,576 tokens	71.1 tok/s
Cohere Command A (111B) 111B · HYBRID_SWA	Mémoire insuffisante (OOM)	Tient confortablement	Tient confortablement	Q8_0	425,400 tokens	6.7 tok/s