Apple Mac Studio M2/M3 Ultra (192 GB Unified Memory) — Modelos compatibles, contexto máximo y rendimiento en tok/s

Memoria física: 192 GB
Default / Tuned Usable: 144.0 / 169.0 GB
Ancho de banda de memoria: 800 GB/s
Cómputo FP16: 54.4 TFLOPS
Tarifa nube típica $/h / CapEx: $0.48/hr · $5,999
TDP / Native FP8: 175W · FP16/INT4

Cargar en la calculadora de VRAM → Generar config de vLLM / Ollama → Comparar GPU propia vs API →

Simulador interactivo de cargas de trabajo en Mac Studio 192GB

Modelo predefinido de pesos abiertos (o personalizado)

Cantidad multidispositivo (1× a 8× Mac Studio 192GB)

Cuantización de pesos (bpw)

Precisión de caché KV

Longitud de contexto (tokens) 32,768 tokens

Desglose de memoria y techo de ancho de banda

Cabe con holgura

Pesos del modelo: 77.4% KV: 19.4% Overhead: 3.2%

Memoria total requerida

51.51 GB

Asignación por dispositivo: 51.51 / 192 GB

Pesos del modelo

39.86 GB

KV: 10.00 GB

Decodificación estimada (1 flujo)

8.8 tok/s

Rendimiento estimado por lotes: 8.8 tok/s

Contexto máx. antes de OOM

417,308

tokens

3. Memoria unificada en Apple Silicon y límite superior de ancho de banda en decodificación

macOS limita por defecto la memoria cableada de GPU a unos 144.0 GB (75 %); elevar iogpu.wired_limit_mb desbloquea hasta 169.0 GB (88 %).

sudo sysctl iogpu.wired_limit_mb=173015

En sistemas macOS con Apple Silicon, la asignación cableada predeterminada de GPU se detiene cerca del 75 % de la RAM física unificada salvo que se modifique con sysctl iogpu.wired_limit_mb (modelado hasta un techo seguro del 88 % que preserva la estabilidad del sistema operativo). La velocidad de decodificación autorregresiva está acotada por el ancho de banda efectivo de memoria externa dividido entre los bytes de parámetros activos más los bytes activos de caché KV leídos por paso, verificado cada 12 horas por la canalización automatizada de VRAMLab.

Matriz de compatibilidad de LLM de pesos abiertos en 1× Mac Studio 192GB (contexto 32K)

Estado de ajuste y tok/s estimados de decodificación de flujo único en FP16, Q8_0 y Q4_K_M sobre un solo dispositivo
Modelo y familia	FP16	Q8_0	Q4_K_M	Mejor cuantización holgada	Contexto máx. (Q4_K_M)	Velocidad decod. (Q4_K_M)
DeepSeek-R1 (671B MoE) 671B · MLA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	—	—	—
DeepSeek-V3-0324 (671B MoE) 671B · MLA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	—	—	—
DeepSeek-R1-Distill-Llama-70B 70.6B · GQA	Requiere sysctl wired_limit	Cabe con holgura	Cabe con holgura	Q8_0	417,308 tokens	8.8 tok/s
DeepSeek-R1-Distill-Qwen-32B 32.8B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	611,676 tokens	16.5 tok/s
Qwen3-235B-A22B (MoE) 235B · GQA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Ajustado (>90 % útil)	Q5_K_M	177,059 tokens	24.0 tok/s
Qwen3-30B-A3B (MoE) 30.5B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	1,048,576 tokens	90.2 tok/s
Qwen3-32B 32.8B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	611,676 tokens	16.5 tok/s
Qwen3-14B 14.8B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	1,047,285 tokens	32.8 tok/s
Qwen3-8B 8.2B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	1,048,576 tokens	48.1 tok/s
QwQ-32B (Reasoning) 32.8B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	611,676 tokens	16.5 tok/s
Qwen2.5-Coder-32B-Instruct 32.8B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	611,676 tokens	16.5 tok/s
Qwen2.5-72B-Instruct 72.7B · GQA	Requiere sysctl wired_limit	Cabe con holgura	Cabe con holgura	Q8_0	413,306 tokens	8.6 tok/s
Llama 4 Maverick (400B / 17B-128E MoE) 402B · GQA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	—	—	—
Llama 4 Scout (109B / 17B-16E MoE) 109B · HYBRID_SWA	Memoria insuficiente (OOM)	Cabe con holgura	Cabe con holgura	Q8_0	573,553 tokens	35.6 tok/s
Llama 3.3 70B Instruct 70.6B · GQA	Requiere sysctl wired_limit	Cabe con holgura	Cabe con holgura	Q8_0	417,308 tokens	8.8 tok/s
Llama 3.1 405B Instruct 405B · GQA	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	Memoria insuficiente (OOM)	—	—	—
Llama 3.1 8B Instruct 8.03B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	1,048,576 tokens	51.4 tok/s
Gemma 3 27B IT (Multimodal) 27.4B · HYBRID_SWA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	322,342 tokens	23.9 tok/s
Gemma 3 12B IT (Multimodal) 12.2B · HYBRID_SWA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	440,497 tokens	47.7 tok/s
Mistral Small 3.1 (24B) 24B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	1,012,221 tokens	23.6 tok/s
Mistral Large 2411 (123B) 123B · GQA	Memoria insuficiente (OOM)	Ajustado (>90 % útil)	Cabe con holgura	Q6_K	288,593 tokens	5.5 tok/s
Codestral 22B 22.2B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	727,915 tokens	22.5 tok/s
Devstral Small (24B SWE Agent) 23.6B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	1,013,745 tokens	23.9 tok/s
GLM-4-32B-0414 32B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	1,048,576 tokens	22.0 tok/s
GLM-4-9B-0414 9.4B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	1,048,576 tokens	66.9 tok/s
Microsoft Phi-4 (14B) 14.7B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	838,132 tokens	30.2 tok/s
Microsoft Phi-4-mini-instruct (3.8B) 3.84B · GQA	Cabe con holgura	Cabe con holgura	Cabe con holgura	FP16 / BF16	1,048,576 tokens	71.1 tok/s
Cohere Command A (111B) 111B · HYBRID_SWA	Memoria insuficiente (OOM)	Cabe con holgura	Cabe con holgura	Q8_0	425,400 tokens	6.7 tok/s