Apple Mac Studio M2/M3 Ultra (192 GB Unified Memory) — 구동 가능 모델, 최대 컨텍스트 & tok/s 벤치마크

물리 메모리: 192 GB
Default / Tuned Usable: 144.0 / 169.0 GB
메모리 대역폭: 800 GB/s
FP16 연산: 54.4 TFLOPS
클라우드 $/hr / CapEx: $0.48/hr · $5,999
TDP / Native FP8: 175W · FP16/INT4

VRAM 계산기에서 열기 → vLLM / Ollama 설정 생성 → 자체 GPU vs API 비교 →

Mac Studio 192GB 대화형 워크로드 시뮬레이터

오픈웨이트 모델 프리셋 (또는 사용자 정의)

멀티 디바이스 구성 (1× ~ 8× Mac Studio 192GB)

가중치 양자화 (bpw)

KV 캐시 정밀도

컨텍스트 길이 (tokens) 32,768 토큰

메모리 세부 내역 & 대역폭 상한

여유 있게 적재

모델 가중치: 77.4% KV: 19.4% Overhead: 3.2%

총 필요 메모리

51.51 GB

디바이스당 할당량: 51.51 / 192 GB

모델 가중치

39.86 GB

KV: 10.00 GB

추정 단일 스트림 디코딩

8.8 tok/s

추정 배치 총 처리량: 8.8 tok/s

OOM 이전 최대 컨텍스트

417,308

토큰

3. Apple Silicon 통합 메모리 및 디코딩 대역폭 상한

macOS는 기본적으로 GPU wired 메모리를 약 144.0 GB(75%)로 제한하며, iogpu.wired_limit_mb 조정 시 최대 169.0 GB(88%)까지 사용할 수 있습니다.

sudo sysctl iogpu.wired_limit_mb=173015

macOS Apple Silicon 시스템에서 기본 GPU wired 할당은 sysctl iogpu.wired_limit_mb로 재정의하지 않는 한 물리 통합 RAM의 약 75%에서 제한됩니다(OS 안정성을 유지하는 안전 상한으로 최대 88%까지 모델링). 자기회귀 디코딩 속도는 유효 외부 메모리 대역폭을 스텝당 읽는 활성 파라미터 바이트와 활성 KV 캐시 바이트의 합으로 나눈 상한을 따르며, VRAMLab의 12시간 주기 자동 검증 파이프라인으로 검증됩니다.

1× Mac Studio 192GB 오픈웨이트 LLM 호환성 매트릭스 (32K 컨텍스트)

단일 디바이스 기준 FP16, Q8_0, Q4_K_M 적재 상태 및 추정 단일 스트림 디코딩 tok/s
모델 & 패밀리	FP16	Q8_0	Q4_K_M	최적 여유 양자화	최대 컨텍스트 (Q4_K_M)	디코딩 속도 (Q4_K_M)
DeepSeek-R1 (671B MoE) 671B · MLA	메모리 부족 (OOM)	메모리 부족 (OOM)	메모리 부족 (OOM)	—	—	—
DeepSeek-V3-0324 (671B MoE) 671B · MLA	메모리 부족 (OOM)	메모리 부족 (OOM)	메모리 부족 (OOM)	—	—	—
DeepSeek-R1-Distill-Llama-70B 70.6B · GQA	sysctl wired_limit 조정 필요	여유 있게 적재	여유 있게 적재	Q8_0	417,308 토큰	8.8 tok/s
DeepSeek-R1-Distill-Qwen-32B 32.8B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	611,676 토큰	16.5 tok/s
Qwen3-235B-A22B (MoE) 235B · GQA	메모리 부족 (OOM)	메모리 부족 (OOM)	빠듯한 적재 (>90% 사용)	Q5_K_M	177,059 토큰	24.0 tok/s
Qwen3-30B-A3B (MoE) 30.5B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	1,048,576 토큰	90.2 tok/s
Qwen3-32B 32.8B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	611,676 토큰	16.5 tok/s
Qwen3-14B 14.8B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	1,047,285 토큰	32.8 tok/s
Qwen3-8B 8.2B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	1,048,576 토큰	48.1 tok/s
QwQ-32B (Reasoning) 32.8B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	611,676 토큰	16.5 tok/s
Qwen2.5-Coder-32B-Instruct 32.8B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	611,676 토큰	16.5 tok/s
Qwen2.5-72B-Instruct 72.7B · GQA	sysctl wired_limit 조정 필요	여유 있게 적재	여유 있게 적재	Q8_0	413,306 토큰	8.6 tok/s
Llama 4 Maverick (400B / 17B-128E MoE) 402B · GQA	메모리 부족 (OOM)	메모리 부족 (OOM)	메모리 부족 (OOM)	—	—	—
Llama 4 Scout (109B / 17B-16E MoE) 109B · HYBRID_SWA	메모리 부족 (OOM)	여유 있게 적재	여유 있게 적재	Q8_0	573,553 토큰	35.6 tok/s
Llama 3.3 70B Instruct 70.6B · GQA	sysctl wired_limit 조정 필요	여유 있게 적재	여유 있게 적재	Q8_0	417,308 토큰	8.8 tok/s
Llama 3.1 405B Instruct 405B · GQA	메모리 부족 (OOM)	메모리 부족 (OOM)	메모리 부족 (OOM)	—	—	—
Llama 3.1 8B Instruct 8.03B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	1,048,576 토큰	51.4 tok/s
Gemma 3 27B IT (Multimodal) 27.4B · HYBRID_SWA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	322,342 토큰	23.9 tok/s
Gemma 3 12B IT (Multimodal) 12.2B · HYBRID_SWA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	440,497 토큰	47.7 tok/s
Mistral Small 3.1 (24B) 24B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	1,012,221 토큰	23.6 tok/s
Mistral Large 2411 (123B) 123B · GQA	메모리 부족 (OOM)	빠듯한 적재 (>90% 사용)	여유 있게 적재	Q6_K	288,593 토큰	5.5 tok/s
Codestral 22B 22.2B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	727,915 토큰	22.5 tok/s
Devstral Small (24B SWE Agent) 23.6B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	1,013,745 토큰	23.9 tok/s
GLM-4-32B-0414 32B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	1,048,576 토큰	22.0 tok/s
GLM-4-9B-0414 9.4B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	1,048,576 토큰	66.9 tok/s
Microsoft Phi-4 (14B) 14.7B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	838,132 토큰	30.2 tok/s
Microsoft Phi-4-mini-instruct (3.8B) 3.84B · GQA	여유 있게 적재	여유 있게 적재	여유 있게 적재	FP16 / BF16	1,048,576 토큰	71.1 tok/s
Cohere Command A (111B) 111B · HYBRID_SWA	메모리 부족 (OOM)	여유 있게 적재	여유 있게 적재	Q8_0	425,400 토큰	6.7 tok/s