GPU & Apple Silicon LLM VRAM 및 대역폭 등급 가이드
대표적인 워크스테이션 GPU, Apple Silicon 통합 메모리 Mac, 데이터센터 HBM 가속기를 비교하여 Q4_K_M, Q8_0, FP8, FP16에서 여유 있게 구동되는 오픈웨이트 모델과 메모리 대역폭이 제공하는 초당 토큰 속도를 확인하세요.
주요 GPU & Apple Silicon 용량 가이드
RTX 3090 24GB
컨슈머 GPU · 24 GB (22.1 GB usable)
RTX 4090 24GB
컨슈머 GPU · 24 GB (22.1 GB usable)
RTX 5090 32GB
컨슈머 GPU · 32 GB (29.4 GB usable)
Apple M-Max 64GB
Apple Silicon 통합 메모리 · 64 GB (48.0 GB usable)
Mac Studio 128GB
Apple Silicon 통합 메모리 · 128 GB (96.0 GB usable)
Mac Studio 192GB
Apple Silicon 통합 메모리 · 192 GB (144.0 GB usable)
NVIDIA A100 80GB
데이터센터 GPU · 80 GB (73.6 GB usable)
NVIDIA H100 80GB
데이터센터 GPU · 80 GB (73.6 GB usable)
전체 가속기 & 통합 메모리 사양 매트릭스
| 가속기 / 시스템 | 분류 | 물리 메모리 | 메모리 대역폭 | FP16 연산 | 클라우드 $/hr | 구동 가능 모델 |
|---|---|---|---|---|---|---|
| NVIDIA GeForce RTX 3060 (12 GB) | 컨슈머 GPU | 12 GB | 360 GB/s | 25.4 TFLOPS | $0.16/hr | VRAM 계산기에서 열기 → |
| NVIDIA GeForce RTX 4060 Ti (16 GB) | 컨슈머 GPU | 16 GB | 288 GB/s | 44.1 TFLOPS | $0.22/hr | VRAM 계산기에서 열기 → |
| NVIDIA GeForce RTX 3090 (24 GB GDDR6X) | 컨슈머 GPU | 24 GB | 936 GB/s | 71 TFLOPS | $0.29/hr | 용량 가이드 → |
| NVIDIA GeForce RTX 4090 (24 GB GDDR6X) | 컨슈머 GPU | 24 GB | 1,008 GB/s | 165.2 TFLOPS | $0.44/hr | 용량 가이드 → |
| NVIDIA GeForce RTX 5090 (32 GB GDDR7) | 컨슈머 GPU | 32 GB | 1,792 GB/s | 209.5 TFLOPS | $0.79/hr | 용량 가이드 → |
| NVIDIA RTX PRO 6000 Blackwell (96 GB GDDR7) | 데이터센터 GPU | 96 GB | 1,792 GB/s | 252 TFLOPS | $1.65/hr | VRAM 계산기에서 열기 → |
| Apple MacBook Pro / Mac mini M4 Pro (48 GB Unified) | Apple Silicon 통합 메모리 | 48 GB | 273 GB/s | 17.8 TFLOPS | $0.14/hr | VRAM 계산기에서 열기 → |
| Apple Silicon M-Series Max (64 GB Unified Memory) | Apple Silicon 통합 메모리 | 64 GB | 546 GB/s | 32.8 TFLOPS | $0.22/hr | 용량 가이드 → |
| Apple Mac Studio M4 Max (128 GB Unified Memory) | Apple Silicon 통합 메모리 | 128 GB | 546 GB/s | 36.4 TFLOPS | $0.32/hr | 용량 가이드 → |
| Apple Mac Studio M2/M3 Ultra (192 GB Unified Memory) | Apple Silicon 통합 메모리 | 192 GB | 800 GB/s | 54.4 TFLOPS | $0.48/hr | 용량 가이드 → |
| Apple Mac Studio M3 Ultra (512 GB Unified Memory) | Apple Silicon 통합 메모리 | 512 GB | 819 GB/s | 65.2 TFLOPS | $0.78/hr | VRAM 계산기에서 열기 → |
| NVIDIA L40S (48 GB GDDR6) | 데이터센터 GPU | 48 GB | 864 GB/s | 362 TFLOPS | $1.05/hr | VRAM 계산기에서 열기 → |
| NVIDIA A100 SXM4 (80 GB HBM2e) | 데이터센터 GPU | 80 GB | 2,039 GB/s | 312 TFLOPS | $1.49/hr | 용량 가이드 → |
| NVIDIA H100 SXM5 (80 GB HBM3) | 데이터센터 GPU | 80 GB | 3,350 GB/s | 989 TFLOPS | $2.39/hr | 용량 가이드 → |
| NVIDIA H200 SXM (141 GB HBM3e) | 데이터센터 GPU | 141 GB | 4,800 GB/s | 989 TFLOPS | $3.49/hr | VRAM 계산기에서 열기 → |
로컬 LLM 디코딩의 핵심 병목은 메모리 대역폭입니다
단일 사용자 자기회귀 생성에서는 출력 토큰마다 VRAM에서 연산 코어로 활성 모델 가중치를 읽어와야 합니다. 메모리 대역폭이 두 배가 되면(예: 546 GB/s에서 GDDR7 1,792 GB/s 또는 HBM3 3,350 GB/s로 향상) 동일한 양자화에서 tok/s 속도 역시 거의 두 배로 증가합니다.
macOS Apple Silicon 시스템에서 기본 GPU wired 할당은 sysctl iogpu.wired_limit_mb로 재정의하지 않는 한 물리 통합 RAM의 약 75%에서 제한됩니다(OS 안정성을 유지하는 안전 상한으로 최대 88%까지 모델링). 자기회귀 디코딩 속도는 유효 외부 메모리 대역폭을 스텝당 읽는 활성 파라미터 바이트와 활성 KV 캐시 바이트의 합으로 나눈 상한을 따르며, VRAMLab의 12시간 주기 자동 검증 파이프라인으로 검증됩니다.
텐서 병렬화는 어텐션 헤드와 MLP 행렬을 NVLink 또는 PCIe 디바이스에 분할하므로 --tensor-parallel-size가 쿼리 및 KV 헤드 수를 정확히 나누어떨어지게 해야 하며, NCCL all-reduce 버퍼와 CUDA 그래프 캡처를 위한 여유 메모리도 남겨야 합니다.