아키텍처 기반 LLM 메모리 & 대역폭 산정 방법론
VRAMLab은 고정 배수 어림짐작이 아닌 제1원리 텐서 차원으로부터 LLM 추론 메모리를 모델링하며, 무비용 정적 엣지 자산 위에서 100% 클라이언트 측으로 실행됩니다.
1. 가중치 양자화 및 유효 비트 폭 (Effective bpw)
양자화 포맷은 패킹된 정수 가중치와 함께 블록별 스케일 계수 및 제로 포인트를 저장합니다. 4비트 GGUF Q4_K_M 체크포인트는 파라미터당 평균 4.85 유효 비트(4.00이 아님)를 사용하며 Q8_0은 평균 8.50 bpw를 소비합니다. Mixture-of-Experts 모델에서는 토큰마다 발생하는 호스트 페이징을 방지하기 위해 모든 라우팅 및 공유 전문가가 메모리에 상주합니다.
| 정밀도 / 포맷 | 유효 bpw | 32B Weights | 70B Weights | vLLM / Ollama / GGUF |
|---|---|---|---|---|
| FP16 / BF16 (16-bit Native) | 16.00 bpw | 61.09 GB | 131.50 GB | native · fp16 · F16 / BF16 |
| FP8 E4M3 (Hopper / Ada / Blackwell) | 8.50 bpw | 32.46 GB | 69.86 GB | fp8 · fp8 · FP8_E4M3 |
| INT8 SmoothQuant / bitsandbytes | 8.50 bpw | 32.46 GB | 69.86 GB | bitsandbytes · q8_0 · INT8 |
| GGUF Q8_0 (8.50 bpw) | 8.50 bpw | 32.46 GB | 69.86 GB | gguf · q8_0 · Q8_0 |
| GGUF Q6_K (6.56 bpw) | 6.56 bpw | 25.05 GB | 53.92 GB | gguf · q6_K · Q6_K |
| GGUF Q5_K_M (5.69 bpw) | 5.69 bpw | 21.73 GB | 46.77 GB | gguf · q5_K_M · Q5_K_M |
| GGUF Q4_K_M (4.85 bpw — Recommended) | 4.85 bpw | 18.52 GB | 39.86 GB | gguf · q4_K_M · Q4_K_M |
| AWQ / GPTQ INT4 (4.50 bpw) | 4.50 bpw | 17.18 GB | 36.99 GB | awq · q4_K_M · AWQ_4BIT |
| GGUF IQ4_XS (4.25 bpw Importance Matrix) | 4.25 bpw | 16.23 GB | 34.93 GB | gguf · iq4_XS · IQ4_XS |
| GGUF Q3_K_M (3.91 bpw) | 3.91 bpw | 14.93 GB | 32.14 GB | gguf · q3_K_M · Q3_K_M |
| GGUF Q2_K (3.35 bpw Extreme) | 3.35 bpw | 12.79 GB | 27.53 GB | gguf · q2_K · Q2_K |
2. 어텐션별 KV 캐시 방정식 (MHA, GQA, MLA & 하이브리드 SWA)
표준 Grouped-Query Attention은 전체 레이어에 걸쳐 2 × L × H_kv × d_head × S × B × bytes_kv를 할당합니다. DeepSeek Multi-head Latent Attention (MLA)은 Key와 Value를 L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv로 압축해 장문 컨텍스트 메모리를 90% 이상 절감합니다. 하이브리드 슬라이딩 윈도우 모델은 로컬 어텐션 레이어를 min(S, window_size)로 제한하고 글로벌 레이어만 S에 선형 비례해 확장합니다.
- 멀티헤드 어텐션 (MHA) / 그룹 쿼리 어텐션 (GQA)
- 2 × L × H_kv × d_head × S × B × bytes_kv
- 멀티헤드 잠재 어텐션 (MLA)
- L × (kv_lora_rank + qk_rope_dim) × S × B × bytes_kv
- 하이브리드 슬라이딩 윈도우 (SWA)
- (L_global × S + L_local × min(S, W)) × 2 × H_kv × d_head × B × bytes_kv
- Mixture-of-Experts (MoE)
- Weights ∝ P_total · Decode tok/s ∝ BW / P_active
3. Apple Silicon 통합 메모리 및 디코딩 대역폭 상한
macOS Apple Silicon 시스템에서 기본 GPU wired 할당은 sysctl iogpu.wired_limit_mb로 재정의하지 않는 한 물리 통합 RAM의 약 75%에서 제한됩니다(OS 안정성을 유지하는 안전 상한으로 최대 88%까지 모델링). 자기회귀 디코딩 속도는 유효 외부 메모리 대역폭을 스텝당 읽는 활성 파라미터 바이트와 활성 KV 캐시 바이트의 합으로 나눈 상한을 따르며, VRAMLab의 12시간 주기 자동 검증 파이프라인으로 검증됩니다.
| 가속기 / 시스템 | 물리 메모리 | Default Usable | Tuned Ceiling | 메모리 대역폭 |
|---|---|---|---|---|
| NVIDIA GeForce RTX 3090 (24 GB GDDR6X) | 24 GB | 22.1 GB (92%) | 23.0 GB (96%) | 936 GB/s |
| NVIDIA GeForce RTX 4090 (24 GB GDDR6X) | 24 GB | 22.1 GB (92%) | 23.0 GB (96%) | 1,008 GB/s |
| NVIDIA GeForce RTX 5090 (32 GB GDDR7) | 32 GB | 29.4 GB (92%) | 30.7 GB (96%) | 1,792 GB/s |
| Apple Silicon M-Series Max (64 GB Unified Memory) | 64 GB | 48.0 GB (75%) | 56.3 GB (88% sysctl) | 546 GB/s |
| Apple Mac Studio M4 Max (128 GB Unified Memory) | 128 GB | 96.0 GB (75%) | 112.6 GB (88% sysctl) | 546 GB/s |
| Apple Mac Studio M2/M3 Ultra (192 GB Unified Memory) | 192 GB | 144.0 GB (75%) | 169.0 GB (88% sysctl) | 800 GB/s |
| NVIDIA A100 SXM4 (80 GB HBM2e) | 80 GB | 73.6 GB (92%) | 76.8 GB (96%) | 2,039 GB/s |
| NVIDIA H100 SXM5 (80 GB HBM3) | 80 GB | 73.6 GB (92%) | 76.8 GB (96%) | 3,350 GB/s |
4. 연결된 CodeAP Studio 엔지니어링 워크벤치
VRAMLab의 용량 설계와 함께 DevToken의 460개 이상 실시간 LLM API 요금 & 429 속도 제한 모델링, LLMEOL의 7대 생태계 지원 종료 추적, ToMarkdown의 PDF/DOCX/HTML-Markdown 토큰 압축 도구를 함께 활용해 보세요.
자주 묻는 질문
DeepSeek MLA는 표준 GQA 대비 어떻게 KV 캐시 VRAM을 줄이나요?
Multi-head Latent Attention은 레이어마다 2 × H_kv × head_dim 텐서를 캐싱하는 대신 Key와 Value를 공유 저랭크 잠재 벡터(예: kv_lora_rank = 512 및 qk_rope_head_dim = 64)로 투영하여, 비압축 MHA 대비 장문 컨텍스트 KV 캐시 메모리를 90% 이상 절감합니다.
Mixture-of-Experts (MoE) 모델은 왜 높은 VRAM을 요구하면서도 디코딩이 빠른가요?
PCIe/SSD 스래싱을 막으려면 모든 라우팅 전문가가 GPU 또는 통합 메모리에 상주해야 하므로 VRAM은 총 파라미터 수(예: Qwen3-235B-A22B의 235B)에 비례합니다. 반면 디코딩 tok/s는 토큰당 활성 파라미터(22B)를 읽는 메모리 대역폭에만 의존하므로 적재 후에는 32B 밀집 모델 수준의 속도를 냅니다.
Apple Silicon의 macOS에서 통합 RAM을 100% 쓰기 전에 OOM이 발생하는 이유는 무엇인가요?
macOS는 커널 및 데스크톱 합성을 위해 iogpu.wired_limit_mb(기본 물리 RAM의 약 75%)로 통합 메모리를 예약합니다. RAM의 75%~88% 구간을 사용하는 모델은 Ollama나 llama.cpp 실행 전에 sysctl로 iogpu.wired_limit_mb를 상향해야 합니다.
VRAMLab의 아키텍처 차원 데이터는 어디에서 가져오나요?
12시간 주기의 자동 아키텍처 검증 파이프라인이 공식 오픈웨이트 릴리스의 수치형 Transformer 설정 필드를 검증하여 정적 HTML로 컴파일하므로, 런타임 외부 API 호출이나 사용자 텔레메트리가 전혀 필요하지 않습니다.