LLM VRAM, KV 캐시 및 속도 계산기

대화형 VRAM, KV 캐시 & 디코딩 속도 워크벤치

오픈웨이트 모델 프리셋 (또는 사용자 정의)

가중치 양자화 (bpw)

KV 캐시 정밀도

대상 GPU / 통합 메모리 등급

디바이스 수 (TP)

컨텍스트 길이 (tokens) 32,768 토큰

동시 시퀀스 수 (Batch) 1

원시 Transformer 차원 확인 또는 직접 입력 (레이어, KV 헤드, MLA 랭크, MoE 전문가 수)

토폴로지 & 어텐션

어텐션 메커니즘

총 파라미터 (B)

토큰당 활성 파라미터 (B)

은닉 레이어 수

은닉 차원 (Hidden Size)

쿼리 헤드 수

KV 헤드 수

헤드 차원 (Head Dim)

MLA kv_lora_rank

SWA Window

메모리 세부 내역 & 대역폭 상한

빠듯한 적재 (>90% 사용)

모델 가중치: 65.5% KV Cache: 28.3% 런타임 & TP 오버헤드: 6.2%

총 필요 메모리

28.28 GB

88.4% of 32 GB

디바이스당 할당량

28.28 GB

Usable: 29.4 GB

모델 가중치

18.52 GB

런타임 & TP 오버헤드: 1.76 GB

KV 캐시 (FP16)

8.00 GB

MHA FP16: 64.00 GB

추정 단일 스트림 디코딩

39.4 tok/s

추정 배치 총 처리량: 39.4 tok/s

OOM 이전 최대 컨텍스트

44,216

토큰

아키텍처 KV 압축으로 단순 MHA FP16(64.00 GB) 대비 87.5% 절감.

vLLM / Ollama 설정 생성 → 자체 GPU vs API 비교 → DevToken에서 실시간 API 요금 비교 →

전용 GPU 서빙 워크벤치 바로가기

GGUF & config.json 분석기

수십 GB .gguf 파일과 config.json 메타데이터를 File.slice와 DataView로 0ms 만에 로컬 분석 — 업로드 제로, 즉시 VRAM 계산 연동.

File.slice(0..16MiB) · 0 Upload

서빙 설정 생성기

실제 LLM VRAM 계산을 바탕으로 OOM 없는 vLLM·SGLang 명령어, Ollama Modelfile, Docker Compose 및 Kubernetes YAML을 생성합니다.

vLLM · SGLang · Ollama · K8s

GPU vs 클라우드 API 손익분기점

월간 GPU 임대·워크스테이션 비용을 클라우드 LLM API 토큰 요금, 프롬프트 캐시 할인, 물리적 tok/s 처리 한계와 비교해 손익분기점을 계산합니다.

FinOps 30-Day ROI · DevToken

오픈웨이트 LLM VRAM 빠른 참조표 (28개 모델 @ Q4_K_M & FP16)

전체 28개 중 28개 모델 표시

상주 파라미터, 어텐션 메커니즘 및 기준 VRAM 요구량이 검증된 오픈웨이트 LLM 아키텍처 표
모델 & 패밀리	토폴로지 & 어텐션	상주 / 활성	FP16 (8K ctx)	Q4_K_M (32K ctx)	최소 권장 사양	상세 분석
DeepSeek-R1 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	VRAM 가이드 →
DeepSeek-V3-0324 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	VRAM 가이드 →
DeepSeek-R1-Distill-Llama-70B DeepSeek · MIT	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	VRAM 가이드 →
DeepSeek-R1-Distill-Qwen-32B DeepSeek · MIT	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM 가이드 →
Qwen3-235B-A22B (MoE) Qwen · Apache-2.0	MOE GQA	235B / 22B	453.5 GB	143.7 GB	Mac Studio 192GB	VRAM 가이드 →
Qwen3-30B-A3B (MoE) Qwen · Apache-2.0	MOE GQA	30.5B / 3.3B	60.3 GB	21.8 GB	RTX 3090 24GB	VRAM 가이드 →
Qwen3-32B Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM 가이드 →
Qwen3-14B Qwen · Apache-2.0	DENSE GQA	14.8B	30.9 GB	14.8 GB	RTX 4060 Ti 16GB	VRAM 가이드 →
Qwen3-8B Qwen · Apache-2.0	DENSE GQA	8.2B	18.0 GB	10.4 GB	RTX 3060 12GB	VRAM 가이드 →
QwQ-32B (Reasoning) Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM 가이드 →
Qwen2.5-Coder-32B-Instruct Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM 가이드 →
Qwen2.5-72B-Instruct Qwen · Qwen License	DENSE GQA	72.7B	143.4 GB	53.7 GB	NVIDIA A100 80GB	VRAM 가이드 →
Llama 4 Maverick (400B / 17B-128E MoE) Meta Llama · Llama 4 Community	MOE GQA	402B / 17.2B	774.0 GB	241.0 GB	Mac Studio 512GB	VRAM 가이드 →
Llama 4 Scout (109B / 17B-16E MoE) Meta Llama · Llama 4 Community	MOE HYBRID_SWA	109B / 17.2B	211.8 GB	67.2 GB	NVIDIA A100 80GB	VRAM 가이드 →
Llama 3.3 70B Instruct Meta Llama · Llama 3.3 Community	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	VRAM 가이드 →
Llama 3.1 405B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	405B	782.8 GB	253.2 GB	Mac Studio 512GB	VRAM 가이드 →
Llama 3.1 8B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	8.03B	17.6 GB	9.8 GB	RTX 3060 12GB	VRAM 가이드 →
Gemma 3 27B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	27.4B	54.8 GB	20.1 GB	RTX 3090 24GB	VRAM 가이드 →
Gemma 3 12B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	12.2B	25.3 GB	10.5 GB	RTX 3060 12GB	VRAM 가이드 →
Mistral Small 3.1 (24B) Mistral · Apache-2.0	DENSE GQA	24B	48.5 GB	20.2 GB	RTX 3090 24GB	VRAM 가이드 →
Mistral Large 2411 (123B) Mistral · Mistral Research	DENSE GQA	123B	240.4 GB	84.2 GB	RTX PRO 6000 96GB	VRAM 가이드 →
Codestral 22B Mistral · Mistral Non-Production	DENSE GQA	22.2B	45.6 GB	21.2 GB	RTX 3090 24GB	VRAM 가이드 →
Devstral Small (24B SWE Agent) Mistral · Apache-2.0	DENSE GQA	23.6B	47.7 GB	19.9 GB	RTX 3090 24GB	VRAM 가이드 →
GLM-4-32B-0414 Zhipu GLM · MIT	DENSE GQA	32B	63.1 GB	21.8 GB	RTX 3090 24GB	VRAM 가이드 →
GLM-4-9B-0414 Zhipu GLM · MIT	DENSE GQA	9.4B	19.5 GB	7.9 GB	RTX 3060 12GB	VRAM 가이드 →
Microsoft Phi-4 (14B) Microsoft Phi · MIT	DENSE GQA	14.7B	31.0 GB	16.0 GB	RTX 3090 24GB	VRAM 가이드 →
Microsoft Phi-4-mini-instruct (3.8B) Microsoft Phi · MIT	DENSE GQA	3.84B	9.4 GB	7.3 GB	RTX 3060 12GB	VRAM 가이드 →
Cohere Command A (111B) Cohere · CC-BY-NC-4.0	DENSE HYBRID_SWA	111B	215.8 GB	68.9 GB	NVIDIA A100 80GB	VRAM 가이드 →

주요 GPU & Apple Silicon 용량 가이드

RTX 3090 24GB

컨슈머 GPU · 24 GB

936 GB/s · $0.29/hr

RTX 4090 24GB

컨슈머 GPU · 24 GB

1,008 GB/s · $0.44/hr

RTX 5090 32GB

컨슈머 GPU · 32 GB

1,792 GB/s · $0.79/hr

Apple M-Max 64GB

Apple Silicon 통합 메모리 · 64 GB

546 GB/s · $0.22/hr

Mac Studio 128GB

Apple Silicon 통합 메모리 · 128 GB

546 GB/s · $0.32/hr

Mac Studio 192GB

Apple Silicon 통합 메모리 · 192 GB

800 GB/s · $0.48/hr

NVIDIA A100 80GB

데이터센터 GPU · 80 GB

2,039 GB/s · $1.49/hr

NVIDIA H100 80GB

데이터센터 GPU · 80 GB

3,350 GB/s · $2.39/hr

단순한 "10억 파라미터당 2 GB" 공식이 프로덕션에서 실패하는 이유

어림짐작 공식은 최신 오픈웨이트 추론의 세 가지 핵심 변수를 놓칩니다. Q4_K_M이 4.00이 아닌 평균 4.85 bits/weight를 사용하는 GGUF 슈퍼블록 양자화 스케일, 긴 컨텍스트와 연속 배칭 동시 슬롯에 따른 KV 캐시 급증, 그리고 671B나 235B 전체 파라미터가 VRAM에 상주하면서 토큰당 37B나 22B만 스트리밍되는 Mixture-of-Experts 라우팅 구조입니다.

VRAMLab은 검증된 Transformer 기하 구조를 바탕으로 Multi-Head Attention (MHA), Grouped-Query Attention (GQA), DeepSeek Multi-head Latent Attention (MLA), 로컬/글로벌 하이브리드 슬라이딩 윈도우를 구분하여 계산하므로 실제 vLLM, SGLang, Ollama, llama.cpp 메모리 할당과 정확히 일치합니다.

자주 묻는 질문

DeepSeek MLA는 표준 GQA 대비 어떻게 KV 캐시 VRAM을 줄이나요?

Multi-head Latent Attention은 레이어마다 2 × H_kv × head_dim 텐서를 캐싱하는 대신 Key와 Value를 공유 저랭크 잠재 벡터(예: kv_lora_rank = 512 및 qk_rope_head_dim = 64)로 투영하여, 비압축 MHA 대비 장문 컨텍스트 KV 캐시 메모리를 90% 이상 절감합니다.

Mixture-of-Experts (MoE) 모델은 왜 높은 VRAM을 요구하면서도 디코딩이 빠른가요?

PCIe/SSD 스래싱을 막으려면 모든 라우팅 전문가가 GPU 또는 통합 메모리에 상주해야 하므로 VRAM은 총 파라미터 수(예: Qwen3-235B-A22B의 235B)에 비례합니다. 반면 디코딩 tok/s는 토큰당 활성 파라미터(22B)를 읽는 메모리 대역폭에만 의존하므로 적재 후에는 32B 밀집 모델 수준의 속도를 냅니다.

Apple Silicon의 macOS에서 통합 RAM을 100% 쓰기 전에 OOM이 발생하는 이유는 무엇인가요?

macOS는 커널 및 데스크톱 합성을 위해 iogpu.wired_limit_mb(기본 물리 RAM의 약 75%)로 통합 메모리를 예약합니다. RAM의 75%~88% 구간을 사용하는 모델은 Ollama나 llama.cpp 실행 전에 sysctl로 iogpu.wired_limit_mb를 상향해야 합니다.

VRAMLab의 아키텍처 차원 데이터는 어디에서 가져오나요?

12시간 주기의 자동 아키텍처 검증 파이프라인이 공식 오픈웨이트 릴리스의 수치형 Transformer 설정 필드를 검증하여 정적 HTML로 컴파일하므로, 런타임 외부 API 호출이나 사용자 텔레메트리가 전혀 필요하지 않습니다.

아키텍처 기반 LLM VRAM & KV 캐시 계산기