오픈웨이트 LLM VRAM & 하드웨어 산정 디렉터리 (28개 모델)

VRAM 계산기에서 열기 → GGUF 분석기 → vLLM / Ollama 설정 생성 → DevToken에서 실시간 API 요금 비교 →

오픈웨이트 LLM VRAM 빠른 참조표 (28개 모델 @ Q4_K_M & FP16)

전체 28개 중 28개 모델 표시

상주 파라미터, 어텐션 메커니즘 및 기준 VRAM 요구량이 검증된 오픈웨이트 LLM 아키텍처 표
모델 & 패밀리	토폴로지 & 어텐션	상주 / 활성	FP16 (8K ctx)	Q4_K_M (32K ctx)	최소 권장 사양	상세 분석
DeepSeek-R1 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	VRAM 가이드 →
DeepSeek-V3-0324 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	VRAM 가이드 →
DeepSeek-R1-Distill-Llama-70B DeepSeek · MIT	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	VRAM 가이드 →
DeepSeek-R1-Distill-Qwen-32B DeepSeek · MIT	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM 가이드 →
Qwen3-235B-A22B (MoE) Qwen · Apache-2.0	MOE GQA	235B / 22B	453.5 GB	143.7 GB	Mac Studio 192GB	VRAM 가이드 →
Qwen3-30B-A3B (MoE) Qwen · Apache-2.0	MOE GQA	30.5B / 3.3B	60.3 GB	21.8 GB	RTX 3090 24GB	VRAM 가이드 →
Qwen3-32B Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM 가이드 →
Qwen3-14B Qwen · Apache-2.0	DENSE GQA	14.8B	30.9 GB	14.8 GB	RTX 4060 Ti 16GB	VRAM 가이드 →
Qwen3-8B Qwen · Apache-2.0	DENSE GQA	8.2B	18.0 GB	10.4 GB	RTX 3060 12GB	VRAM 가이드 →
QwQ-32B (Reasoning) Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM 가이드 →
Qwen2.5-Coder-32B-Instruct Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	VRAM 가이드 →
Qwen2.5-72B-Instruct Qwen · Qwen License	DENSE GQA	72.7B	143.4 GB	53.7 GB	NVIDIA A100 80GB	VRAM 가이드 →
Llama 4 Maverick (400B / 17B-128E MoE) Meta Llama · Llama 4 Community	MOE GQA	402B / 17.2B	774.0 GB	241.0 GB	Mac Studio 512GB	VRAM 가이드 →
Llama 4 Scout (109B / 17B-16E MoE) Meta Llama · Llama 4 Community	MOE HYBRID_SWA	109B / 17.2B	211.8 GB	67.2 GB	NVIDIA A100 80GB	VRAM 가이드 →
Llama 3.3 70B Instruct Meta Llama · Llama 3.3 Community	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	VRAM 가이드 →
Llama 3.1 405B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	405B	782.8 GB	253.2 GB	Mac Studio 512GB	VRAM 가이드 →
Llama 3.1 8B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	8.03B	17.6 GB	9.8 GB	RTX 3060 12GB	VRAM 가이드 →
Gemma 3 27B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	27.4B	54.8 GB	20.1 GB	RTX 3090 24GB	VRAM 가이드 →
Gemma 3 12B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	12.2B	25.3 GB	10.5 GB	RTX 3060 12GB	VRAM 가이드 →
Mistral Small 3.1 (24B) Mistral · Apache-2.0	DENSE GQA	24B	48.5 GB	20.2 GB	RTX 3090 24GB	VRAM 가이드 →
Mistral Large 2411 (123B) Mistral · Mistral Research	DENSE GQA	123B	240.4 GB	84.2 GB	RTX PRO 6000 96GB	VRAM 가이드 →
Codestral 22B Mistral · Mistral Non-Production	DENSE GQA	22.2B	45.6 GB	21.2 GB	RTX 3090 24GB	VRAM 가이드 →
Devstral Small (24B SWE Agent) Mistral · Apache-2.0	DENSE GQA	23.6B	47.7 GB	19.9 GB	RTX 3090 24GB	VRAM 가이드 →
GLM-4-32B-0414 Zhipu GLM · MIT	DENSE GQA	32B	63.1 GB	21.8 GB	RTX 3090 24GB	VRAM 가이드 →
GLM-4-9B-0414 Zhipu GLM · MIT	DENSE GQA	9.4B	19.5 GB	7.9 GB	RTX 3060 12GB	VRAM 가이드 →
Microsoft Phi-4 (14B) Microsoft Phi · MIT	DENSE GQA	14.7B	31.0 GB	16.0 GB	RTX 3090 24GB	VRAM 가이드 →
Microsoft Phi-4-mini-instruct (3.8B) Microsoft Phi · MIT	DENSE GQA	3.84B	9.4 GB	7.3 GB	RTX 3060 12GB	VRAM 가이드 →
Cohere Command A (111B) Cohere · CC-BY-NC-4.0	DENSE HYBRID_SWA	111B	215.8 GB	68.9 GB	NVIDIA A100 80GB	VRAM 가이드 →

모델 패밀리 & 아키텍처별 탐색

DeepSeek (4)

32.8B – 671B · MLA, GQA

DeepSeek-R1 (671B MoE) · DeepSeek-V3-0324 (671B MoE) · DeepSeek-R1-Distill-Llama-70B · DeepSeek-R1-Distill-Qwen-32B

Qwen (8)

8.2B – 235B · GQA

Qwen3-235B-A22B (MoE) · Qwen3-30B-A3B (MoE) · Qwen3-32B · Qwen3-14B · Qwen3-8B

Meta Llama (5)

8.03B – 405B · GQA, HYBRID_SWA

Llama 4 Maverick (400B / 17B-128E MoE) · Llama 4 Scout (109B / 17B-16E MoE) · Llama 3.3 70B Instruct · Llama 3.1 405B Instruct · Llama 3.1 8B Instruct

Google Gemma (2)

12.2B – 27.4B · HYBRID_SWA

Gemma 3 27B IT (Multimodal) · Gemma 3 12B IT (Multimodal)

Mistral (4)

22.2B – 123B · GQA

Mistral Small 3.1 (24B) · Mistral Large 2411 (123B) · Codestral 22B · Devstral Small (24B SWE Agent)

Zhipu GLM (2)

9.4B – 32B · GQA

GLM-4-32B-0414 · GLM-4-9B-0414

Microsoft Phi (2)

3.84B – 14.7B · GQA

Microsoft Phi-4 (14B) · Microsoft Phi-4-mini-instruct (3.8B)

Cohere (1)

111B – 111B · HYBRID_SWA

Cohere Command A (111B)

모델별 정밀도 및 컨텍스트 한도 산출 방식

각 모델 페이지는 FP16, FP8, Q8_0, Q6_K, Q5_K_M, Q4_K_M, AWQ INT4, IQ4_XS 전반의 가중치 + KV 캐시 + 런타임 작업 공간 할당량을 컨슈머 GPU, Apple Silicon 통합 메모리, 데이터센터 HBM 가속기 기준으로 사전 계산하며 대화형 양자화·컨텍스트 시뮬레이터를 함께 제공합니다.

어림짐작 공식은 최신 오픈웨이트 추론의 세 가지 핵심 변수를 놓칩니다. Q4_K_M이 4.00이 아닌 평균 4.85 bits/weight를 사용하는 GGUF 슈퍼블록 양자화 스케일, 긴 컨텍스트와 연속 배칭 동시 슬롯에 따른 KV 캐시 급증, 그리고 671B나 235B 전체 파라미터가 VRAM에 상주하면서 토큰당 37B나 22B만 스트리밍되는 Mixture-of-Experts 라우팅 구조입니다.

VRAMLab은 검증된 Transformer 기하 구조를 바탕으로 Multi-Head Attention (MHA), Grouped-Query Attention (GQA), DeepSeek Multi-head Latent Attention (MLA), 로컬/글로벌 하이브리드 슬라이딩 윈도우를 구분하여 계산하므로 실제 vLLM, SGLang, Ollama, llama.cpp 메모리 할당과 정확히 일치합니다.