LLM 显存、KV 缓存与吞吐计算器

交互式显存、KV 缓存与解码速度工作台

开源权重模型预设（或自定义）

权重量化精度 (bpw)

KV 缓存精度

目标 GPU / 统一内存规格

设备卡数 (TP)

上下文长度 (tokens) 32,768 tokens

并发序列数 (Batch) 1

查看或覆盖底层 Transformer 维度（层数、KV 头数、MLA 秩、MoE 专家数）

拓扑与注意力

注意力机制

总参数量 (B)

每 Token 激活参数 (B)

隐藏层数 (Layers)

隐藏层维度 (Hidden Size)

查询头数 (Query Heads)

KV 头数 (KV Heads)

注意力头维度 (Head Dim)

MLA kv_lora_rank

SWA Window

显存占用拆解与带宽上限评估

紧凑可运行 (>90% 可用上限)

模型权重占用: 65.5% KV Cache: 28.3% 运行时与 TP 通信开销: 6.2%

总计所需显存

28.28 GB

88.4% of 32 GB

单卡分配显存

28.28 GB

Usable: 29.4 GB

模型权重占用

18.52 GB

运行时与 TP 通信开销: 1.76 GB

KV 缓存 (FP16)

8.00 GB

MHA FP16: 64.00 GB

预估单路解码速度

39.4 tok/s

预估批处理总吞吐: 39.4 tok/s

触发 OOM 前最大上下文

44,216

tokens

架构级 KV 压缩相比朴素 MHA FP16（64.00 GB）节省 87.5% 显存。

生成 vLLM / Ollama 配置 → 对比自建 GPU 与 API 成本 → 在 DevToken 对比实时 API 费率 →

直达专项 GPU 推理部署工具台

GGUF 与 config.json 解析器

利用 File.slice 与 DataView 在浏览器本地 0ms 解析数十 GB 的 .gguf 模型与 config.json 元数据——零文件上传，一键直连显存测算。

File.slice(0..16MiB) · 0 Upload

推理部署配置生成器

基于真实 LLM 显存测算，一键编译防 OOM 的 vLLM 与 SGLang 启动参数、Ollama Modelfile、Docker Compose 及 Kubernetes YAML 清单。

vLLM · SGLang · Ollama · K8s

GPU vs 云端 API 盈亏平衡

对比包月 GPU 租赁或本地工作站成本与云端 LLM API Token 账单、提示词缓存折扣及物理 tok/s 吞吐饱和上限。

FinOps 30-Day ROI · DevToken

开源权重 LLM 显存速查表（28 款模型 @ Q4_K_M 与 FP16）

显示 28 / 共 28 个模型

已核验开源权重 LLM 架构的常驻参数量、注意力机制与基准显存需求对照表
模型与家族	拓扑与注意力	常驻 / 激活参数	FP16 (8K ctx)	Q4_K_M (32K ctx)	最低实用硬件规格	深度分析
DeepSeek-R1 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	显存指南 →
DeepSeek-V3-0324 (671B MoE) DeepSeek · MIT	MOE MLA	671B / 37B	1289.2 GB	393.7 GB	8× NVIDIA H100 80GB	显存指南 →
DeepSeek-R1-Distill-Llama-70B DeepSeek · MIT	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	显存指南 →
DeepSeek-R1-Distill-Qwen-32B DeepSeek · MIT	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	显存指南 →
Qwen3-235B-A22B (MoE) Qwen · Apache-2.0	MOE GQA	235B / 22B	453.5 GB	143.7 GB	Mac Studio 192GB	显存指南 →
Qwen3-30B-A3B (MoE) Qwen · Apache-2.0	MOE GQA	30.5B / 3.3B	60.3 GB	21.8 GB	RTX 3090 24GB	显存指南 →
Qwen3-32B Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	显存指南 →
Qwen3-14B Qwen · Apache-2.0	DENSE GQA	14.8B	30.9 GB	14.8 GB	RTX 4060 Ti 16GB	显存指南 →
Qwen3-8B Qwen · Apache-2.0	DENSE GQA	8.2B	18.0 GB	10.4 GB	RTX 3060 12GB	显存指南 →
QwQ-32B (Reasoning) Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	显存指南 →
Qwen2.5-Coder-32B-Instruct Qwen · Apache-2.0	DENSE GQA	32.8B	66.1 GB	28.3 GB	RTX 5090 32GB	显存指南 →
Qwen2.5-72B-Instruct Qwen · Qwen License	DENSE GQA	72.7B	143.4 GB	53.7 GB	NVIDIA A100 80GB	显存指南 →
Llama 4 Maverick (400B / 17B-128E MoE) Meta Llama · Llama 4 Community	MOE GQA	402B / 17.2B	774.0 GB	241.0 GB	Mac Studio 512GB	显存指南 →
Llama 4 Scout (109B / 17B-16E MoE) Meta Llama · Llama 4 Community	MOE HYBRID_SWA	109B / 17.2B	211.8 GB	67.2 GB	NVIDIA A100 80GB	显存指南 →
Llama 3.3 70B Instruct Meta Llama · Llama 3.3 Community	DENSE GQA	70.6B	139.3 GB	52.5 GB	NVIDIA A100 80GB	显存指南 →
Llama 3.1 405B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	405B	782.8 GB	253.2 GB	Mac Studio 512GB	显存指南 →
Llama 3.1 8B Instruct Meta Llama · Llama 3.1 Community	DENSE GQA	8.03B	17.6 GB	9.8 GB	RTX 3060 12GB	显存指南 →
Gemma 3 27B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	27.4B	54.8 GB	20.1 GB	RTX 3090 24GB	显存指南 →
Gemma 3 12B IT (Multimodal) Google Gemma · Gemma Terms	DENSE HYBRID_SWA	12.2B	25.3 GB	10.5 GB	RTX 3060 12GB	显存指南 →
Mistral Small 3.1 (24B) Mistral · Apache-2.0	DENSE GQA	24B	48.5 GB	20.2 GB	RTX 3090 24GB	显存指南 →
Mistral Large 2411 (123B) Mistral · Mistral Research	DENSE GQA	123B	240.4 GB	84.2 GB	RTX PRO 6000 96GB	显存指南 →
Codestral 22B Mistral · Mistral Non-Production	DENSE GQA	22.2B	45.6 GB	21.2 GB	RTX 3090 24GB	显存指南 →
Devstral Small (24B SWE Agent) Mistral · Apache-2.0	DENSE GQA	23.6B	47.7 GB	19.9 GB	RTX 3090 24GB	显存指南 →
GLM-4-32B-0414 Zhipu GLM · MIT	DENSE GQA	32B	63.1 GB	21.8 GB	RTX 3090 24GB	显存指南 →
GLM-4-9B-0414 Zhipu GLM · MIT	DENSE GQA	9.4B	19.5 GB	7.9 GB	RTX 3060 12GB	显存指南 →
Microsoft Phi-4 (14B) Microsoft Phi · MIT	DENSE GQA	14.7B	31.0 GB	16.0 GB	RTX 3090 24GB	显存指南 →
Microsoft Phi-4-mini-instruct (3.8B) Microsoft Phi · MIT	DENSE GQA	3.84B	9.4 GB	7.3 GB	RTX 3060 12GB	显存指南 →
Cohere Command A (111B) Cohere · CC-BY-NC-4.0	DENSE HYBRID_SWA	111B	215.8 GB	68.9 GB	NVIDIA A100 80GB	显存指南 →

旗舰 GPU 与 Apple Silicon 容量选型指南

RTX 3090 24GB

消费级 GPU · 24 GB

936 GB/s · $0.29/hr

RTX 4090 24GB

消费级 GPU · 24 GB

1,008 GB/s · $0.44/hr

RTX 5090 32GB

消费级 GPU · 32 GB

1,792 GB/s · $0.79/hr

Apple M-Max 64GB

Apple Silicon 统一内存 · 64 GB

546 GB/s · $0.22/hr

Mac Studio 128GB

Apple Silicon 统一内存 · 128 GB

546 GB/s · $0.32/hr

Mac Studio 192GB

Apple Silicon 统一内存 · 192 GB

800 GB/s · $0.48/hr

NVIDIA A100 80GB

数据中心 GPU · 80 GB

2,039 GB/s · $1.49/hr

NVIDIA H100 80GB

数据中心 GPU · 80 GB

3,350 GB/s · $2.39/hr

为什么“每十亿参数 2 GB”的粗略经验公式在生产环境会失效

粗略估算忽略了现代开源权重推理中的三大核心变量：GGUF 超块量化的缩放因子开销（Q4_K_M 实际平均为 4.85 bits/weight 而非 4.00）、长上下文窗口与连续批处理并发槽位带来的 KV 缓存膨胀，以及混合专家（MoE）路由机制——全部 671B 或 235B 参数必须常驻显存，但每生成一个 Token 仅读取 37B 或 22B 激活参数。

VRAMLab 从经过核验的 Transformer 几何结构出发评估每款模型，显式区分多头注意力（MHA）、分组查询注意力（GQA）、DeepSeek 多头潜在注意力（MLA）以及局部/全局混合滑动窗口层，使容量规划与 vLLM、SGLang、Ollama 和 llama.cpp 的真实显存分配完全一致。

常见问题解答

相比标准 GQA，DeepSeek MLA 是如何大幅降低 KV 缓存显存的？

多头潜在注意力（MLA）不再在每一层缓存完整的 2 × H_kv × head_dim 张量，而是将 Key 与 Value 投影为共享低秩潜在向量（如 kv_lora_rank = 512 加 qk_rope_head_dim = 64），相比未压缩 MHA 可削减 90% 以上的长上下文 KV 缓存占用。

为什么混合专家（MoE）模型显存需求很高，但解码速度却很快？

为避免逐 Token 发生 PCIe/SSD 换页抖动，所有路由专家都必须常驻 GPU 显存或统一内存，因此显存容量随总参数量扩展（例如 Qwen3-235B-A22B 需容纳 235B）。但解码 tok/s 受限于每 Token 激活参数（22B）的内存带宽读取量，装入显存后即可跑出接近 32B 稠密模型的速度。

为什么 Apple Silicon 上的 macOS 在统一内存未用满 100% 时就会报 OOM？

macOS 默认通过 iogpu.wired_limit_mb 为内核与桌面合成保留统一内存（默认上限约为物理内存的 75%）。当模型占用处于物理内存 75% 至 88% 区间时，需在启动 Ollama 或 llama.cpp 前通过 sysctl 调高 iogpu.wired_limit_mb。

VRAMLab 的模型架构维度数据来自哪里？

我们的 12 小时自动化架构核验流水线会校验官方开源权重发布包中的数值型 Transformer 配置字段，并将其预编译为静态 HTML——运行时无需调用任何外部 API，也不采集任何用户遥测数据。

架构感知型 LLM 显存与 KV 缓存计算器