架构感知型 LLM 显存与带宽精算方法论
VRAMLab 从第一性原理的张量几何维度而非静态经验乘数出发对 LLM 推理显存进行精确建模，依托零成本静态边缘资源实现 100% 浏览器端运行。
1. 权重量化与有效每权重比特数（Effective bpw）
量化格式除紧凑打包的整数权重外，还需按块存储缩放因子与零点偏移。4-bit GGUF Q4_K_M 检查点平均每参数占用 4.85 有效比特（而非 4.00），Q8_0 平均为 8.50 bpw。对于混合专家（MoE）模型，所有路由专家与共享专家均须常驻内存，以避免逐 Token 触发主机内存换页。
| 精度 / 格式 | 有效 bpw | 32B Weights | 70B Weights | vLLM / Ollama / GGUF |
|---|---|---|---|---|
| FP16 / BF16 (16-bit Native) | 16.00 bpw | 61.09 GB | 131.50 GB | native · fp16 · F16 / BF16 |
| FP8 E4M3 (Hopper / Ada / Blackwell) | 8.50 bpw | 32.46 GB | 69.86 GB | fp8 · fp8 · FP8_E4M3 |
| INT8 SmoothQuant / bitsandbytes | 8.50 bpw | 32.46 GB | 69.86 GB | bitsandbytes · q8_0 · INT8 |
| GGUF Q8_0 (8.50 bpw) | 8.50 bpw | 32.46 GB | 69.86 GB | gguf · q8_0 · Q8_0 |
| GGUF Q6_K (6.56 bpw) | 6.56 bpw | 25.05 GB | 53.92 GB | gguf · q6_K · Q6_K |
| GGUF Q5_K_M (5.69 bpw) | 5.69 bpw | 21.73 GB | 46.77 GB | gguf · q5_K_M · Q5_K_M |
| GGUF Q4_K_M (4.85 bpw — Recommended) | 4.85 bpw | 18.52 GB | 39.86 GB | gguf · q4_K_M · Q4_K_M |
| AWQ / GPTQ INT4 (4.50 bpw) | 4.50 bpw | 17.18 GB | 36.99 GB | awq · q4_K_M · AWQ_4BIT |
| GGUF IQ4_XS (4.25 bpw Importance Matrix) | 4.25 bpw | 16.23 GB | 34.93 GB | gguf · iq4_XS · IQ4_XS |
| GGUF Q3_K_M (3.91 bpw) | 3.91 bpw | 14.93 GB | 32.14 GB | gguf · q3_K_M · Q3_K_M |
| GGUF Q2_K (3.35 bpw Extreme) | 3.35 bpw | 12.79 GB | 27.53 GB | gguf · q2_K · Q2_K |
2. 面向不同注意力机制的 KV 缓存方程（MHA、GQA、MLA 与混合 SWA）
标准分组查询注意力（GQA）跨层分配 2 × L × H_kv × d_head × S × B × bytes_kv。DeepSeek 多头潜在注意力（MLA）将键值压缩为 L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv，削减超过 90% 的长上下文显存。混合滑动窗口模型将局部注意力层限制在 min(S, window_size)，仅全局注意力层随序列长度 S 线性增长。
- 多头注意力 (MHA) / 分组查询注意力 (GQA)
- 2 × L × H_kv × d_head × S × B × bytes_kv
- 多头潜在注意力 (MLA)
- L × (kv_lora_rank + qk_rope_dim) × S × B × bytes_kv
- 混合滑动窗口注意力 (SWA)
- (L_global × S + L_local × min(S, W)) × 2 × H_kv × d_head × B × bytes_kv
- 混合专家架构 (MoE)
- Weights ∝ P_total · Decode tok/s ∝ BW / P_active
3. Apple Silicon 统一内存上限与解码带宽上界模型
在 macOS Apple Silicon 系统上，除非通过 sysctl iogpu.wired_limit_mb 手动覆盖，默认 GPU 锁定内存分配上限停留在物理统一内存的约 75%（在保障系统稳定性的前提下最高建模至 88% 安全上限）。自回归解码速度上界由有效外部内存带宽除以每步读取的激活参数字节数与激活 KV 缓存字节数之和决定，并由 VRAMLab 的 12 小时自动化核验流水线持续校验。
| 加速卡 / 系统 | 物理内存 | Default Usable | Tuned Ceiling | 内存带宽 |
|---|---|---|---|---|
| NVIDIA GeForce RTX 3090 (24 GB GDDR6X) | 24 GB | 22.1 GB (92%) | 23.0 GB (96%) | 936 GB/s |
| NVIDIA GeForce RTX 4090 (24 GB GDDR6X) | 24 GB | 22.1 GB (92%) | 23.0 GB (96%) | 1,008 GB/s |
| NVIDIA GeForce RTX 5090 (32 GB GDDR7) | 32 GB | 29.4 GB (92%) | 30.7 GB (96%) | 1,792 GB/s |
| Apple Silicon M-Series Max (64 GB Unified Memory) | 64 GB | 48.0 GB (75%) | 56.3 GB (88% sysctl) | 546 GB/s |
| Apple Mac Studio M4 Max (128 GB Unified Memory) | 128 GB | 96.0 GB (75%) | 112.6 GB (88% sysctl) | 546 GB/s |
| Apple Mac Studio M2/M3 Ultra (192 GB Unified Memory) | 192 GB | 144.0 GB (75%) | 169.0 GB (88% sysctl) | 800 GB/s |
| NVIDIA A100 SXM4 (80 GB HBM2e) | 80 GB | 73.6 GB (92%) | 76.8 GB (96%) | 2,039 GB/s |
| NVIDIA H100 SXM5 (80 GB HBM3) | 80 GB | 73.6 GB (92%) | 76.8 GB (96%) | 3,350 GB/s |
4. 互联互通的 CodeAP Studio 工程工具矩阵
将 VRAMLab 的显存容量规划与 DevToken 上的 460+ 实时 LLM API 定价 & 429 限流建模、LLMEOL 的 7 大生态模型弃用追踪，以及 ToMarkdown 的 PDF/DOCX/HTML 转 Markdown Token 压缩工作台协同使用。
常见问题解答
相比标准 GQA，DeepSeek MLA 是如何大幅降低 KV 缓存显存的？
多头潜在注意力（MLA）不再在每一层缓存完整的 2 × H_kv × head_dim 张量，而是将 Key 与 Value 投影为共享低秩潜在向量（如 kv_lora_rank = 512 加 qk_rope_head_dim = 64），相比未压缩 MHA 可削减 90% 以上的长上下文 KV 缓存占用。
为什么混合专家（MoE）模型显存需求很高，但解码速度却很快？
为避免逐 Token 发生 PCIe/SSD 换页抖动，所有路由专家都必须常驻 GPU 显存或统一内存，因此显存容量随总参数量扩展（例如 Qwen3-235B-A22B 需容纳 235B）。但解码 tok/s 受限于每 Token 激活参数（22B）的内存带宽读取量，装入显存后即可跑出接近 32B 稠密模型的速度。
为什么 Apple Silicon 上的 macOS 在统一内存未用满 100% 时就会报 OOM？
macOS 默认通过 iogpu.wired_limit_mb 为内核与桌面合成保留统一内存（默认上限约为物理内存的 75%）。当模型占用处于物理内存 75% 至 88% 区间时，需在启动 Ollama 或 llama.cpp 前通过 sysctl 调高 iogpu.wired_limit_mb。
VRAMLab 的模型架构维度数据来自哪里？
我们的 12 小时自动化架构核验流水线会校验官方开源权重发布包中的数值型 Transformer 配置字段，并将其预编译为静态 HTML——运行时无需调用任何外部 API，也不采集任何用户遥测数据。