GPU 与 Apple Silicon LLM 显存容量及带宽分级指南
全面对比旗舰工作站 GPU、Apple Silicon 统一内存 Mac 与数据中心 HBM 加速卡，查看哪些开源权重模型可在 Q4_K_M、Q8_0、FP8 或 FP16 下流畅运行，以及不同内存带宽所能提供的每秒生成 Token 数。
旗舰 GPU 与 Apple Silicon 容量选型指南
RTX 3090 24GB
消费级 GPU · 24 GB (22.1 GB usable)
RTX 4090 24GB
消费级 GPU · 24 GB (22.1 GB usable)
RTX 5090 32GB
消费级 GPU · 32 GB (29.4 GB usable)
Apple M-Max 64GB
Apple Silicon 统一内存 · 64 GB (48.0 GB usable)
Mac Studio 128GB
Apple Silicon 统一内存 · 128 GB (96.0 GB usable)
Mac Studio 192GB
Apple Silicon 统一内存 · 192 GB (144.0 GB usable)
NVIDIA A100 80GB
数据中心 GPU · 80 GB (73.6 GB usable)
NVIDIA H100 80GB
数据中心 GPU · 80 GB (73.6 GB usable)
完整加速卡与统一内存规格对比矩阵
| 加速卡 / 系统 | 类别 | 物理内存 | 内存带宽 | FP16 算力 | 云端参考价 $/hr | 可运行模型 |
|---|---|---|---|---|---|---|
| NVIDIA GeForce RTX 3060 (12 GB) | 消费级 GPU | 12 GB | 360 GB/s | 25.4 TFLOPS | $0.16/hr | 在显存计算器中打开 → |
| NVIDIA GeForce RTX 4060 Ti (16 GB) | 消费级 GPU | 16 GB | 288 GB/s | 44.1 TFLOPS | $0.22/hr | 在显存计算器中打开 → |
| NVIDIA GeForce RTX 3090 (24 GB GDDR6X) | 消费级 GPU | 24 GB | 936 GB/s | 71 TFLOPS | $0.29/hr | 容量指南 → |
| NVIDIA GeForce RTX 4090 (24 GB GDDR6X) | 消费级 GPU | 24 GB | 1,008 GB/s | 165.2 TFLOPS | $0.44/hr | 容量指南 → |
| NVIDIA GeForce RTX 5090 (32 GB GDDR7) | 消费级 GPU | 32 GB | 1,792 GB/s | 209.5 TFLOPS | $0.79/hr | 容量指南 → |
| NVIDIA RTX PRO 6000 Blackwell (96 GB GDDR7) | 数据中心 GPU | 96 GB | 1,792 GB/s | 252 TFLOPS | $1.65/hr | 在显存计算器中打开 → |
| Apple MacBook Pro / Mac mini M4 Pro (48 GB Unified) | Apple Silicon 统一内存 | 48 GB | 273 GB/s | 17.8 TFLOPS | $0.14/hr | 在显存计算器中打开 → |
| Apple Silicon M-Series Max (64 GB Unified Memory) | Apple Silicon 统一内存 | 64 GB | 546 GB/s | 32.8 TFLOPS | $0.22/hr | 容量指南 → |
| Apple Mac Studio M4 Max (128 GB Unified Memory) | Apple Silicon 统一内存 | 128 GB | 546 GB/s | 36.4 TFLOPS | $0.32/hr | 容量指南 → |
| Apple Mac Studio M2/M3 Ultra (192 GB Unified Memory) | Apple Silicon 统一内存 | 192 GB | 800 GB/s | 54.4 TFLOPS | $0.48/hr | 容量指南 → |
| Apple Mac Studio M3 Ultra (512 GB Unified Memory) | Apple Silicon 统一内存 | 512 GB | 819 GB/s | 65.2 TFLOPS | $0.78/hr | 在显存计算器中打开 → |
| NVIDIA L40S (48 GB GDDR6) | 数据中心 GPU | 48 GB | 864 GB/s | 362 TFLOPS | $1.05/hr | 在显存计算器中打开 → |
| NVIDIA A100 SXM4 (80 GB HBM2e) | 数据中心 GPU | 80 GB | 2,039 GB/s | 312 TFLOPS | $1.49/hr | 容量指南 → |
| NVIDIA H100 SXM5 (80 GB HBM3) | 数据中心 GPU | 80 GB | 3,350 GB/s | 989 TFLOPS | $2.39/hr | 容量指南 → |
| NVIDIA H200 SXM (141 GB HBM3e) | 数据中心 GPU | 141 GB | 4,800 GB/s | 989 TFLOPS | $3.49/hr | 在显存计算器中打开 → |
内存带宽是本地 LLM 自回归解码的首要性能瓶颈
在单用户自回归生成阶段，每输出一个 Token 都必须将激活的模型权重从显存完整读入计算核心。在相同量化精度下，内存带宽翻倍（例如从 546 GB/s 跃升至 GDDR7 的 1,792 GB/s 或 HBM3 的 3,350 GB/s）几乎会让解码 tok/s 同步翻倍。
在 macOS Apple Silicon 系统上，除非通过 sysctl iogpu.wired_limit_mb 手动覆盖，默认 GPU 锁定内存分配上限停留在物理统一内存的约 75%（在保障系统稳定性的前提下最高建模至 88% 安全上限）。自回归解码速度上界由有效外部内存带宽除以每步读取的激活参数字节数与激活 KV 缓存字节数之和决定，并由 VRAMLab 的 12 小时自动化核验流水线持续校验。
张量并行会将注意力头与 MLP 矩阵切分到多张 NVLink 或 PCIe 设备上，因此 --tensor-parallel-size 必须同时整除查询头数与 KV 头数，并预留 NCCL all-reduce 通信缓冲区与 CUDA 图捕获所需的显存余量。