NVIDIA GeForce RTX 3090 (24 GB GDDR6X) — 可运行模型清单、最大上下文与 tok/s 速度基准

物理内存: 24 GB
Default / Tuned Usable: 22.1 / 23.0 GB
内存带宽: 936 GB/s
FP16 算力: 71 TFLOPS
云端参考价 $/hr / CapEx: $0.29/hr · $780
TDP / Native FP8: 350W · FP16/INT4

在显存计算器中打开 → 生成 vLLM / Ollama 配置 → 对比自建 GPU 与 API 成本 →

RTX 3090 24GB 交互式负载模拟器

开源权重模型预设（或自定义）

多卡并联数量（1× 至 8× RTX 3090 24GB）

权重量化精度 (bpw)

KV 缓存精度

上下文长度 (tokens) 32,768 tokens

显存占用拆解与带宽上限评估

轻松容纳

模型权重占用: 56.4% KV: 33.8% Overhead: 9.8%

总计所需显存

14.81 GB

单卡分配显存: 14.81 / 24 GB

模型权重占用

8.36 GB

KV: 5.00 GB

预估单路解码速度

40.8 tok/s

预估批处理总吞吐: 40.8 tok/s

触发 OOM 前最大上下文

89,017

tokens

自动编译的关键启动参数安全护栏

张量并行会将注意力头与 MLP 矩阵切分到多张 NVLink 或 PCIe 设备上，因此 --tensor-parallel-size 必须同时整除查询头数与 KV 头数，并预留 NCCL all-reduce 通信缓冲区与 CUDA 图捕获所需的显存余量。

在单用户自回归生成阶段，每输出一个 Token 都必须将激活的模型权重从显存完整读入计算核心。在相同量化精度下，内存带宽翻倍（例如从 546 GB/s 跃升至 GDDR7 的 1,792 GB/s 或 HBM3 的 3,350 GB/s）几乎会让解码 tok/s 同步翻倍。

1× RTX 3090 24GB 开源权重 LLM 兼容性矩阵（32K 上下文）

单设备下 FP16、Q8_0 与 Q4_K_M 的适配状态与预估单路解码 tok/s
模型与家族	FP16	Q8_0	Q4_K_M	最佳舒适量化	最大上下文 (Q4_K_M)	解码速度 (Q4_K_M)
DeepSeek-R1 (671B MoE) 671B · MLA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	—	—
DeepSeek-V3-0324 (671B MoE) 671B · MLA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	—	—
DeepSeek-R1-Distill-Llama-70B 70.6B · GQA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	—	—
DeepSeek-R1-Distill-Qwen-32B 32.8B · GQA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	12,759 tokens	—
Qwen3-235B-A22B (MoE) 235B · GQA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	—	—
Qwen3-30B-A3B (MoE) 30.5B · GQA	显存不足 (OOM)	显存不足 (OOM)	紧凑可运行 (>90% 可用上限)	IQ4_XS	48,634 tokens	112.1 tok/s
Qwen3-32B 32.8B · GQA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	12,759 tokens	—
Qwen3-14B 14.8B · GQA	显存不足 (OOM)	紧凑可运行 (>90% 可用上限)	轻松容纳	Q8_0	89,017 tokens	40.8 tok/s
Qwen3-8B 8.2B · GQA	紧凑可运行 (>90% 可用上限)	轻松容纳	轻松容纳	FP16 / BF16	126,857 tokens	59.7 tok/s
QwQ-32B (Reasoning) 32.8B · GQA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	12,759 tokens	—
Qwen2.5-Coder-32B-Instruct 32.8B · GQA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	12,759 tokens	—
Qwen2.5-72B-Instruct 72.7B · GQA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	—	—
Llama 4 Maverick (400B / 17B-128E MoE) 402B · GQA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	—	—
Llama 4 Scout (109B / 17B-16E MoE) 109B · HYBRID_SWA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	—	—
Llama 3.3 70B Instruct 70.6B · GQA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	—	—
Llama 3.1 405B Instruct 405B · GQA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	—	—
Llama 3.1 8B Instruct 8.03B · GQA	紧凑可运行 (>90% 可用上限)	轻松容纳	轻松容纳	FP16 / BF16	143,524 tokens	63.9 tok/s
Gemma 3 27B IT (Multimodal) 27.4B · HYBRID_SWA	显存不足 (OOM)	显存不足 (OOM)	紧凑可运行 (>90% 可用上限)	Q4_K_M	13,224 tokens	29.7 tok/s
Gemma 3 12B IT (Multimodal) 12.2B · HYBRID_SWA	显存不足 (OOM)	轻松容纳	轻松容纳	Q8_0	41,219 tokens	59.3 tok/s
Mistral Small 3.1 (24B) 24B · GQA	显存不足 (OOM)	显存不足 (OOM)	紧凑可运行 (>90% 可用上限)	Q4_K_M	53,954 tokens	29.4 tok/s
Mistral Large 2411 (123B) 123B · GQA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	—	—
Codestral 22B 22.2B · GQA	显存不足 (OOM)	显存不足 (OOM)	紧凑可运行 (>90% 可用上限)	Q4_K_M	43,438 tokens	27.9 tok/s
Devstral Small (24B SWE Agent) 23.6B · GQA	显存不足 (OOM)	显存不足 (OOM)	紧凑可运行 (>90% 可用上限)	Q5_K_M	55,478 tokens	29.8 tok/s
GLM-4-32B-0414 32B · GQA	显存不足 (OOM)	显存不足 (OOM)	紧凑可运行 (>90% 可用上限)	IQ4_XS	61,544 tokens	27.3 tok/s
GLM-4-9B-0414 9.4B · GQA	紧凑可运行 (>90% 可用上限)	轻松容纳	轻松容纳	FP16 / BF16	438,394 tokens	83.2 tok/s
Microsoft Phi-4 (14B) 14.7B · GQA	显存不足 (OOM)	紧凑可运行 (>90% 可用上限)	轻松容纳	Q8_0	71,519 tokens	37.5 tok/s
Microsoft Phi-4-mini-instruct (3.8B) 3.84B · GQA	轻松容纳	轻松容纳	轻松容纳	FP16 / BF16	163,486 tokens	88.4 tok/s
Cohere Command A (111B) 111B · HYBRID_SWA	显存不足 (OOM)	显存不足 (OOM)	显存不足 (OOM)	—	—	—