NVIDIA GeForce RTX 3090 (24 GB GDDR6X) — Modelos Executáveis, Contexto Máximo e Benchmarks em tok/s
NVIDIA GeForce RTX 3090 (24 GB GDDR6X) oferece 24 GB de memória (teto útil padrão de 22.1 GB) sustentados por 936 GB/s de largura de banda externa e 71 TFLOPS de computação FP16 (~$0.29/h em nuvem, TDP de 350W).
- Memória Física
- 24 GB
- Default / Tuned Usable
- 22.1 / 23.0 GB
- Largura de Banda
- 936 GB/s
- Computação FP16
- 71 TFLOPS
- Tarifa Nuvem $/h / CapEx
- $0.29/hr · $780
- TDP / Native FP8
- 350W · FP16/INT4
Simulador Interativo de Carga em RTX 3090 24GB
Travas de Segurança de Flags Compiladas Automaticamente
O paralelismo de tensores divide cabeças de atenção e matrizes MLP entre dispositivos NVLink ou PCIe; por isso, --tensor-parallel-size precisa dividir exatamente o número de cabeças de consulta e KV, preservando margem para buffers all-reduce do NCCL e captura de grafos CUDA.
Durante a geração autorregressiva de usuário único, cada token de saída exige ler os pesos ativos do modelo da VRAM para os núcleos de computação. Dobrar a largura de banda de memória (por exemplo, saltando de 546 GB/s para 1.792 GB/s em GDDR7 ou 3.350 GB/s em HBM3) praticamente dobra os tok/s na mesma quantização.
Matriz de Compatibilidade de LLM de Pesos Abertos em 1× RTX 3090 24GB (Contexto 32K)
| Modelo e Família | FP16 | Q8_0 | Q4_K_M | Melhor Quant. Confortável | Contexto Máx. (Q4_K_M) | Decodificação (Q4_K_M) |
|---|---|---|---|---|---|---|
|
DeepSeek-R1 (671B MoE)
671B · MLA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | — | — |
|
DeepSeek-V3-0324 (671B MoE)
671B · MLA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Llama-70B
70.6B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Qwen-32B
32.8B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | 12,759 tokens | — |
|
Qwen3-235B-A22B (MoE)
235B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | — | — |
|
Qwen3-30B-A3B (MoE)
30.5B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Ajuste Apertado (>90% Útil) | IQ4_XS | 48,634 tokens | 112.1 tok/s |
|
Qwen3-32B
32.8B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | 12,759 tokens | — |
|
Qwen3-14B
14.8B · GQA
|
Memória Insuficiente (OOM) | Ajuste Apertado (>90% Útil) | Cabe com Folga | Q8_0 | 89,017 tokens | 40.8 tok/s |
|
Qwen3-8B
8.2B · GQA
|
Ajuste Apertado (>90% Útil) | Cabe com Folga | Cabe com Folga | FP16 / BF16 | 126,857 tokens | 59.7 tok/s |
|
QwQ-32B (Reasoning)
32.8B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | 12,759 tokens | — |
|
Qwen2.5-Coder-32B-Instruct
32.8B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | 12,759 tokens | — |
|
Qwen2.5-72B-Instruct
72.7B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | — | — |
|
Llama 4 Maverick (400B / 17B-128E MoE)
402B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | — | — |
|
Llama 4 Scout (109B / 17B-16E MoE)
109B · HYBRID_SWA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | — | — |
|
Llama 3.3 70B Instruct
70.6B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | — | — |
|
Llama 3.1 405B Instruct
405B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | — | — |
|
Llama 3.1 8B Instruct
8.03B · GQA
|
Ajuste Apertado (>90% Útil) | Cabe com Folga | Cabe com Folga | FP16 / BF16 | 143,524 tokens | 63.9 tok/s |
|
Gemma 3 27B IT (Multimodal)
27.4B · HYBRID_SWA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Ajuste Apertado (>90% Útil) | Q4_K_M | 13,224 tokens | 29.7 tok/s |
|
Gemma 3 12B IT (Multimodal)
12.2B · HYBRID_SWA
|
Memória Insuficiente (OOM) | Cabe com Folga | Cabe com Folga | Q8_0 | 41,219 tokens | 59.3 tok/s |
|
Mistral Small 3.1 (24B)
24B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Ajuste Apertado (>90% Útil) | Q4_K_M | 53,954 tokens | 29.4 tok/s |
|
Mistral Large 2411 (123B)
123B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | — | — |
|
Codestral 22B
22.2B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Ajuste Apertado (>90% Útil) | Q4_K_M | 43,438 tokens | 27.9 tok/s |
|
Devstral Small (24B SWE Agent)
23.6B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Ajuste Apertado (>90% Útil) | Q5_K_M | 55,478 tokens | 29.8 tok/s |
|
GLM-4-32B-0414
32B · GQA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Ajuste Apertado (>90% Útil) | IQ4_XS | 61,544 tokens | 27.3 tok/s |
|
GLM-4-9B-0414
9.4B · GQA
|
Ajuste Apertado (>90% Útil) | Cabe com Folga | Cabe com Folga | FP16 / BF16 | 438,394 tokens | 83.2 tok/s |
|
Microsoft Phi-4 (14B)
14.7B · GQA
|
Memória Insuficiente (OOM) | Ajuste Apertado (>90% Útil) | Cabe com Folga | Q8_0 | 71,519 tokens | 37.5 tok/s |
|
Microsoft Phi-4-mini-instruct (3.8B)
3.84B · GQA
|
Cabe com Folga | Cabe com Folga | Cabe com Folga | FP16 / BF16 | 163,486 tokens | 88.4 tok/s |
|
Cohere Command A (111B)
111B · HYBRID_SWA
|
Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | Memória Insuficiente (OOM) | — | — | — |
Comparar Outros Níveis de Capacidade de GPU e Apple Silicon
RTX 4090 24GB
24 GB · 1,008 GB/s
RTX 5090 32GB
32 GB · 1,792 GB/s
Apple M-Max 64GB
64 GB · 546 GB/s
Mac Studio 128GB
128 GB · 546 GB/s
Mac Studio 192GB
192 GB · 800 GB/s
NVIDIA A100 80GB
80 GB · 2,039 GB/s
NVIDIA H100 80GB
80 GB · 3,350 GB/s