NVIDIA GeForce RTX 5090 (32 GB GDDR7) — Modelos Executáveis, Contexto Máximo e Benchmarks em tok/s

Memória Física: 32 GB
Default / Tuned Usable: 29.4 / 30.7 GB
Largura de Banda: 1,792 GB/s
Computação FP16: 209.5 TFLOPS
Tarifa Nuvem $/h / CapEx: $0.79/hr · $2,199
TDP / Native FP8: 575W · FP8 Yes

Abrir na Calculadora de VRAM → Gerar Config vLLM / Ollama → Comparar GPU Própria vs API →

Simulador Interativo de Carga em RTX 5090 32GB

Modelo Predefinido de Pesos Abertos (ou Personalizado)

Quantidade de Dispositivos (1× a 8× RTX 5090 32GB)

Quantização de Pesos (bpw)

Precisão do Cache KV

Tamanho do Contexto (tokens) 32,768 tokens

Detalhamento de Memória e Teto de Largura de Banda

Cabe com Folga

Pesos do Modelo: 79.2% KV: 13.8% Overhead: 7%

Memória Total Necessária

21.75 GB

Alocação por Dispositivo: 21.75 / 32 GB

Pesos do Modelo

17.22 GB

KV: 3.00 GB

Decodificação Est. (1 Fluxo)

214.7 tok/s

Vazão Est. em Lote (Batch): 214.7 tok/s

Contexto Máx. Antes de OOM

132,520

tokens

Travas de Segurança de Flags Compiladas Automaticamente

O paralelismo de tensores divide cabeças de atenção e matrizes MLP entre dispositivos NVLink ou PCIe; por isso, --tensor-parallel-size precisa dividir exatamente o número de cabeças de consulta e KV, preservando margem para buffers all-reduce do NCCL e captura de grafos CUDA.

Durante a geração autorregressiva de usuário único, cada token de saída exige ler os pesos ativos do modelo da VRAM para os núcleos de computação. Dobrar a largura de banda de memória (por exemplo, saltando de 546 GB/s para 1.792 GB/s em GDDR7 ou 3.350 GB/s em HBM3) praticamente dobra os tok/s na mesma quantização.

Matriz de Compatibilidade de LLM de Pesos Abertos em 1× RTX 5090 32GB (Contexto 32K)

Status de ajuste e velocidade estimada de decodificação de fluxo único em FP16, Q8_0 e Q4_K_M em um único dispositivo
Modelo e Família	FP16	Q8_0	Q4_K_M	Melhor Quant. Confortável	Contexto Máx. (Q4_K_M)	Decodificação (Q4_K_M)
DeepSeek-R1 (671B MoE) 671B · MLA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	—	—	—
DeepSeek-V3-0324 (671B MoE) 671B · MLA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	—	—	—
DeepSeek-R1-Distill-Llama-70B 70.6B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	—	—	—
DeepSeek-R1-Distill-Qwen-32B 32.8B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Ajuste Apertado (>90% Útil)	Q4_K_M	44,216 tokens	39.4 tok/s
Qwen3-235B-A22B (MoE) 235B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	—	—	—
Qwen3-30B-A3B (MoE) 30.5B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Cabe com Folga	Q5_K_M	132,520 tokens	214.7 tok/s
Qwen3-32B 32.8B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Ajuste Apertado (>90% Útil)	Q4_K_M	44,216 tokens	39.4 tok/s
Qwen3-14B 14.8B · GQA	Memória Insuficiente (OOM)	Cabe com Folga	Cabe com Folga	FP8	139,349 tokens	78.2 tok/s
Qwen3-8B 8.2B · GQA	Cabe com Folga	Cabe com Folga	Cabe com Folga	FP16 / BF16	182,781 tokens	114.4 tok/s
QwQ-32B (Reasoning) 32.8B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Ajuste Apertado (>90% Útil)	Q4_K_M	44,216 tokens	39.4 tok/s
Qwen2.5-Coder-32B-Instruct 32.8B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Ajuste Apertado (>90% Útil)	Q4_K_M	44,216 tokens	39.4 tok/s
Qwen2.5-72B-Instruct 72.7B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	—	—	—
Llama 4 Maverick (400B / 17B-128E MoE) 402B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	—	—	—
Llama 4 Scout (109B / 17B-16E MoE) 109B · HYBRID_SWA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	—	—	—
Llama 3.3 70B Instruct 70.6B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	—	—	—
Llama 3.1 405B Instruct 405B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	—	—	—
Llama 3.1 8B Instruct 8.03B · GQA	Cabe com Folga	Cabe com Folga	Cabe com Folga	FP16 / BF16	206,439 tokens	122.3 tok/s
Gemma 3 27B IT (Multimodal) 27.4B · HYBRID_SWA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Cabe com Folga	Q6_K	29,460 tokens	56.8 tok/s
Gemma 3 12B IT (Multimodal) 12.2B · HYBRID_SWA	Ajuste Apertado (>90% Útil)	Cabe com Folga	Cabe com Folga	FP16 / BF16	62,191 tokens	113.5 tok/s
Mistral Small 3.1 (24B) 24B · GQA	Memória Insuficiente (OOM)	Ajuste Apertado (>90% Útil)	Cabe com Folga	Q6_K	104,285 tokens	56.3 tok/s
Mistral Large 2411 (123B) 123B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	—	—	—
Codestral 22B 22.2B · GQA	Memória Insuficiente (OOM)	Ajuste Apertado (>90% Útil)	Cabe com Folga	Q6_K	79,389 tokens	53.4 tok/s
Devstral Small (24B SWE Agent) 23.6B · GQA	Memória Insuficiente (OOM)	Ajuste Apertado (>90% Útil)	Cabe com Folga	Q6_K	105,810 tokens	57.0 tok/s
GLM-4-32B-0414 32B · GQA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Cabe com Folga	Q5_K_M	193,562 tokens	52.3 tok/s
GLM-4-9B-0414 9.4B · GQA	Cabe com Folga	Cabe com Folga	Cabe com Folga	FP16 / BF16	639,720 tokens	159.2 tok/s
Microsoft Phi-4 (14B) 14.7B · GQA	Memória Insuficiente (OOM)	Cabe com Folga	Cabe com Folga	FP8	111,784 tokens	71.8 tok/s
Microsoft Phi-4-mini-instruct (3.8B) 3.84B · GQA	Cabe com Folga	Cabe com Folga	Cabe com Folga	FP16 / BF16	226,400 tokens	169.3 tok/s
Cohere Command A (111B) 111B · HYBRID_SWA	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	Memória Insuficiente (OOM)	—	—	—