NVIDIA GeForce RTX 4090 (24 GB GDDR6X) — Modelos compatibles, contexto máximo y rendimiento en tok/s
NVIDIA GeForce RTX 4090 (24 GB GDDR6X) ofrece 24 GB de memoria (22.1 GB de techo útil predeterminado) respaldados por 1,008 GB/s de ancho de banda externo y 165.2 TFLOPS de cómputo FP16 (~$0.44/h tarifa típica en la nube, 450W TDP).
- Memoria física
- 24 GB
- Default / Tuned Usable
- 22.1 / 23.0 GB
- Ancho de banda de memoria
- 1,008 GB/s
- Cómputo FP16
- 165.2 TFLOPS
- Tarifa nube típica $/h / CapEx
- $0.44/hr · $1,799
- TDP / Native FP8
- 450W · FP8 Yes
Simulador interactivo de cargas de trabajo en RTX 4090 24GB
Salvaguardas clave de parámetros compiladas automáticamente
El paralelismo de tensores divide las cabezas de atención y las matrices MLP entre dispositivos NVLink o PCIe, por lo que --tensor-parallel-size debe dividir exactamente el número de cabezas de consulta y KV dejando margen para los búferes all-reduce de NCCL y la captura de grafos CUDA.
Durante la generación autorregresiva de un solo usuario, cada token de salida exige leer los pesos activos del modelo desde la VRAM hacia los núcleos de cómputo. Duplicar el ancho de banda de memoria (por ejemplo, pasar de 546 GB/s a 1,792 GB/s en GDDR7 o 3,350 GB/s en HBM3) prácticamente duplica los tok/s con idéntica cuantización.
Matriz de compatibilidad de LLM de pesos abiertos en 1× RTX 4090 24GB (contexto 32K)
| Modelo y familia | FP16 | Q8_0 | Q4_K_M | Mejor cuantización holgada | Contexto máx. (Q4_K_M) | Velocidad decod. (Q4_K_M) |
|---|---|---|---|---|---|---|
|
DeepSeek-R1 (671B MoE)
671B · MLA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | — | — |
|
DeepSeek-V3-0324 (671B MoE)
671B · MLA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Llama-70B
70.6B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | — | — |
|
DeepSeek-R1-Distill-Qwen-32B
32.8B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | 12,759 tokens | — |
|
Qwen3-235B-A22B (MoE)
235B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | — | — |
|
Qwen3-30B-A3B (MoE)
30.5B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Ajustado (>90 % útil) | IQ4_XS | 48,634 tokens | 120.8 tok/s |
|
Qwen3-32B
32.8B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | 12,759 tokens | — |
|
Qwen3-14B
14.8B · GQA
|
Memoria insuficiente (OOM) | Ajustado (>90 % útil) | Cabe con holgura | FP8 | 89,017 tokens | 44.0 tok/s |
|
Qwen3-8B
8.2B · GQA
|
Ajustado (>90 % útil) | Cabe con holgura | Cabe con holgura | FP16 / BF16 | 126,857 tokens | 64.3 tok/s |
|
QwQ-32B (Reasoning)
32.8B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | 12,759 tokens | — |
|
Qwen2.5-Coder-32B-Instruct
32.8B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | 12,759 tokens | — |
|
Qwen2.5-72B-Instruct
72.7B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | — | — |
|
Llama 4 Maverick (400B / 17B-128E MoE)
402B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | — | — |
|
Llama 4 Scout (109B / 17B-16E MoE)
109B · HYBRID_SWA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | — | — |
|
Llama 3.3 70B Instruct
70.6B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | — | — |
|
Llama 3.1 405B Instruct
405B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | — | — |
|
Llama 3.1 8B Instruct
8.03B · GQA
|
Ajustado (>90 % útil) | Cabe con holgura | Cabe con holgura | FP16 / BF16 | 143,524 tokens | 68.8 tok/s |
|
Gemma 3 27B IT (Multimodal)
27.4B · HYBRID_SWA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Ajustado (>90 % útil) | Q4_K_M | 13,224 tokens | 32.0 tok/s |
|
Gemma 3 12B IT (Multimodal)
12.2B · HYBRID_SWA
|
Memoria insuficiente (OOM) | Cabe con holgura | Cabe con holgura | FP8 | 41,219 tokens | 63.8 tok/s |
|
Mistral Small 3.1 (24B)
24B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Ajustado (>90 % útil) | Q4_K_M | 53,954 tokens | 31.7 tok/s |
|
Mistral Large 2411 (123B)
123B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | — | — |
|
Codestral 22B
22.2B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Ajustado (>90 % útil) | Q4_K_M | 43,438 tokens | 30.1 tok/s |
|
Devstral Small (24B SWE Agent)
23.6B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Ajustado (>90 % útil) | Q5_K_M | 55,478 tokens | 32.0 tok/s |
|
GLM-4-32B-0414
32B · GQA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Ajustado (>90 % útil) | IQ4_XS | 61,544 tokens | 29.4 tok/s |
|
GLM-4-9B-0414
9.4B · GQA
|
Ajustado (>90 % útil) | Cabe con holgura | Cabe con holgura | FP16 / BF16 | 438,394 tokens | 89.6 tok/s |
|
Microsoft Phi-4 (14B)
14.7B · GQA
|
Memoria insuficiente (OOM) | Ajustado (>90 % útil) | Cabe con holgura | FP8 | 71,519 tokens | 40.4 tok/s |
|
Microsoft Phi-4-mini-instruct (3.8B)
3.84B · GQA
|
Cabe con holgura | Cabe con holgura | Cabe con holgura | FP16 / BF16 | 163,486 tokens | 95.2 tok/s |
|
Cohere Command A (111B)
111B · HYBRID_SWA
|
Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | Memoria insuficiente (OOM) | — | — | — |
Comparar otros niveles de capacidad de GPU y Apple Silicon
RTX 3090 24GB
24 GB · 936 GB/s
RTX 5090 32GB
32 GB · 1,792 GB/s
Apple M-Max 64GB
64 GB · 546 GB/s
Mac Studio 128GB
128 GB · 546 GB/s
Mac Studio 192GB
192 GB · 800 GB/s
NVIDIA A100 80GB
80 GB · 2,039 GB/s
NVIDIA H100 80GB
80 GB · 3,350 GB/s