Niveles de VRAM y ancho de banda en GPU y Apple Silicon para LLM
Explore GPU de estaciones de trabajo de referencia, equipos Mac con memoria unificada Apple Silicon y aceleradores HBM de centro de datos para comprobar qué modelos de pesos abiertos caben con holgura en Q4_K_M, Q8_0, FP8 o FP16 y cuántos tokens por segundo entrega su ancho de banda.
Guías de capacidad de GPU principales y Apple Silicon
RTX 3090 24GB
GPU de consumo · 24 GB (22.1 GB usable)
RTX 4090 24GB
GPU de consumo · 24 GB (22.1 GB usable)
RTX 5090 32GB
GPU de consumo · 32 GB (29.4 GB usable)
Apple M-Max 64GB
Memoria unificada Apple Silicon · 64 GB (48.0 GB usable)
Mac Studio 128GB
Memoria unificada Apple Silicon · 128 GB (96.0 GB usable)
Mac Studio 192GB
Memoria unificada Apple Silicon · 192 GB (144.0 GB usable)
NVIDIA A100 80GB
GPU de centro de datos · 80 GB (73.6 GB usable)
NVIDIA H100 80GB
GPU de centro de datos · 80 GB (73.6 GB usable)
Matriz completa de especificaciones de aceleradores y memoria unificada
| Acelerador / Sistema | Clase | Memoria física | Ancho de banda de memoria | Cómputo FP16 | Tarifa nube típica $/h | Modelos compatibles |
|---|---|---|---|---|---|---|
| NVIDIA GeForce RTX 3060 (12 GB) | GPU de consumo | 12 GB | 360 GB/s | 25.4 TFLOPS | $0.16/hr | Cargar en la calculadora de VRAM → |
| NVIDIA GeForce RTX 4060 Ti (16 GB) | GPU de consumo | 16 GB | 288 GB/s | 44.1 TFLOPS | $0.22/hr | Cargar en la calculadora de VRAM → |
| NVIDIA GeForce RTX 3090 (24 GB GDDR6X) | GPU de consumo | 24 GB | 936 GB/s | 71 TFLOPS | $0.29/hr | Guía de capacidad → |
| NVIDIA GeForce RTX 4090 (24 GB GDDR6X) | GPU de consumo | 24 GB | 1,008 GB/s | 165.2 TFLOPS | $0.44/hr | Guía de capacidad → |
| NVIDIA GeForce RTX 5090 (32 GB GDDR7) | GPU de consumo | 32 GB | 1,792 GB/s | 209.5 TFLOPS | $0.79/hr | Guía de capacidad → |
| NVIDIA RTX PRO 6000 Blackwell (96 GB GDDR7) | GPU de centro de datos | 96 GB | 1,792 GB/s | 252 TFLOPS | $1.65/hr | Cargar en la calculadora de VRAM → |
| Apple MacBook Pro / Mac mini M4 Pro (48 GB Unified) | Memoria unificada Apple Silicon | 48 GB | 273 GB/s | 17.8 TFLOPS | $0.14/hr | Cargar en la calculadora de VRAM → |
| Apple Silicon M-Series Max (64 GB Unified Memory) | Memoria unificada Apple Silicon | 64 GB | 546 GB/s | 32.8 TFLOPS | $0.22/hr | Guía de capacidad → |
| Apple Mac Studio M4 Max (128 GB Unified Memory) | Memoria unificada Apple Silicon | 128 GB | 546 GB/s | 36.4 TFLOPS | $0.32/hr | Guía de capacidad → |
| Apple Mac Studio M2/M3 Ultra (192 GB Unified Memory) | Memoria unificada Apple Silicon | 192 GB | 800 GB/s | 54.4 TFLOPS | $0.48/hr | Guía de capacidad → |
| Apple Mac Studio M3 Ultra (512 GB Unified Memory) | Memoria unificada Apple Silicon | 512 GB | 819 GB/s | 65.2 TFLOPS | $0.78/hr | Cargar en la calculadora de VRAM → |
| NVIDIA L40S (48 GB GDDR6) | GPU de centro de datos | 48 GB | 864 GB/s | 362 TFLOPS | $1.05/hr | Cargar en la calculadora de VRAM → |
| NVIDIA A100 SXM4 (80 GB HBM2e) | GPU de centro de datos | 80 GB | 2,039 GB/s | 312 TFLOPS | $1.49/hr | Guía de capacidad → |
| NVIDIA H100 SXM5 (80 GB HBM3) | GPU de centro de datos | 80 GB | 3,350 GB/s | 989 TFLOPS | $2.39/hr | Guía de capacidad → |
| NVIDIA H200 SXM (141 GB HBM3e) | GPU de centro de datos | 141 GB | 4,800 GB/s | 989 TFLOPS | $3.49/hr | Cargar en la calculadora de VRAM → |
El ancho de banda de memoria es el cuello de botella principal al decodificar LLM locales
Durante la generación autorregresiva de un solo usuario, cada token de salida exige leer los pesos activos del modelo desde la VRAM hacia los núcleos de cómputo. Duplicar el ancho de banda de memoria (por ejemplo, pasar de 546 GB/s a 1,792 GB/s en GDDR7 o 3,350 GB/s en HBM3) prácticamente duplica los tok/s con idéntica cuantización.
En sistemas macOS con Apple Silicon, la asignación cableada predeterminada de GPU se detiene cerca del 75 % de la RAM física unificada salvo que se modifique con sysctl iogpu.wired_limit_mb (modelado hasta un techo seguro del 88 % que preserva la estabilidad del sistema operativo). La velocidad de decodificación autorregresiva está acotada por el ancho de banda efectivo de memoria externa dividido entre los bytes de parámetros activos más los bytes activos de caché KV leídos por paso, verificado cada 12 horas por la canalización automatizada de VRAMLab.
El paralelismo de tensores divide las cabezas de atención y las matrices MLP entre dispositivos NVLink o PCIe, por lo que --tensor-parallel-size debe dividir exactamente el número de cabezas de consulta y KV dejando margen para los búferes all-reduce de NCCL y la captura de grafos CUDA.