Fasce di VRAM e banda di memoria su GPU e Apple Silicon per LLM

La banda di memoria è il vero collo di bottiglia nella decodifica locale degli LLM

Durante la generazione autoregressiva a singolo utente, ogni token prodotto richiede la lettura dei pesi attivi del modello dalla VRAM verso le unità di calcolo. Raddoppiare la banda di memoria (ad esempio passando da 546 GB/s a 1,792 GB/s su GDDR7 o 3,350 GB/s su HBM3) raddoppia quasi i tok/s a parità di quantizzazione.

Sui sistemi macOS con Apple Silicon, l’allocazione GPU wired predefinita si ferma intorno al 75% della RAM fisica unificata salvo modifica tramite sysctl iogpu.wired_limit_mb (modellata fino a un tetto sicuro dell’88% che tutela la stabilità del sistema operativo). La velocità di decodifica autoregressiva è limitata dalla banda effettiva della memoria esterna divisa per i byte dei parametri attivi più i byte attivi della KV cache letti ad ogni passo, verificata ogni 12 ore dalla pipeline automatizzata di VRAMLab.

Il parallelismo tensoriale suddivide le teste di attenzione e le matrici MLP tra dispositivi NVLink o PCIe; pertanto --tensor-parallel-size deve dividere esattamente il numero di teste di query e KV lasciando margine per i buffer all-reduce NCCL e la cattura dei grafi CUDA.