Paliers de VRAM et de bande passante GPU et Apple Silicon pour LLM

La bande passante mémoire est le principal goulot d’étranglement du décodage LLM local

Lors de la génération autorégressive mono-utilisateur, chaque token produit exige de lire les poids actifs du modèle depuis la VRAM vers les unités de calcul. Doubler la bande passante mémoire (par exemple en passant de 546 Go/s à 1,792 Go/s en GDDR7 ou 3,350 Go/s en HBM3) double presque le débit en tok/s à quantification identique.

Sur les systèmes macOS Apple Silicon, l’allocation GPU verrouillée par défaut s’arrête vers 75 % de la RAM physique unifiée sauf ajustement via sysctl iogpu.wired_limit_mb (modélisé jusqu’à un plafond sûr de 88 % préservant la stabilité du système). La vitesse de décodage autorégressif est bornée par la bande passante mémoire externe effective divisée par les octets des paramètres actifs plus les octets actifs du cache KV lus à chaque étape, vérifiée toutes les 12 heures par le pipeline automatisé de VRAMLab.

Le parallélisme tensoriel répartit les têtes d’attention et les matrices MLP entre les GPU reliés par NVLink ou PCIe ; --tensor-parallel-size doit donc diviser exactement le nombre de têtes de requête et KV tout en conservant une marge pour les tampons all-reduce NCCL et la capture des graphes CUDA.