GPU- & Apple-Silicon-Klassen für LLM-VRAM & Bandbreite

Speicherbandbreite ist der primäre Flaschenhals beim lokalen LLM-Decoding

Bei der autoregressiven Einzel-Stream-Generierung müssen für jedes ausgegebene Token die aktiven Modellgewichte aus dem VRAM in die Recheneinheiten gelesen werden. Eine Verdopplung der Speicherbandbreite (etwa von 546 GB/s auf 1,792 GB/s mit GDDR7 oder 3,350 GB/s mit HBM3) verdoppelt bei gleicher Quantisierung nahezu die tok/s-Rate.

Auf macOS-Systemen mit Apple Silicon endet die standardmäßige verdrahtete GPU-Zuweisung bei rund 75 % des physischen Unified RAM, sofern sie nicht per sysctl iogpu.wired_limit_mb angehoben wird (modelliert bis zu einer stabilen Obergrenze von 88 %). Die autoregressive Decode-Geschwindigkeit wird durch die effektive externe Speicherbandbreite geteilt durch aktive Parameter-Bytes plus pro Schritt gelesene KV-Cache-Bytes begrenzt und alle 12 Stunden durch die automatisierte Verifikationspipeline von VRAMLab geprüft.

Tensorparallelität verteilt Attention-Heads und MLP-Matrizen über NVLink- oder PCIe-GPUs; daher muss --tensor-parallel-size die Anzahl der Query- und KV-Heads ganzzahlig teilen und zugleich Spielraum für NCCL-All-Reduce-Puffer sowie CUDA-Graph-Erfassung lassen.