Níveis de VRAM e Largura de Banda para LLM em GPU e Apple Silicon

Largura de Banda de Memória É o Principal Gargalo na Decodificação Local de LLM

Durante a geração autorregressiva de usuário único, cada token de saída exige ler os pesos ativos do modelo da VRAM para os núcleos de computação. Dobrar a largura de banda de memória (por exemplo, saltando de 546 GB/s para 1.792 GB/s em GDDR7 ou 3.350 GB/s em HBM3) praticamente dobra os tok/s na mesma quantização.

Em sistemas macOS com Apple Silicon, a alocação padrão de memória wired da GPU para perto de 75% da RAM física unificada, a menos que seja ajustada com sysctl iogpu.wired_limit_mb (modelada até um teto seguro de 88% que preserva a estabilidade do sistema). A velocidade de decodificação autorregressiva é limitada pela largura de banda externa efetiva dividida pelos bytes de parâmetros ativos mais os bytes ativos do cache KV lidos por passo, verificados a cada 12 horas pelo pipeline automatizado do VRAMLab.

O paralelismo de tensores divide cabeças de atenção e matrizes MLP entre dispositivos NVLink ou PCIe; por isso, --tensor-parallel-size precisa dividir exatamente o número de cabeças de consulta e KV, preservando margem para buffers all-reduce do NCCL e captura de grafos CUDA.