GPU & Apple Silicon LLM VRAM・メモリ帯域幅ティア一覧

ローカルLLMのデコード速度を決める最大のボトルネックはメモリ帯域幅

単一ユーザーの自己回帰生成では、1トークン出力するたびにVRAMから演算コアへ有効モデル重みを読み出す必要があります。メモリ帯域幅が2倍になれば（例：546 GB/s から GDDR7 の 1,792 GB/s や HBM3 の 3,350 GB/s へ向上）、同じ量子化精度で tok/s もほぼ2倍になります。

macOSのApple Silicon環境では、sysctl iogpu.wired_limit_mb で上書きしない限り既定のGPUワイヤード割当は物理統合RAMの約75%で頭打ちになります（OS安定性を保つ安全上限として最大88%までモデル化）。自己回帰デコード速度は実効外部メモリ帯域幅を1ステップあたりの有効パラメータ読出バイト数＋有効KVキャッシュ読出バイト数で割った上界で求まり、VRAMLabの12時間自動検証パイプラインにより継続検証されます。

テンソル並列はアテンションヘッドとMLP行列をNVLinkやPCIeデバイスへ分割するため、--tensor-parallel-size はクエリヘッド数およびKVヘッド数を割り切れる値にしつつ、NCCL all-reduceバッファとCUDAグラフ確保用の余裕を残す必要があります。