Qwen3-8B VRAM要件・GGUF容量 & GPUガイド

Qwen3-8B インタラクティブ・メモリ & コンテキストシミュレーター

重み量子化 (bpw)

KVキャッシュ精度

対象GPU / 統合メモリ構成

デバイス数 (TP)

コンテキスト長 (tokens) 32,768 トークン

メモリ内訳 & メモリ帯域幅上限

ギリギリ収容 (>90%使用)

モデル重み: 44.5% KV: 43.2% Overhead: 12.3%

必要メモリ合計

10.41 GB

デバイスあたり割当量: 10.41 GB

モデル重み

4.63 GB

KVキャッシュ (FP16): 4.50 GB

推定単一ストリーム速度

23.0 tok/s

ランタイム & TPオーバーヘッド: 1.28 GB

OOM到達前の最大コンテキスト

42,971

トークン

アーキテクチャKV圧縮により単純なMHA FP16（18.00 GB）比で 75.0% 削減。

精度・量子化別 VRAMマトリクス（8K / 32K / 128K コンテキスト）

重み精度およびコンテキスト長ごとの必要GPUメモリ合計（batch = 1、FP16 KVキャッシュ）
精度 / 形式	実効 bpw	重みのみ	合計 @ 8K ctx	合計 @ 32K ctx	合計 @ 128K ctx	推奨構成 (@ 32K)
FP16 / BF16	16.00 bpw	15.27 GB	18.00 GB	21.37 GB	34.87 GB	RTX 3090 24GB
FP8	8.50 bpw	8.11 GB	10.62 GB	14.00 GB	27.50 GB	RTX 4060 Ti 16GB
Q8_0	8.50 bpw	8.11 GB	10.62 GB	14.00 GB	27.50 GB	RTX 4060 Ti 16GB
Q6_K	6.56 bpw	6.26 GB	8.72 GB	12.09 GB	25.59 GB	RTX 4060 Ti 16GB
Q5_K_M	5.69 bpw	5.43 GB	7.86 GB	11.23 GB	24.73 GB	RTX 3060 12GB
Q4_K_M	4.85 bpw	4.63 GB	7.03 GB	10.41 GB	23.91 GB	RTX 3060 12GB
AWQ INT4	4.50 bpw	4.30 GB	6.69 GB	10.06 GB	23.56 GB	RTX 3060 12GB
IQ4_XS	4.25 bpw	4.06 GB	6.44 GB	9.82 GB	23.32 GB	RTX 3060 12GB

ハードウェア互換性 & デコード速度（Qwen3-8B @ Q4_K_M, 32K コンテキスト）

主要GPUおよびApple Siliconにおける収容判定、メモリ使用率、推定デコード速度
ハードウェア構成	メモリ & 帯域幅	必要量 (32K)	収容判定	推定デコード速度
RTX 3090 24GB	24 GB · 936 GB/s	10.41 GB (43%)	余裕で収容可能	59.7 tok/s
RTX 4090 24GB	24 GB · 1008 GB/s	10.41 GB (43%)	余裕で収容可能	64.3 tok/s
RTX 5090 32GB	32 GB · 1792 GB/s	10.41 GB (33%)	余裕で収容可能	114.4 tok/s
Apple M-Max 64GB	64 GB · 546 GB/s	10.00 GB (16%)	余裕で収容可能	32.8 tok/s
Mac Studio 128GB	128 GB · 546 GB/s	10.00 GB (8%)	余裕で収容可能	32.8 tok/s
Mac Studio 192GB	192 GB · 800 GB/s	10.00 GB (5%)	余裕で収容可能	48.1 tok/s
NVIDIA A100 80GB	80 GB · 2039 GB/s	10.41 GB (13%)	余裕で収容可能	137.8 tok/s
NVIDIA H100 80GB	80 GB · 3350 GB/s	10.41 GB (13%)	余裕で収容可能	226.4 tok/s

検証済み Transformer アーキテクチャ仕様

Checkpoint ID: Qwen/Qwen3-8B
Ollama Tag: qwen3:8b
License / Release: Apache-2.0 · 2025-Q2
構造 & アテンション: Dense Transformer（密モデル）
アテンション機構: グループ化クエリアテンション (GQA)
総パラメータ数 (B): 8.2B
有効パラメータ / Token (B): 8.2B
隠れ層数 (Layers) / 隠れ層次元 (Hidden Size): 36 / 4096
クエリヘッド数 / KVヘッド数: 32Q / 8KV (d=128)
Vocab / Max Position: 151,936 / 40,960

量子化フォーマットはパックされた整数重みに加えてブロック単位のスケール係数とゼロポイントを保持します。4bit GGUF の Q4_K_M はパラメータあたり平均 4.85 実効ビット（4.00ではない）、Q8_0 は平均 8.50 bpw を消費します。Mixture-of-Experts モデルではトークンごとのホストページングを防ぐため、ルーティング対象および共有エキスパートのすべてがメモリ上に常駐します。

標準的な Grouped-Query Attention は全層で 2 × L × H_kv × d_head × S × B × bytes_kv を確保します。DeepSeek Multi-head Latent Attention (MLA) はKeyとValueを L × (d_kv_lora + d_qk_rope) × S × B × bytes_kv へ圧縮し、長文脈メモリを90%以上削減します。ハイブリッド・スライディングウィンドウはローカル層の消費を min(S, window_size) に抑えつつグローバル層のみ S に比例して拡張します。

Qwen3-8B 用 vLLM & Ollama クイック起動コマンド

vllm serve Qwen/Qwen3-8B \
  --tensor-parallel-size 1 \
  --max-model-len 32768 \
  --max-num-seqs 8 \
  --gpu-memory-utilization 0.95 \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --port 8000

# Save as Modelfile, then run: ollama create qwen3-8b-custom -f Modelfile
FROM qwen3:8b
PARAMETER num_ctx 32768
PARAMETER num_batch 512
PARAMETER flash_attn true

# Environment variables for ollama serve:
# OLLAMA_NUM_PARALLEL=8 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve