Ispettore locale di header binari .gguf e config.json (zero upload)

Trascina qualsiasi file di pesi .gguf da 4 GB a 200 GB o un config.json Transformer direttamente dal disco. VRAMLab legge solo i primi 16 MiB nella memoria locale del browser tramite DataView per estrarre numero esatto di livelli, dimensioni GQA/MLA, limiti di contesto e tipi di quantizzazione in meno di 5 ms: nessun byte lascia mai la tua macchina.

Seleziona un file modello locale o carica un header di esempio verificato

Legge solo i byte 0..16,777,216 tramite File.slice() — anche file .gguf oltre 100 GB si aprono all’istante senza copiare tutti i pesi nella RAM.

Oppure prova subito con header binari sintetici:

Analizzato Qwen3-32B-Q4_K_M.gguf (GGUF v3) nella memoria locale del browser — 0 byte caricati.

Metadati estratti di architettura e quantizzazione

Qwen3-32B-Instruct · MOSTLY_Q4_K_M
Metadati estratti di architettura e quantizzazione
Chiave header Valore estratto
general.architecture qwen3
general.name Qwen3-32B-Instruct
gguf.version v3
gguf.tensor_count 707
gguf.quantization MOSTLY_Q4_K_M
qwen3.block_count 64
qwen3.embedding_length 5120
qwen3.attention.head_count 64
qwen3.attention.head_count_kv 8
qwen3.context_length 40960

Proiezione istantanea della VRAM dall’header estratto

28.28 / 24 GB
Memoria esaurita (OOM) · OOM
28.28 / 32 GB
Al limite (>90% usabile) · 39.4 tok/s
27.66 / 128 GB
Entra comodamente · 11.3 tok/s
28.28 / 80 GB
Entra comodamente · 77.9 tok/s

Come funziona il parsing binario GGUF v2/v3 senza upload

Il contenitore binario GGUF memorizza tutti i metadati del modello subito dopo i 4 byte magic ASCII ("GGUF" / 0x46554747), l’intero di versione a 32 bit, il conteggio tensori a 64 bit e il conteggio delle coppie KV a 64 bit — ben prima dei blocchi di tensori quantizzati da molti gigabyte. Leggendo solo i primi 16 MiB con la File API del browser, VRAMLab decodifica chiavi UTF-8, scalari tipizzati e lunghezze degli array del tokenizer senza leggere i pesi.

Per i checkpoint FP16, BF16, FP8 o AWQ distribuiti in shard safetensors, trascinare il relativo config.json consente di estrarre hidden_size, num_hidden_layers, num_key_value_heads, kv_lora_rank, n_routed_experts e sliding_window_pattern così da dimensionare cluster vLLM o SGLang prima di scaricare centinaia di gigabyte di pesi.

VRAMLab valuta ogni modello a partire dalla sua geometria Transformer verificata — distinguendo esplicitamente tra Multi-Head Attention (MHA), Grouped-Query Attention (GQA), DeepSeek Multi-head Latent Attention (MLA) e stack ibridi locali/globali a finestra scorrevole — affinché i piani di capacità rispecchino le allocazioni reali di vLLM, SGLang, Ollama e llama.cpp.