Calculadora de VRAM para LLM locales (Q4, Q5 y Q8)

Calcula una estimación de la memoria que ocupan los pesos del modelo y la caché KV del contexto. Los datos del modelo (capas, cabezas KV…) están en su ficha o en su config.json.

La fórmula

pesos (bytes) = parámetros × bits por peso ÷ 8

caché KV (bytes) = 2 × capas × contexto × cabezas KV × dimensión por cabeza × bytes por valor

• NVIDIA lo explica así: los dos grandes consumidores de memoria son los pesos y la caché KV; un modelo de 7.000 millones de parámetros en 16 bits ocupa unos 14 GB, y la caché KV por token es 2 × capas × (cabezas × dimensión por cabeza) × bytes (el 2 es por las matrices K y V). En modelos con GQA solo se guardan las cabezas KV, por eso usamos num_key_value_heads.
• Los bits por peso de Q4_K_M, Q5_K_M y Q8_0 son los que mide la documentación de llama-quantize de llama.cpp con Llama-3.1-8B. En otros modelos varían un poco.
• Es una estimación: el programa (llama.cpp, Ollama, LM Studio…) reserva además memoria para sus búferes de cálculo y el sistema usa parte de la VRAM. Deja margen.

Fuentes

• NVIDIA Technical Blog — Mastering LLM Techniques: Inference Optimization (en inglés): memoria de pesos y fórmula de la caché KV.
• llama.cpp — README de llama-quantize (en inglés): bits por peso de cada cuantización.
• Qwen — Ficha de Qwen2.5-7B-Instruct en Hugging Face (en inglés): datos del ejemplo (7,61 B parámetros, 28 capas, 4 cabezas KV, hidden_size 3584 con 28 cabezas → 128 por cabeza).

Relacionado: Ollama no responde desde otro ordenador de la red.

Consultado el 18-10-2026.

Friki Labs · Herramientas · Sobre / contacto · Aviso legal y privacidad