Memoria GPU para un LLM local
Qué GPU, y cuántas, necesita un modelo antes de comprar hardware.
- Del artículoQuiero ejecutar un LLM local: ¿qué servidor compro?
- Ayuda con estoIA local y privada para datos sensibles
Gratis, funciona en tu navegador. Nada de lo que introduces se envía, salvo que copies el enlace o lo envíes tú.
Todas las herramientasPruébalo
Dominik Heinrich · dominikheinrich.ch
Memoria GPU para un LLM local
Creado el 9 nov 2026
Interactivo
¿Qué GPU necesita tu modelo?
Elige tamaño del modelo y precisión. Los pesos ocupan parámetros × bytes por parámetro; un 20 % más cubre la caché KV con contextos normales.
Tamaño del modelo (miles de millones de parámetros)
Precisión
≈ 19 GB
memoria de GPU necesaria
1×
cabe en 24 GB (RTX 4090)
- 1× 24 GB (RTX 4090)
- 1× 32 GB (RTX 5090)
- 1× 48 GB (L40S)
- 1× 80 GB (H100)
- 1× 96 GB (RTX PRO 6000 Blackwell)
- 1× 141 GB (H200)
Regla práctica para planificar, no un benchmark. Contextos largos y muchos usuarios en paralelo necesitan más caché KV; 4 bits cuesta algo de calidad.
Hablemos
Cuéntame qué estás construyendo; te respondo en 1 o 2 días laborables.
- mail@dominikheinrich.ch
- Empresa
- MADO Consulting
- Sígueme en LinkedIn
Disponible en todo el mundo en remoto. Presencial bajo petición, según el país.
Abre aquí el calendario de reservas de Calendly. Al cargarlo se envían datos a Calendly (ver aviso legal).