Quiero ejecutar un LLM local: ¿qué servidor compro?

1. Empieza por el modelo, no por la máquina

El modelo tiene que caber en memoria rápida: la VRAM de una GPU o la memoria unificada de un Mac o de un superchip de AMD o NVIDIA. Los pesos ocupan parámetros por bytes por parámetro: dos bytes a 16 bits, uno a 8 bits y medio a 4 bits. Súmale alrededor de un 20 % para la caché KV con contextos normales. Eso da unos 5 GB para un modelo de 8.000 millones de parámetros a 4 bits, 19 GB para 32B, 42 GB para 70B y 84 GB para 70B a 8 bits. Los modelos mixture-of-experts son la trampa: por cada token solo trabajan unos pocos expertos, pero todos deben estar en memoria, así que un modelo de unos 428.000 millones de parámetros necesita unos 257 GB incluso a 4 bits.

El segundo número es el ancho de banda de memoria. Para generar un token, un modelo denso lee todos sus pesos una vez, así que el ancho de banda dividido por el tamaño de los pesos es un límite duro para la velocidad de un solo usuario. Un modelo de 70B a 4 bits tiene unos 35 GB de pesos: con 1.792 GB/s ese límite ronda los 50 tokens por segundo y con 273 GB/s queda por debajo de 8. Las cifras reales son menores, pero la proporción entre máquinas se mantiene y explica casi todas las diferencias que leerás.

El tercer número es la concurrencia. Diez personas preguntando a la vez necesitan diez cachés KV y un motor de serving que agrupe sus peticiones. Ahí se separan un servidor de equipo y una máquina personal.

2. Para una a cinco personas: una máquina silenciosa con mucha memoria

Cuatro opciones dominan el escritorio a finales de 2026, y cada una equilibra memoria y velocidad de forma distinta.

El Mac Studio con M5 Max ofrece hasta 128 GB de memoria unificada y de 460 a 614 GB/s; con M5 Ultra llega a 512 GB y 1,2 TB/s, con una potencia máxima continua que Apple indica en 480 W. Es la forma más sencilla de meter un modelo muy grande en un escritorio, y es silencioso. MLX, llama.cpp, Ollama y LM Studio funcionan bien en él.

La DGX Spark de NVIDIA mete el superchip GB10 con 128 GB de memoria unificada en una caja pequeña. NVIDIA habla de hasta 1 petaFLOP en FP4 y de modelos de hasta 200.000 millones de parámetros, y tienes toda la pila de software CUDA. Sus 273 GB/s de ancho de banda son el límite con modelos densos grandes, así que brilla en desarrollo, pruebas de fine-tuning y modelos mixture-of-experts.

Los mini PC con Ryzen AI Max+ 395 de AMD comparten hasta 128 GB de LPDDR5x-8000 entre la CPU y la gráfica Radeon 8060S de 40 núcleos, con un consumo configurable de 45 a 120 W. Son el camino más barato hacia mucha memoria y ejecutan llama.cpp, LM Studio y Ollama.

Una estación de trabajo con GPU dedicada es la más rápida por usuario: la RTX PRO 6000 Blackwell trae 96 GB de GDDR7 con ECC a 1.792 GB/s y 600 W, y la RTX 5090 de consumo tiene 32 GB con una potencia gráfica total de 575 W. Tienes vLLM y todo lo que se construye primero para CUDA.

# Single user on a desktop: Ollama with an OpenAI-compatible endpoint
ollama pull qwen3:32b
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen3:32b", "messages": [{"role": "user", "content": "Hello"}]}'

3. Para un equipo: un servidor NVIDIA y vLLM

Cuando veinte personas comparten un modelo, la pregunta deja de ser "¿cabe?" y pasa a ser "¿sigue siendo rápido cuando diez preguntan a la vez?". Ese es el trabajo de un motor de serving con batching continuo y memoria KV paginada, y vLLM es la referencia en hardware NVIDIA. Convierte una GPU en un servicio compartido con una API compatible con OpenAI, de modo que cualquier herramienta que hable con OpenAI pueda hablar con tu servidor.

Para un equipo de unas veinte personas suelo planificar un servidor de rack con una o dos GPU de centro de datos. La L40S tiene 48 GB de GDDR6 con ECC a 864 GB/s y un máximo de 350 W; la RTX PRO 6000 Blackwell duplica la memoria a 96 GB. Con 96 GB cabe un modelo de 70B a 4 bits con mucho espacio para cachés KV en paralelo; con 48 GB estás en la clase de 30B o necesitas dos tarjetas. Compra el servidor a un fabricante que te dé repuestos rápido, con fuentes redundantes, memoria ECC, un controlador de gestión remota y NVMe rápido para los ficheros del modelo.

Llama.cpp es excelente para una persona y para hardware poco común; para muchos usuarios a la vez, el batching de vLLM es lo que mantiene rápidas las respuestas. El vídeo de abajo compara bien los dos.

4. Para modelos grandes y muchos usuarios: varias GPU con NVLink

Los modelos abiertos de primera línea y los grandes mixture-of-experts necesitan cientos de gigabytes de memoria rápida repartidos entre GPU que se comunican rápido. La H200 lleva 141 GB de HBM3e a 4,8 TB/s y hasta 700 W por GPU; ocho de ellas superan el terabyte. La DGX B200 de NVIDIA combina ocho GPU B200 en 1.440 GB de HBM3e con 64 TB/s de ancho de banda total, con un máximo de unos 14,3 kW para el sistema. Entre ambas está la DGX Station, una máquina de sobremesa con el superchip GB300 y 748 GB de memoria coherente, 252 GB de ellos HBM3e.

A este tamaño, el servidor es el proyecto menor. La acometida eléctrica, la refrigeración, el espacio en rack, un plan de repuestos y alguien que sepa operarlo importan tanto como las GPU. vLLM reparte un modelo entre GPU con paralelismo de tensores y, en los mixture-of-experts, con paralelismo de expertos; mi artículo sobre MiniMax M3 explica qué significa eso para alojar un modelo de la clase de 400B.

5. Primero alquila, luego compra

Antes de cualquier compra hago un piloto de dos semanas con GPU alquiladas: el modelo que piensas usar, tus prompts reales y el número de usuarios esperado. AWS ofrece instancias H100 en su familia P5, Azure la serie ND H100 v5 y Google Cloud publica sus precios de GPU por región. Un piloto responde a lo que ninguna ficha técnica responde: ¿basta el modelo de 32B o de verdad necesitas 70B? ¿Qué longitud tienen tus contextos? ¿Cuántas personas lo usan a las nueve de la mañana?

Comprar compensa cuando el uso es estable y previsible, cuando los datos no pueden salir de tus instalaciones o cuando la red está aislada y alquilar simplemente no es una opción. Compara un coste total a tres años que incluya electricidad, refrigeración, soporte y las horas de quien lo opere con el precio por hora de las horas que de verdad usarías. Los precios cambian cada mes, así que toma las cifras actuales de las páginas de los fabricantes y no de un artículo, tampoco de este.

6. Qué compraría yo, según el escenario

Un desarrollador que quiere un asistente de código privado y margen para experimentar: un Mac Studio con 64 a 128 GB, un mini PC con Ryzen AI Max+ 395 y 128 GB, o un PC con una RTX 5090 si la velocidad importa más que el tamaño del modelo. Ollama o LM Studio, y el endpoint conectado directamente al editor.

Un equipo de unas veinte personas que quiere un chat privado y búsqueda en sus propios documentos: un servidor de rack con una o dos RTX PRO 6000 o dos L40S, vLLM, un modelo de 30B a 70B a 4 u 8 bits y una pasarela delante. Añade una segunda máquina más pequeña para probar nuevas versiones del modelo antes de que lleguen a todos.

Una empresa regulada o una red aislada: dos servidores idénticos en lugar de uno más grande, para que un fallo o una actualización nunca tumben el servicio, ECC en todo, alimentación redundante, gestión remota en una red separada y un registro de modelos sin conexión con hashes verificados. Mis artículos sobre LLM locales para datos sensibles y sobre LLM locales en una red aislada tratan el lado de la seguridad en detalle.

7. De la máquina al servicio en una tarde

La instalación es la misma en todos los niveles. Instala una versión LTS de Ubuntu, el controlador de NVIDIA, CUDA y el NVIDIA Container Toolkit para que los contenedores puedan usar las GPU. Copia los ficheros del modelo al NVMe local y arranca vLLM, que expone una API compatible con OpenAI en la red interna. Delante va una pasarela como LiteLLM para claves, cuotas y enrutamiento, conectada a tu inicio de sesión único, y se registra quién preguntó qué. Una interfaz de chat como Open WebUI da a todos un frontal conocido, y tus aplicaciones y la búsqueda de documentos hablan con la misma pasarela.

El diagrama tras este paso muestra todo el camino del hardware a los usuarios, y los tres niveles de hardware uno al lado del otro.

# Team server: vLLM with an OpenAI-compatible API on port 8000
# (NVIDIA driver and Container Toolkit installed, model files in /srv/models)
docker run -d --name vllm --gpus all -p 8000:8000 \
  -v /srv/models:/models \
  vllm/vllm-openai:latest \
  --model /models/Qwen2.5-32B-Instruct-AWQ \
  --max-model-len 16384

# Smoke test from the gateway host
curl http://gpu-server:8000/v1/models

8. Opéralo como cualquier otro servicio en producción

Un modelo local es un servicio y necesita lo que necesita cualquier servicio. El DCGM exporter de NVIDIA publica uso de GPU, memoria, temperatura y errores para Prometheus, y un panel de Grafana junto a la latencia y los errores de la pasarela te dice cuándo la gente empieza a esperar. Configura alertas para la memoria de GPU casi llena, el tiempo de cola y los errores de hardware, no solo para saber si el proceso está vivo.

Guarda la configuración en Git, aplica parches al sistema y a los controladores con un calendario, prueba cada modelo nuevo contra un conjunto fijo de tus propias preguntas antes de cambiar y documenta cómo pasar a la segunda máquina. Así la pregunta del hardware queda resuelta para los próximos tres años y la conversación puede centrarse en lo que tu equipo construye encima.