¿Qué equipo para un LLM local?

Interactivo

¿Qué equipo para un LLM local?

Elige un modelo y cómo lo vas a usar. Verás cuánta memoria necesita y las máquinas más pequeñas que lo soportan, desde un mini PC hasta un servidor con GPU.

Todas las opciones, aproximadamente de menor a mayor inversión

• PC con GeForce RTX 5090Se queda corto

  Rápida para modelos que caben en 32 GB. Tarjeta de consumo: ruidosa, caliente, sin memoria ECC, 575 W de potencia gráfica total.

• Mini PC con AMD Ryzen AI Max+ 395Cabe · 128 GB

  La vía más barata a mucha memoria: hasta 128 GB de LPDDR5x-8000 de 256 bits (unos 256 GB/s) compartidos con la gráfica Radeon 8060S, de 45 a 120 W. Funciona con llama.cpp, LM Studio y Ollama.

  ≤ 7 tokens/s, límite superior para un usuario en esa máquina

• NVIDIA DGX SparkCabe · 128 GB

  Superchip GB10 con 128 GB de memoria unificada y toda la pila CUDA. 273 GB/s limitan los modelos densos grandes; brilla con mixture-of-experts, desarrollo y pruebas de fine-tuning.

  ≤ 8 tokens/s, límite superior para un usuario en esa máquina

• Mac Studio M5 MaxCabe · 128 GB

  Hasta 128 GB de memoria unificada a 460–614 GB/s, y silencioso. MLX, llama.cpp, Ollama y LM Studio funcionan bien.

  ≤ 13–18 tokens/s, límite superior para un usuario en esa máquina

• Workstation o servidor con RTX PRO 6000 Blackwell (1–2)Cabe · 96 GB

  96 GB ECC GDDR7 a 1.792 GB/s y 600 W por tarjeta: la más rápida por usuario. Una o dos con vLLM forman un servidor para un equipo.

  ≤ 51 tokens/s, límite superior para un usuario en esa máquina

• Servidor en rack con 2× L40SCabe · 96 GB

  Dos GPUs de centro de datos de 48 GB con vLLM delante: la otra configuración de equipo del artículo para modelos de 30B a 70B.

• Mac Studio M5 UltraCabe · 512 GB

  Hasta 512 GB de memoria unificada a 1,2 TB/s, con 480 W continuos como máximo: la forma más sencilla de tener un modelo muy grande en el escritorio.

  ≤ 34 tokens/s, límite superior para un usuario en esa máquina

• NVIDIA DGX Station (GB300)Cabe · 748 GB

  Una máquina de sobremesa con el superchip GB300 y 748 GB de memoria coherente, 252 GB de ellos HBM3e.

• Servidor con H200 (hasta 8)Cabe · 141 GB

  141 GB HBM3e a 4,8 TB/s y hasta 700 W por GPU; ocho superan el terabyte. vLLM reparte el modelo entre las GPUs.

• NVIDIA DGX B200Cabe · 1440 GB

  Ocho GPUs B200 con 1.440 GB HBM3e y 64 TB/s en total, unos 14,3 kW el sistema. Energía, refrigeración y operación pasan a ser el proyecto mayor.

Estimación para planificar, no un benchmark. Memoria = parámetros × bytes por parámetro, más un 20 % para la caché KV (documentos largos o pocas personas: +50 %, un equipo: +100 %, factores aproximados). Las máquinas con memoria unificada reservan un 10 % para el sistema. El límite de velocidad es el ancho de banda de memoria dividido entre los pesos leídos por token (solo los activos en mixture-of-experts); las cifras reales son menores. Datos de equipos de las fichas técnicas de los fabricantes, enlazadas en el artículo (ancho de banda del Ryzen calculado a partir de su LPDDR5x-8000 de 256 bits). Antes de comprar, prueba tu modelo y tus prompts dos semanas en GPUs alquiladas.