Alojar un mixture-of-experts
Por qué estos modelos necesitan la memoria de uno grande pero calculan como uno pequeño.
- Del artículoMiniMax M3: ¿un modelo puntero que puedes ejecutar tú mismo?
- Ayuda con estoIA local y privada para datos sensibles
Gratis, funciona en tu navegador. Nada de lo que introduces se envía, salvo que copies el enlace o lo envíes tú.
Todas las herramientasPruébalo
Dominik Heinrich · dominikheinrich.ch
Alojar un mixture-of-experts
Creado el 9 nov 2026
Interactivo
¿Cuánto cuesta alojar un modelo mixture-of-experts?
Todos los expertos deben estar en la memoria de la GPU, pero cada token solo pasa por los activos. La memoria escala con los parámetros totales y la velocidad con los activos.
Precisión
≈ 428 GB
pesos en memoria de GPU
7
GPUs de 80 GB, mínimo
23B
cómputo por token, como un modelo denso de este tamaño
Estimación para planificar: pesos más un 15 % para caché KV y ejecución. El rendimiento real depende del tamaño de lote, la interconexión y el motor de serving.
Hablemos
Cuéntame qué estás construyendo; te respondo en 1 o 2 días laborables.
- mail@dominikheinrich.ch
- Empresa
- MADO Consulting
- Sígueme en LinkedIn
Disponible en todo el mundo en remoto. Presencial bajo petición, según el país.
Abre aquí el calendario de reservas de Calendly. Al cargarlo se envían datos a Calendly (ver aviso legal).