Mixture-of-Experts betreiben
Warum diese Modelle den Speicher eines grossen Modells brauchen, aber rechnen wie ein kleines.
- Aus dem ArtikelMiniMax M3: ein offenes Spitzenmodell zum Selbstbetreiben?
- Unterstützung dazuLokale und private KI für sensible Daten
Gratis, läuft in Ihrem Browser. Nichts, was Sie eingeben, wird gesendet, ausser Sie kopieren den Link oder schicken es selbst.
Alle ToolsAusprobieren
Dominik Heinrich · dominikheinrich.ch
Mixture-of-Experts betreiben
Erstellt am 09.11.2026
Interaktiv
Was kostet ein Mixture-of-Experts-Modell im Betrieb?
Alle Experten müssen im GPU-Speicher liegen, aber jedes Token läuft nur durch die aktiven. Speicher skaliert mit allen Parametern, Tempo mit den aktiven.
Genauigkeit
≈ 428 GB
Gewichte im GPU-Speicher
7
80-GB-GPUs, mindestens
23B
Rechenaufwand pro Token, wie ein dichtes Modell dieser Grösse
Planungswert: Gewichte plus rund 15 % für KV-Cache und Laufzeit. Echter Durchsatz hängt von Batch-Grösse, Interconnect und Serving-Engine ab.
Kontakt aufnehmen
Erzählen Sie mir von Ihrem Projekt, ich antworte innerhalb von 1–2 Werktagen.
- mail@dominikheinrich.ch
- Unternehmen
- MADO Consulting
- Folgen Sie mir auf LinkedIn
Weltweit verfügbar, remote. Vor Ort auf Anfrage, je nach Land.
Öffnet hier den Buchungskalender von Calendly. Beim Laden werden Daten an Calendly übertragen (siehe Impressum).