GPU-Speicher für ein lokales LLM
Welche GPU, und wie viele, ein Modell braucht, bevor Sie Hardware kaufen.
- Aus dem ArtikelIch will ein lokales LLM betreiben: Welchen Server soll ich kaufen?
- Unterstützung dazuLokale und private KI für sensible Daten
Gratis, läuft in Ihrem Browser. Nichts, was Sie eingeben, wird gesendet, ausser Sie kopieren den Link oder schicken es selbst.
Alle ToolsAusprobieren
Dominik Heinrich · dominikheinrich.ch
GPU-Speicher für ein lokales LLM
Erstellt am 09.11.2026
Interaktiv
Welche GPU braucht Ihr Modell?
Wählen Sie Modellgrösse und Genauigkeit. Gewichte brauchen Parameter × Bytes pro Parameter, rund 20 % mehr decken den KV-Cache bei normaler Kontextlänge.
Modellgrösse (Milliarden Parameter)
Genauigkeit
≈ 19 GB
benötigter GPU-Speicher
1×
passt auf 24 GB (RTX 4090)
- 1× 24 GB (RTX 4090)
- 1× 32 GB (RTX 5090)
- 1× 48 GB (L40S)
- 1× 80 GB (H100)
- 1× 96 GB (RTX PRO 6000 Blackwell)
- 1× 141 GB (H200)
Faustregel zur Planung, kein Benchmark. Lange Kontexte und viele parallele Nutzer brauchen mehr KV-Cache, 4-Bit kostet etwas Qualität.
Kontakt aufnehmen
Erzählen Sie mir von Ihrem Projekt, ich antworte innerhalb von 1–2 Werktagen.
- mail@dominikheinrich.ch
- Unternehmen
- MADO Consulting
- Folgen Sie mir auf LinkedIn
Weltweit verfügbar, remote. Vor Ort auf Anfrage, je nach Land.
Öffnet hier den Buchungskalender von Calendly. Beim Laden werden Daten an Calendly übertragen (siehe Impressum).