Welches Gerät für ein lokales LLM?

Interaktiv

Welches Gerät für ein lokales LLM?

Wählen Sie ein Modell und wie Sie es nutzen. Sie sehen, wie viel Speicher es braucht, und die kleinsten Geräte, die es tragen, vom Mini-PC bis zum GPU-Server.

Alle Optionen, grob von kleiner zu grosser Investition

• PC mit GeForce RTX 5090Zu klein

  Schnell für Modelle, die in 32 GB passen. Eine Consumer-Karte: laut, heiss, ohne ECC-Speicher, 575 W Grafikleistung.

• Mini-PC mit AMD Ryzen AI Max+ 395Passt · 128 GB

  Der günstigste Weg zu viel Speicher: bis 128 GB 256-Bit-LPDDR5x-8000 (rund 256 GB/s), geteilt mit der Radeon-8060S-Grafik, 45 bis 120 W. Läuft mit llama.cpp, LM Studio und Ollama.

  ≤ 7 Tokens/s, Obergrenze für eine Person auf diesem Gerät

• NVIDIA DGX SparkPasst · 128 GB

  GB10-Superchip mit 128 GB Unified Memory und vollem CUDA-Stack. 273 GB/s bremsen grosse dichte Modelle; stark bei Mixture-of-Experts-Modellen, Entwicklung und Fine-Tuning-Experimenten.

  ≤ 8 Tokens/s, Obergrenze für eine Person auf diesem Gerät

• Mac Studio M5 MaxPasst · 128 GB

  Bis 128 GB Unified Memory mit 460 bis 614 GB/s, und leise. MLX, llama.cpp, Ollama und LM Studio laufen gut darauf.

  ≤ 13–18 Tokens/s, Obergrenze für eine Person auf diesem Gerät

• Workstation oder Server mit RTX PRO 6000 Blackwell (1–2)Passt · 96 GB

  96 GB ECC-GDDR7 mit 1'792 GB/s und 600 W pro Karte: am schnellsten pro Person. Eine oder zwei davon mit vLLM ergeben einen Server fürs Team.

  ≤ 51 Tokens/s, Obergrenze für eine Person auf diesem Gerät

• Rack-Server mit 2× L40SPasst · 96 GB

  Zwei Rechenzentrums-GPUs mit je 48 GB und vLLM davor: das andere Team-Setup aus dem Artikel für 30B- bis 70B-Modelle.

• Mac Studio M5 UltraPasst · 512 GB

  Bis 512 GB Unified Memory mit 1,2 TB/s, maximal 480 W Dauerleistung: der einfachste Weg, ein sehr grosses Modell auf den Schreibtisch zu bringen.

  ≤ 34 Tokens/s, Obergrenze für eine Person auf diesem Gerät

• NVIDIA DGX Station (GB300)Passt · 748 GB

  Ein Gerät neben dem Schreibtisch mit GB300-Superchip und 748 GB kohärentem Speicher, davon 252 GB HBM3e.

• GPU-Server mit H200 (bis 8)Passt · 141 GB

  141 GB HBM3e mit 4,8 TB/s und bis 700 W pro GPU; acht davon ergeben über ein Terabyte. vLLM verteilt das Modell auf die GPUs.

• NVIDIA DGX B200Passt · 1'440 GB

  Acht B200-GPUs mit zusammen 1'440 GB HBM3e und 64 TB/s, rund 14,3 kW für das System. Strom, Kühlung und Betrieb werden zum grösseren Projekt.

Planungswert, kein Benchmark. Speicher = Parameter × Bytes pro Parameter, plus rund 20 % für den KV-Cache (lange Dokumente oder wenige Personen: +50 %, ein Team: +100 %, grobe Faktoren). Geräte mit Unified Memory behalten rund 10 % für das System. Die Tempo-Grenze ist Speicherbandbreite geteilt durch die pro Token gelesenen Gewichte (bei Mixture-of-Experts nur die aktiven); echte Werte liegen darunter. Gerätedaten aus den Datenblättern der Hersteller, wie im Artikel verlinkt (Ryzen-Bandbreite berechnet aus AMDs 256-Bit-LPDDR5x-8000). Vor dem Kauf: Modell und Prompts zwei Wochen auf gemieteten GPUs testen.