Lokale und private KI für sensible Daten
Der Nutzen von KI, ohne dass ein einziges sensibles Dokument Ihr Netzwerk verlässt.
Für Organisationen, die Verträge, Gesundheitsdaten, Personalakten oder Quellcode nicht an eine öffentliche KI-API schicken dürfen. Ich betreibe Open-Weight-Modelle auf Ihrer eigenen Hardware oder in Ihrer privaten Cloud, verbinde sie mit Ihren Dokumenten und maskiere Personendaten, bevor ein Modell sie sieht, bis hin zu vollständig air-gapped Umgebungen ohne Weg ins Internet.
Kommt Ihnen das bekannt vor?
- Rechtsabteilung, Compliance oder Betriebsrat sagen Nein zu ChatGPT und Copilot für interne Daten
- Mitarbeitende kopieren trotzdem sensible Texte in öffentliche KI-Tools, weil es keine sichere Alternative gibt
- Niemand weiss, welches Modell und welche GPU reichen, also bleibt das Projekt an der Hardwarefrage hängen
- Die Umgebung ist bewusst offline, Cloud-KI kommt also gar nicht infrage
So gehe ich vor
- 1
Anwendungsfall und Daten wählen
Wir beginnen mit einer Aufgabe, die echte Zeit spart, etwa Verträge durchsuchen oder interne Fragen beantworten, und legen fest, welche Daten das Modell sehen darf und welche nie.
- 2
Richtiges Modell, richtige Hardware
Ich wähle ein Open-Weight-Modell und eine Quantisierung, die zur Aufgabe passen, teste sie mit Ihren eigenen Fragen und dimensioniere die GPU nach dem gemessenen Speicherbedarf, nicht nach einer Herstellerbroschüre.
- 3
Ihre Dokumente, zuerst maskiert
Dokumente werden in PostgreSQL mit pgvector innerhalb Ihres Netzwerks indexiert. Namen, IDs und E-Mail-Adressen werden maskiert, bevor ein Modell einen Prompt sieht, und jede Antwort nennt ihre Quellen.
- 4
Ein Gateway, lückenloses Audit
Mitarbeitende melden sich per Single Sign-on an, jede Anfrage läuft über ein internes KI-Gateway mit Kontingenten und Routing, und ein Audit-Log hält fest, wer was gefragt hat und welche Quellen genutzt wurden. Ausgehender Verkehr wird an der Firewall blockiert.
- 5
Air-gapped, wenn es sein muss
Für Offline-Standorte kommen Modelle über einen Einweg-Transfer mit geprüften Hashes und Signaturen herein, landen in einer Offline-Registry und werden vor der Freigabe evaluiert. Updates nehmen denselben Weg.
Interaktiv
Welche GPU braucht Ihr Modell?
Wählen Sie Modellgrösse und Genauigkeit. Gewichte brauchen Parameter × Bytes pro Parameter, rund 20 % mehr decken den KV-Cache bei normaler Kontextlänge.
Modellgrösse (Milliarden Parameter)
Genauigkeit
≈ 19 GB
benötigter GPU-Speicher
1×
passt auf 24 GB (RTX 4090)
- 1× 24 GB (RTX 4090)
- 1× 32 GB (RTX 5090)
- 1× 48 GB (L40S)
- 1× 80 GB (H100)
- 1× 96 GB (RTX PRO 6000 Blackwell)
- 1× 141 GB (H200)
Faustregel zur Planung, kein Benchmark. Lange Kontexte und viele parallele Nutzer brauchen mehr KV-Cache, 4-Bit kostet etwas Qualität.
Alle Rechner und ChecklistenWas Sie bekommen
- Eine Modell- und Hardware-Empfehlung auf Basis von Tests mit Ihren eigenen Fragen
- Modellbetrieb mit vLLM oder Ollama auf Ihren Servern oder in Ihrer privaten Cloud
- Suche in Ihren Dokumenten mit PostgreSQL und pgvector, mit Quellenangaben
- Maskierung von Personendaten, Single Sign-on, Kontingente und Audit-Log
- Ein Offline-Update-Pfad für air-gapped Standorte, plus Runbooks für Ihr Team
Fragen, die Kunden stellen
Sind offene Modelle gut genug im Vergleich zu ChatGPT?
Für klar umrissene Aufgaben auf Ihren eigenen Dokumenten meistens ja. Deshalb teste ich Kandidaten mit Ihren eigenen Fragen, bevor jemand Hardware kauft, damit die Entscheidung auf Ihren Ergebnissen beruht, nicht auf Benchmarks.
Welche Hardware brauchen wir?
Das hängt von Modellgrösse, Quantisierung und gleichzeitiger Nutzung ab. Der GPU-Rechner auf dieser Seite gibt eine erste Schätzung; die endgültige Dimensionierung kommt aus Messungen des gewählten Modells mit Ihrer Last.
Kann das komplett offline laufen?
Ja. Modelle, Embeddings, Vektordatenbank und Monitoring laufen alle innerhalb der Enklave. Updates kommen über einen Einweg-Transfer mit geprüften Hashes und Signaturen herein.
Können wir lokale und Cloud-Modelle kombinieren?
Ja. Das interne Gateway routet nach Datenklasse: Sensible Anfragen bleiben beim lokalen Modell, alles andere darf ein Cloud-Modell nutzen, wenn Ihre Richtlinie das erlaubt.
Wie rechnen Sie ab?
Nach einem 30-Minuten-Gespräch: ein fester Umfang vom Anwendungsfall bis zum laufenden Pilot oder einige Tage pro Monat, um es mit Ihrem Team aufzubauen und zu betreiben.
Weiterlesen
- Private KI für sensible Daten: ein lokales LLM-Setup, das durch die Sicherheitsprüfung kommt
- Lokale LLMs im Air-Gap-Netz: KI für Ihre sensibelsten Daten
- Ich will ein lokales LLM betreiben: Welchen Server soll ich kaufen?
- Air-gapped-Systeme: kritische Software ganz ohne Internet betreiben
- MiniMax M3: ein offenes Spitzenmodell zum Selbstbetreiben?
Quellen und offizielle Leitfäden
Kontakt aufnehmen
Erzählen Sie mir von Ihrem Projekt, ich antworte innerhalb von 1–2 Werktagen.
- mail@dominikheinrich.ch
- Unternehmen
- MADO Consulting
- Folgen Sie mir auf LinkedIn
Weltweit verfügbar, remote. Vor Ort auf Anfrage, je nach Land.
Öffnet hier den Buchungskalender von Calendly. Beim Laden werden Daten an Calendly übertragen (siehe Impressum).