Das ist besonders für regulierte Branchen und vertrauliche Daten interessant.
Wie funktioniert lokale oder souveräne KI?
Bei lokaler oder souveräner KI läuft die Inferenz, also das eigentliche Ausführen des Sprachmodells, auf Hardware im eigenen Haus oder in einem selbst kontrollierten Rechenzentrum statt bei einem externen Cloud-Anbieter. Anfragen, Dokumente und Ergebnisse verlassen damit das eigene Netz nicht. Das ist heute möglich, weil sich leistungsfähige Modelle in vertretbarer Grösse auf spezialisierter Hardware betreiben lassen, ohne die Rechenzentren grosser Cloud-Anbieter zu benötigen.
Für wen ist das relevant (KMU DE/CH)?
Relevant wird lokale KI, sobald Daten das Haus aus rechtlichen oder vertraglichen Gründen nicht verlassen dürfen: Finanzdienstleister, Versicherungen, MedTech, Kanzleien, öffentliche Stellen, aber auch jedes Unternehmen mit strengen Kundenverträgen zur Vertraulichkeit.
Das Datenschutzrecht schränkt die Übermittlung von Personendaten in Drittländer grundsätzlich ein: In der EU regelt Kapitel V der DSGVO die Voraussetzungen dafür, in der Schweiz gilt über das nDSG eine vergleichbare Grundregel für die Bekanntgabe von Personendaten ins Ausland. Wer diese Frage für KI-Anfragen gar nicht erst stellen will, entscheidet sich für den lokalen Betrieb.
Was müssen Sie tun?
- Klären, welche Daten wirklich das Haus nicht verlassen dürfen
- Hardware und Modellgrösse auf den tatsächlichen Bedarf abstimmen
- Sicheren Fernzugriff für berechtigte Nutzer einrichten
- Monitoring und Modellpflege als laufenden Betrieb einplanen, nicht als einmaliges Projekt
Typische Fehler
- Alles lokal betreiben wollen, auch unkritische Anfragen, was Leistung und Kosten unnötig belastet
- Hardware kaufen, ohne den laufenden Betrieb (Updates, Modellpflege) mitzuplanen
- Annehmen, „lokal“ sei automatisch sicher, ohne Zugriffskontrolle für den Fernzugriff
- Lokale Modelle an den Leistungsmassstäben der grössten Cloud-Modelle messen, statt an der Aufgabe
Aufwand und Kostentreiber
Den Aufwand treiben vor allem: die Anzahl gleichzeitiger Nutzer und Anfragen, die gewünschte Modellgrösse und -leistung, ob RAG über eigene Dokumente dazukommt, die Anforderungen an Fernzugriff und Ausfallsicherheit, und ob eine Kombination mit einem Gateway für unkritische Cloud-Anfragen sinnvoll ist.
Worauf bei Anbietern achten?
- Wird die Aussage „läuft lokal“ bis auf die einzelne Anfrage nachweisbar belegt?
- Gibt es eine Audit- und Datenschutzdokumentation, nicht nur eine Behauptung?
- Kann der Anbieter Modellauswahl und Skalierung aus eigenem Betrieb begründen?
- Lässt sich die Lösung mit einem Gateway kombinieren, statt alles oder nichts zu erzwingen?
Häufige Fragen
Ist lokale KI automatisch DSGVO-konform?
Nicht automatisch, aber sie vereinfacht die Einhaltung erheblich, weil Personendaten das Haus gar nicht erst verlassen und sich die Fragen der Drittlandübermittlung nach Kapitel V DSGVO nicht stellen.
Sind lokale Modelle schwächer als Cloud-Modelle?
Für viele Aufgaben wie Zusammenfassen, Recherche im eigenen Wissen oder Textarbeit reichen moderne lokale Modelle aus. Bei Spitzenleistung liegt Cloud oft vorne.
Für wen lohnt sich lokale KI besonders?
Für alle, die mit Daten arbeiten, die vertraglich oder regulatorisch nicht in fremde Hände dürfen, etwa Finanz, MedTech, Kanzleien oder öffentliche Stellen.
Braucht lokale KI eine eigene IT-Abteilung?
Nicht zwingend, wenn Betrieb, Monitoring und Modellpflege an einen Partner ausgelagert werden, der den Cluster als laufenden Dienst betreibt statt als einmaliges Projekt.
Kann man lokal und Cloud kombinieren?
Ja, über ein Gateway: Sensible Anfragen bleiben lokal, unkritische dürfen pseudonymisiert auch externe Modelle nutzen.
Gilt für die Schweiz eine andere Regel als für die EU?
Das nDSG kennt eine der DSGVO vergleichbare Grundregel zur Bekanntgabe von Personendaten ins Ausland. Im Detail unterscheiden sich beide Gesetze aber.
Quellen
- Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung, DSGVO), Kapitel V, EUR-Lex, Amt für Veröffentlichungen der Europäischen Union, 2016
- Bekanntgabe von Personendaten ins Ausland, EDÖB, Eidgenössischer Datenschutz- und Öffentlichkeitsbeauftragter, 2026