Bekannte Beispiele sind die Modelle hinter ChatGPT oder Claude.
Wie funktioniert ein LLM?
Ein LLM (Large Language Model, grosses Sprachmodell) wird auf riesigen Textmengen trainiert und lernt dabei statistische Muster von Sprache: welches Wort mit welcher Wahrscheinlichkeit auf ein anderes folgt, im jeweiligen Kontext. Aus diesem Training entsteht kein Nachschlagewerk, sondern ein Modell, das Text generiert, zusammenfasst, übersetzt oder Fragen beantwortet, ohne die Antwort irgendwo abzulegen und wieder abzurufen.
Das erklärt Stärke und Schwäche zugleich: LLMs sind sehr gut im flüssigen Formulieren und Verknüpfen, aber sie können mit hoher Sicherheit falsche Aussagen erzeugen (Halluzination), weil das Modell Plausibilität optimiert, nicht Wahrheit.
Für wen ist das relevant?
Für KMU in DE und CH ist die zentrale Frage nicht, ob ein LLM „intelligent“ ist, sondern wofür es sich eignet: Textarbeit, Zusammenfassungen, erste Entwürfe, Recherche im eigenen Wissen, Support-Vorentwurf. Für alles, was auf aktuellen und firmeneigenen Fakten beruhen muss, reicht ein LLM allein nicht: Es kennt Ihre Verträge, Preislisten oder internen Richtlinien nicht, wenn es nicht daran trainiert wurde oder Zugriff darauf erhält.
Grosse Modelle und Regulierung
Nicht jedes LLM ist gleich reguliert. Der EU AI Act unterscheidet KI-Modelle mit allgemeinem Verwendungszweck von solchen mit „systemischem Risiko“: Ein Modell gilt als systemisches Risiko, wenn sein Trainingsaufwand 10^25 Rechenoperationen (FLOP) überschreitet, was aktuell nur die grössten Modelle betrifft. Für deren Anbieter gelten seit dem 2. August 2025 zusätzliche Pflichten: Risikobewertung, Vorfallmeldung, Cybersicherheit.
Für ein KMU, das ein solches Modell lediglich nutzt statt selbst zu trainieren, greifen diese Pflichten nicht direkt, wohl aber die allgemeinen Pflichten zur KI-Kompetenz und Risikoklassifizierung der eigenen Anwendung.
Cloud-LLM oder lokal betrieben?
Cloud-LLMs, etwa über eine API, sind schnell verfügbar und meist leistungsfähiger, senden Anfragen aber an einen externen Anbieter. Lokale LLMs laufen auf eigener Hardware und verlassen das Haus nicht, sind dafür in der Rohleistung oft schwächer als die grössten Cloud-Modelle. Für sensible Daten, etwa in Finanz, MedTech oder Rechtsberatung, ist die lokale Variante oft die einzige vertretbare Option.
Typische Fehler
- Ergebnisse eines LLM ungeprüft übernehmen, obwohl Halluzination möglich ist
- Vertrauliche Daten in ein öffentliches Cloud-Modell eingeben, ohne Vertrag oder Datenschutzprüfung
- Erwarten, dass das Modell unternehmensinternes Wissen „einfach kennt“
- Ein einzelnes Modell für alle Aufgaben nutzen, statt Aufgabe und Modell abzugleichen
Aufwand und Kostentreiber
Bei der Einführung treiben vor allem drei Dinge den Aufwand: ob Cloud-Zugang reicht oder lokale beziehungsweise gehostete Inferenz nötig ist, wie viele Anwendungsfälle gleichzeitig abgedeckt werden sollen, und ob eigenes Wissen über RAG angebunden werden muss, damit Antworten auf Ihren Daten statt auf allgemeinem Training beruhen.
Häufige Fragen
Ist ein LLM dasselbe wie ChatGPT?
ChatGPT ist ein Produkt, das ein LLM als Kern nutzt. Das Modell selbst ist nur ein Teil der Anwendung, dazu kommen Oberfläche, Regeln und weitere Funktionen.
Warum halluziniert ein LLM?
Weil es Sprache nach Wahrscheinlichkeit generiert statt Fakten nachzuschlagen. Ohne Anbindung an eine geprüfte Quelle kann es plausibel klingende, aber falsche Aussagen erzeugen.
Braucht jedes Unternehmen ein eigenes LLM?
Nein. Die meisten KMU nutzen bestehende Modelle über eine Anwendung oder ein Gateway. Ein eigenes, trainiertes Modell lohnt sich nur bei sehr spezifischem Bedarf.
Was unterscheidet ein LLM von RAG?
Das LLM erzeugt Sprache, RAG liefert ihm die passenden Belegstellen aus Ihren eigenen Dokumenten, bevor es antwortet.
Sind grosse Modelle automatisch stärker reguliert?
Nur ab einer bestimmten Trainingsgrösse, aktuell 10^25 FLOP, gilt ein Modell laut EU AI Act als systemisches Risiko mit zusätzlichen Pflichten für dessen Anbieter, nicht für jeden, der es nutzt.
Können wir ein LLM lokal betreiben?
Ja, kleinere und mittlere Modelle laufen auf eigener Hardware. Das ist der Kern des Angebots Private AI Cluster.
Quellen
- General-Purpose AI Models in the AI Act: Questions and Answers, Europäische Kommission, Shaping Europe's digital future, 2025
- Verordnung (EU) 2024/1689 (AI Act), EUR-Lex, Amt für Veröffentlichungen der Europäischen Union, 2024