Souveränität zeigt sich im Betrieb

Die öffentliche Verwaltung sammelt bereits zahlreiche Erfahrungen im Einsatz von KI. München setzt mit MUCGPT bereits seit 2024 ein internes KI-Werkzeug ein und hat dafür ein eigenes KI Competence Center eingerichtet. Auch die Bundesagentur für Arbeit nutzt mit ADEST einen KI-gestützten Prozess. Daten werden aus unstrukturierten Stellenangeboten extrahiert und weiterverarbeitet. Die Beispiele zeigen, dass die Frage nicht mehr nur lautet, ob KI eingesetzt werden kann, sondern wie sie verlässlich, rechtssicher und kontrollierbar betrieben wird.

Der sinnvolle Einsatz von KI in der Verwaltung beginnt mit einer klar abgegrenzten Aufgabe. Recherche, Zusammenfassung oder die Übertragung in Leichte Sprache sind anders zu bewerten als Anwendungen, deren Vorschläge in Bescheide oder Leistungsentscheidungen einfließen. Je größer die Auswirkungen auf Betroffene sind, desto höher sind die Anforderungen an Prüfung, Dokumentation und menschliche Kontrolle. Bescheide können unmittelbar in die Lebenssituation von Bürgerinnen und Bürgern eingreifen. Deshalb kommt es hier besonders auf Rechtssicherheit an. Ein plausibler Vorschlag reicht nicht, wenn die Entscheidungsgrundlage und die Verantwortung nicht nachvollziehbar bleiben. Nach öffentlichen Berichten ist die Zahl der mit KI erstellten Widersprüche gegen Bescheide zuletzt sprunghaft gestiegen. Das erhöht auch den Prüfaufwand.

Der Anwendungsfall kommt vor dem Modell

Für eine interne Recherchehilfe kann Retrieval-Augmented Generation (RAG) Dokumente aus einem freigegebenen Bestand als Kontext an ein Sprachmodell übergeben. Quellen müssen dafür aktuell und sichtbar sein. Dabei gelten die Zugriffsrechte aus den Quellsystemen auch für den Suchdienst und die Protokollierung. Sonst kann die Anwendung Beschränkungen aushebeln. Fehlende oder widersprüchliche Informationen sind als Unsicherheit kenntlich zu machen. Für die Beschäftigten sollte nachvollziehbar bleiben, auf welchen Quellen die Antwort beruht. So lässt sich eine gut formulierte Antwort fachlich prüfen, bevor sie in einen Arbeitsvorgang einfließt.

Für eng begrenzte Fachaufgaben kann ein Small Language Model ausreichen. Der Einsatz eines kleineren Modells erhöht die Sicherheit jedoch nicht automatisch. Entscheidend sind Qualität, Datenumfang, Antwortgeschwindigkeit und Testbarkeit. Ob das Modell den Anforderungen genügt, sollte anhand realer und problematischer Fälle geprüft werden. Maßgeblich ist nicht die Größe des Modells, sondern ob seine Ergebnisse für den konkreten Zweck verlässlich genug sind.

Datenhoheit braucht klare Verantwortung

Vor dem Einsatz braucht es Klarheit über Datenquellen, Verantwortliche und Nutzungszweck. Dazu zählen Fachverfahren, Dokumentenmanagementsysteme, Register und Wissensdatenbanken. Die Behörde legt fest, was mit Eingaben, Ergebnissen und Protokollen geschieht und wer den Zugriff kontrolliert. Außerdem erklärt sie, welche Daten welchem Zweck dienen.

Eine YouGov-Umfrage im Auftrag des eco-Verbands zeigt, wie eng diese Fragen mit Vertrauen verbunden sind: 50 Prozent nannten Datenschutz und technische Sicherheit als besonders wichtig für digitale Identitäten; 32 Prozent wünschten sich klare Regeln für den Datenzugriff. Deshalb braucht das Verfahren klare Governance-Regeln. Ein Recherchewerkzeug verlangt nach anderen Freigaben als ein System, das Anträge vorsortiert.

Auch die IT-Sicherheit braucht eigene Prüfungen. Der Kriterienkatalog des Bundesamts für Sicherheit in der Informationstechnik (BSI) weist auf direkt und indirekte Prompt Injections hin. Manipulierte Eingaben oder Dokumente können Antworten beeinflussen. Die Anwendung hat Daten und Anweisungen getrennt zu behandeln; Aktionen mit Außenwirkung setzen eine menschliche Freigabe voraus. Bei Bescheiden ist eine Dokumentation darüber, worauf ein Vorschlag beruht, wie er geprüft wurde und wer die Entscheidung verantwortet wichtig.

Vom Pilot zum Regelbetrieb

Pilotierung ist nur der erste Test. Vor dem Regelbetrieb sollte eine Behörde typische, problematische und widersprüchliche Eingaben mit einem festen Testbestand prüfen. Zu bewerten sind Quellen, Zugriffsrechte und der Umgang mit fehlenden Informationen. Im Betrieb sind neben Ausfällen, Antwortzeiten und Fehlerraten auch Korrekturen, Abbrüche und verworfene Ergebnisse relevant.

Für jede Modellversion sollten Testdaten, Konfiguration und Ergebnisse dokumentiert werden. Mit jedem Update wird festgelegt, welche Prüfungen wiederholt erneut erfolgen und wer die Freigabe erteilt. Zur Betriebsplanung gehört ein Rückfallverfahren. Bei Ausfall oder unklarer Antwort sollte der Vorgang manuell weiterbearbeitet werden können. Auch für KI-gestützte Prozesse braucht es deshalb einen klaren Plan für die Bearbeitung ohne das System. Für kritische Anwendungen sind Regeln für Betriebspause und Rückkehr zu einer vorherigen Version notwendig.

Souveränität zeigt sich auch darin, dass eine Behörde ihre Anwendung weiterentwickeln, ändern oder ersetzen kann. Dazu ist ein IT-Betrieb notwendig, der solche Veränderungen unterstützt, statt neue Abhängigkeiten zu schaffen. Datenformate, Schnittstellen, Konfigurationen und Betriebswissen sind so zu dokumentieren, dass ein Wechsel des Modells oder Anbieters ebenso möglich bleibt wie die Rückkehr zu einer früheren Version. Ein externer Betrieb steht dem nicht entgegen. Entscheidend ist, ob Zugriffe, Verantwortlichkeiten, Updates, Protokolle, Datenexport und Wechselprozesse von Beginn an geregelt sind. Proprietäre Schnittstellen können diese Offenheit dagegen einschränken.

Voraussetzungen für den Regelbetrieb

https://www.it-zoom.de/

Öffentliche Projekte zeigen unterschiedliche Anwendungsfälle. Behörden-KlarText unterstützt verständlichere Behördenschreiben und wurde als Open Source zur Nachnutzung veröffentlicht. Der Agentic AI Hub des Bundesministeriums für Digitales und Staatsmodernisierung erprobte nach Ministeriumsangaben 20 Projekte in 19 Kommunen. Das belegt keinen flächendeckenden Einsatz, macht aber zentrale Fragen sichtbar: Sind Daten und Schnittstellen vergleichbar? Wer übernimmt den Betrieb und kann die Lösung kontrolliert weiterentwickeln?

Eine Behörde sollte erst dann in den Regelbetrieb gehen, wenn geklärt ist, welches Problem die Anwendung löst, welche Daten sie verarbeitet und wer die Ergebnisse verantwortet. Zur Kontrolle gehören regelmäßige Tests, Überwachung, Aktualisierung und die Möglichkeit zur Abschaltung. Souveräne KI beschreibt keine bestimmte Infrastruktur und kein bestimmtes Modell, sondern die Fähigkeit, den Einsatz selbst zu kontrollieren – auch nach einem Update oder einer Störung.

Bild: rawpixel.com / Magnific