Zielzustand
Die Behörde verfügt über Mechanismen, um Handlungen von KI-Agenten systematisch zu erfassen und zu überprüfen. Agentisches Verwaltungshandeln ist rekonstruierbar, erklärbar und auditierbar, um Rechtsstaatlichkeit, Aufsicht, Datenschutz und Rechenschaft zu gewährleisten. Da Agenten eigenständig Informationen verarbeiten und Handlungen ausführen können, reicht die Dokumentation des finalen Ergebnisses nicht aus. Vielmehr ist an zentralen Wegmarken bzw. Entscheidungspunkten ein nachvollziehbarer Nachweis darüber erforderlich, welcher Agent auf welcher Grundlage welche Handlung vorgenommen hat und wie das Ergebnis zustande gekommen ist. Referenzpunkt für die Tiefe der Dokumentation ist der heutige Umfang der Begründung eines Verwaltungsakts durch einen Menschen.
Designprinzip 11
Risikoabhängige Protokollierung
Agentenentscheidungen und -handlungen sind so protokolliert, dass ihr Zustandekommen auch nachträglich für Menschen nachvollziehbar ist. Der genaue Protokollumfang (verwendete Daten, , Modelle, , Interaktionen und Aktionen) richtet sich nach dem Risikograd und regulatorischen Vorgaben. Bei Entscheidungen sind Prüf- und zu erzeugen, die den Entscheidungsweg – auch bei – für Verwaltungsmitarbeitende nachvollziehbar und überprüfbar machen. Bei Entscheidungen mit hohem Risiko bzw. hoher Wirkung muss das Protokoll so detailliert sein, dass die unmittelbar entscheidungsrelevanten Vorgänge vollständig rekonstruiert und von fachlichen und prüfenden Stellen ausgewertet werden können.
Designprinzip 12
Konsistenz und Reproduzierbarkeit
Agenten liefern auch bei Änderungen an , Modellen oder Systemkomponenten rechtlich konsistente Ergebnisse, die eine gleichbleibende oder verbesserte fachliche Qualität sicherstellen. Rechtliche Vorgaben und Standards sind dabei als verbindliche, deterministische Schranken zu behandeln und durch darauf zu überwachen, dass sie durch den Agenten weder verändert noch verletzt werden. Für fachliche Ergebnisse werden zulässige Ergebnis- und Handlungsräume definiert und durch Tests bzw. Revalidierungen überwacht. Dabei wird geprüft, ob der Agent bei gleichen oder vergleichbaren Eingaben hinreichend konsistente Ergebnisse erzeugt oder es zu relevanten Abweichungen kommt. , Modelle und Systemkomponenten sind zu versionieren.
Designprinzip 13
Transparenz über die Nutzung agentischer KI
Der Einsatz agentischer KI wird in der externen Kommunikation mit Nutzenden transparent und erkennbar gekennzeichnet. Bei Bedarf wird die Möglichkeit eingeräumt, mit einem Menschen zu kommunizieren.
Designprinzip 14
Kontinuierliche Qualitätskontrolle
Die Behörde etabliert einen verbindlichen Monitoring- und Überprüfungsprozess im Sinne der bestehenden gesetzlichen Anforderungen (z. B. nach für Hochrisiko-KI). Das System wirkt , Tendenzen und ähnlichen , die aus Trainingsdaten, , Systemkonfigurationen oder bereitgestellten Kontextdaten resultieren, aktiv entgegen. Zum einen korrigiert der Agent sein Verhalten durch eingebaute Critic-Loops, d. h. agentische , die seine Entscheidungen kritisch prüfen. Zum anderen wird das Verhalten des Agenten über eine systematische überwacht, sodass bei Bedarf korrigierend eingegriffen werden kann. Schließlich fließen regelmäßige Benchmarks, Erfahrungen aus dem Produktivbetrieb und weitere Evaluierungsmethoden in die , also die Verwaltung der Agenten und Workflows, ein.