Zielzustand
Die Behörde schafft klare Rahmenbedingungen für einen gezielten und verantwortungsvollen Einsatz von KI-Agenten. Die Behördenleitung legt zusammen mit dem , dem und den Fachbereichsverantwortlichen fest, wo und in welchem Umfang KI-Agenten eingesetzt werden können und berücksichtigt neben der technischen Machbarkeit insbesondere die Eignung für agentisches Handeln aus fachlicher, rechtlicher und organisatorischer Sicht. Der zulässige wird abhängig von Risiko, Wirkung und Kritikalität der jeweiligen Aufgabe festgelegt und mit entsprechenden Anforderungen an Freigabe, Überwachung oder menschliche Beteiligung verknüpft. Für jede Delegation von auf Agenten wird zugleich festgelegt, wer für den Einsatz des Agenten, seine Überwachung, einzelne Entscheidungen und letztlich die daraus resultierenden Verwaltungshandlungen verantwortlich ist. Behörden ist das Handeln ihrer Agenten zuzurechnen.
Designprinzip 1
Zentrale Übersetzung von Regulatorik in Standards und behördenspezifische Konkretisierung
Behörden greifen, wo möglich, auf bestehende Standards, vorgefertigte Konzepte (bspw. Datenschutzkonzepte) und technische Bausteine zurück, die zentral bereitgestellt werden, und individualisieren diese dort, wo besondere fachliche oder regulatorische Anforderungen bestehen (z. B. im Anwendungskontext von kritischer Infrastruktur) oder spezifische Daten und Systeme eingebunden werden. Agentische KI kann durch ihre höhere Autonomie zusätzliche Risiken gegenüber klassischen KI-Anwendungen mit sich bringen. Entsprechend bewertet die Behörde das Risikoprofil und die damit verbundene und leitet daraus angemessene organisatorische und technische Kontrollmaßnahmen ab. Der konkrete Governance-Bedarf kann sich zwischen Behörden unterscheiden. Bei Fragen oder besonderen Anforderungen kann das unterstützen. Darüber hinaus ist sicherzustellen, dass relevante Rollen – insbesondere die oder der – bereits in der Frühphase der Konzeption eingebunden werden, um Governance-bezogene Fragestellungen von Anfang an mitzudenken. Für standardisierte Einsatzszenarien können Risikoprofil, sowie Kontrollmaßnahmen über den „“ () nachgenutzt werden. Gleichzeitig veröffentlicht die Behörde ihre eigenen Risikobewertungen für , um Nachnutzung zu ermöglichen.
Designprinzip 2
Kuratierung
Agenten, Modelle und Anbieter müssen anhand des jeweiligen Einsatzzwecks bewertet und ausgewählt werden. Ist ein agentischer Ansatz geeignet, werden verfügbare Agenten, Modelle und Anbieter anhand des konkreten Einsatzzwecks sowie relevanter Kriterien ausgewählt. Dabei ist insbesondere in regelmäßigen Abständen zu prüfen, ob bestehende Agenten nachgenutzt werden können sowie Aspekte wie Leistungsfähigkeit, Kosten und .
Designprinzip 3
Regelmäßige Anpassung der behördlichen KI-Strategie
Aufgrund der dynamischen Entwicklung des KI-Marktes überprüft und entwickelt der zusammen mit der Behördenleitung die behördliche KI-Strategie regelmäßig weiter. Ein erlaubt, relevante technologische und regulatorische Veränderungen frühzeitig zu erkennen, zu bewerten und bei Bedarf Vorgaben, Risikobewertungen und eingesetzte Systeme anzupassen. Dabei werden sowohl zentral bereitgestellte Informationen zu geeigneten bzw. zu vermeidenden Modellen, Anbietern und bekannten Schwachstellen als auch eigene Erkenntnisse aus dem Betrieb berücksichtigt.
Designprinzip 4
Risikoabhängiger Einsatz
Je höher die potenzielle Wirkung bzw. das Risiko einer Agentenhandlung, desto stärker kontrolliert bzw. begrenzt die Behörde dessen Autonomie und . Das Risiko eines Anwendungsfalls wird unter gemeinsamer Betrachtung von Einsatzkontext, potenzieller Wirkung und des Agenten bewertet. Dabei kann sich die Behörde an übergreifenden Standards zur Risikobestimmung bzw. orientieren und die Risikobewertung auf ihren jeweiligen Anwendungsfall zuschneiden. Maßgeblich sind dabei das des Anwendungsfalls und der des Agenten. Dabei ist zu berücksichtigen, dass nicht jeder Anwendungsfall für den Einsatz agentischer KI geeignet ist. Deterministische oder stärker kontrollierte Arbeitsabläufe können die geeignetere Lösung darstellen.
Designprinzip 5
Agentenmandat
Die Behörde führt eine regelmäßig aktualisierte Übersicht aller eingesetzten Agenten und stellt diese für die Abbildung im zentralen zur Verfügung, um Transparenz sicherzustellen. Für jeden KI-Agenten ist ein hinterlegt, das Zweck, Nutzen, fachlichen Zuständigkeitsbereich, Risikograd, , zulässige Datenquellen, erlaubte und Systeme, maximalen sowie zulässige und explizit untersagte Handlungen festlegt.
Designprinzip 6
Verantwortung bleibt bei der Behörde
Die Verantwortung für das durch agentische KI unterstützte Verwaltungshandeln verbleibt bei der Behörde. Agentische KI ist als so in Prozesse und Systeme integriert, dass Mitarbeitende Handlungen des Agenten nachvollziehen und an für den Prozess angemessen definierten Kontrollpunkten eingreifen können. Die im Kontrollprozess eingebundenen Mitarbeitenden verfügen über erforderliche Grundkompetenzen (Art. 4 ), müssen jedoch nicht alle technischen oder rechtlichen Details beherrschen. Expertenzugriff und Eskalationspfade sind sichergestellt.
Abbildung 10: Definition und Abgrenzung der Formen menschlicher Aufsicht und Kontrolle von KI-Agenten