Zielzustand
Die Behörde stellt sicher, dass KI-Agenten innerhalb definierter rechtlicher, technischer und organisatorischer Grenzen handeln. Sicherheits- und Souveränitätsanforderungen sind dabei in die technischen und organisatorischen Strukturen integriert und gewährleisten, dass die Behörde die Kontrolle über ihre Daten, Modelle, Agenten, Infrastrukturen und Verwaltungsfunktionen behält.
Designprinzip 7
Kontrollmechanismen (Human-in-the-Loop/Human-on-the-Loop)
Die Behörde übersetzt Governance-Regeln in technisch durchsetzbare Kontrollmechanismen, Handlungsgrenzen und . Diese werden als harte Grenzen technisch implementiert. Eine Definition als durch KI ausführbare Regel ist in keinem Falle ausreichend. Den zuständigen Personen werden die erforderlichen Informationen, Kompetenzen, zeitlichen Ressourcen und Befugnisse bereitgestellt, um menschliche Kontrolle wahrzunehmen und bei Bedarf einzugreifen. Kontrollpunkte in Workflows werden nicht erst post-hoc definiert, sondern von Beginn an gemeinsam mit und im Testbetrieb erprobt und angepasst.
Designprinzip 8
Incident-Management
Ein etabliertes stellt den Umgang mit Fehlern und Störungen sicher. Das Verhalten von KI-Agenten wird durch Leitungen kontinuierlich auf Fehlentwicklungen wie und Diskriminierung überwacht und durch regelmäßig auf Vorgabeneinhaltung überprüft. Bei Vorfällen greifen definierte Prozesse zur Intervention, Benachrichtigung betroffener Nutzenden und Systemwiederherstellung. Geschäfts- und verfahrensrelevante Daten bleiben unabhängig von der Verfügbarkeit oder Funktionsfähigkeit des Agenten jederzeit zugänglich. Sicherheitsrelevante Vorfälle werden an , sowie den zuständigen () eskaliert.
Designprinzip 9
Digitale Souveränität
Die Behörde legt die Anforderungen an die risikobasiert auf Basis von Schutzbedarf und Kritikalität des jeweiligen Anwendungsfalls fest. Hierbei werden rechtliche und extraterritoriale Zugriffsrisiken, Verarbeitungsorte, Anbieter- und Lieferkettenabhängigkeiten, die erforderlichen Nutzungsrechte sowie die eigenen Kompetenzen für Betrieb und Anpassung berücksichtigt. Sie schafft hierfür Exit- und Wechselmöglichkeiten, interoperable sowie alternative Lösungen. Zudem prüft die Behörde bei kritischen Anwendungen regelmäßig, ob die Abhängigkeiten ausreichend kontrolliert werden. Darüber hinaus werden bei der Entwicklung, Beschaffung und dem Betrieb agentischer Systeme Möglichkeiten zur Stärkung eigener technologischer Fähigkeiten und der europäischen Wertschöpfung berücksichtigt.
Designprinzip 10
Datenhoheit
Die Behörde behält jederzeit die Hoheit über die von Agenten verarbeiteten und gespeicherten Daten. Der Zugriff auf Daten durch den KI-Agenten erfolgt nur über definierte nach dem . Technische Maßnahmen wie z. B. Verschlüsselung und richten sich nach Schutzbedarf und Risiko. Nachvollziehbarkeit und Verfügbarkeit der erforderlichen Daten und Informationen bleiben auch bei Systemausfall oder Anbieterwechsel gewährleistet.