Offizielle Website – Bundesrepublik Deutschland
AlphaDas Agentic AI Framework ist ein erster Vorschlag zur Diskussion. Ihr Feedback ist willkommen.

Umsetzungsschritte Governance

Steuerung und Verantwortung

Risikobewertung standardisieren und operationalisieren

Die Behörde etabliert ein einheitliches Vorgehen zur Risikobewertung. Es ermöglicht eine einfache Vorprüfung für eine erste Einschätzung von rechtlichen Rahmen und Risiko und schließt bei Umsetzung des eine vertiefte Prüfung an. Bewertungslogik, Kriterien und Schutzmaßnahmen werden auf Basis bereits durchgeführter Prüfungen dokumentiert und standardisiert. Fachressorts können auf bestehende Bewertungen zurückgreifen und sich an diesen orientieren.

Standardisierte Agentenklassen und Mandate etablieren

Wiederverwendbare Agentenklassen mit jeweils definierten , Sicherheitsanforderungen und Governance-Vorgaben werden auf Basis der Erfahrungen und Erkenntnisse der MVO entwickelt. Für wiederkehrende Einsatztypen werden standardisierte samt freigegebenen Konzepten (z. B. Datenschutzkonzept) zur Verfügung gestellt und fortlaufend gepflegt. Diese können von weiteren Fachressorts – nach Prüfung auf rechtliche und fachliche Übertragbarkeit – übernommen werden.

Standardisierte Freigabe- und Nutzungskonzepte etablieren

Wiederverwendbare Verfahren, Konzepte und Vorlagen für bspw. Datenschutz, Nutzungsbedingungen und Freigaben werden zentral für die Behörde entwickelt und zur Nachnutzung bereitgestellt. Der Prüfaufwand für weitere Agenten wird dadurch auf die anwendungsspezifischen Abweichungen konzentriert.

Agentenregister als Governance-Basis in der Behörde etablieren

Die Behörde dokumentiert alle behördenintern eingesetzten Agenten mit Informationen zu Zweck, , tatsächlichem , Verantwortlichkeiten, Systemzugriffen, Schutzmaßnahmen und Freigabestatus und pflegt diese Daten fortlaufend. Außerdem trägt die Behörde die relevanten Informationen in das zentrale ein.

Governance- und Freigabestrukturen skalieren

Rollen und Entscheidungswege für die wachsende Agentenlandschaft werden institutionalisiert. Der und der stellen die einheitliche Anwendung der Standards sicher. Sie entscheiden insbesondere über Abweichungen von bestehenden Agentenklassen und Mandaten.

Prozessweite Agentensteuerung ermöglichen

Die Governance wird von der Betrachtung einzelner Arbeitsschritte auf zusammenhängende Prozesse erweitert. Für mehrere miteinander interagierende Agenten werden gemeinsame Verantwortlichkeiten, , Übergaben und übergreifende Kontrollmechanismen definiert.

Standards kontinuierlich weiterentwickeln

Erfahrungen aus Betrieb und werden systematisch in die Weiterentwicklung von Modellen zu Risikobewertung, Agentenklassen, und Freigabeverfahren überführt. Bewährte Muster werden als neue Standards für weitere Agenten verfügbar gemacht und mit anderen Behörden geteilt.

Sicherheit und Souveränität

Guardrail- und Policy-Modell als Standard etablieren

Technische und fachliche werden in einem wiederverwendbaren Modell hinterlegt und möglichst technisch durchsetzbar gemacht, beispielsweise über Policy-as-Code. Dadurch können definierte Grenzen für Datenzugriffe, Systemzugriffe und Aktionen konsistent auf mehrere Agenten übertragen werden.

Sicherheits- und Qualitätstest vor Inbetriebnahme und bei wesentlichen Änderungen

Die Behörde führt automatisierte Sicherheits- und Stresstests insbesondere gegen , Prompt-Exfiltration und Re-Identifizierung vor der Inbetriebnahme und bei wesentlichen Änderungen von Agenten ein.

Dauerhafte Governance und Souveränität

Die fortlaufende Steuerung, Überwachung und Marktbeobachtung wird durch das Portfolioboard sichergestellt. Dies überprüft regelmäßig Abhängigkeiten von Modellen, Anbietern und technischen Komponenten und ermöglicht bei Bedarf einen Wechsel oder die Anpassung der eingesetzten Lösungen.

Standardisierte Betriebs- und Servicevereinbarungen etablieren

Einheitliche SLA-, Support- und Eskalationsstandards für agentische Services werden definiert – einschließlich Verfügbarkeiten, Reaktionszeiten, Verantwortlichkeiten und Umgang mit Störungen oder Sicherheitsvorfällen.

Standardisierte Sicherheitsüberwachung

Für Agenten werden einheitliche und Alarmierungsstandards etabliert, die technisch erkennbare Ereignisse wie Systemfehler, Überschreitungen definierter Berechtigungen erfassen. Ergänzend werden risikobasierte Stichproben und fachliche Qualitätskontrollen technisch unterstützt durchgeführt, um auch solche Fehlentwicklungen zu erkennen, die sich technisch nicht unmittelbar als Sicherheitsvorfall erkennen lassen. Kennzahlen, Auffälligkeiten und Meldungen der Nutzenden werden hierfür zentral ausgewertet und bei Bedarf eskaliert.

Standardisiertes Incident Management

Für Sicherheitsvorfälle wird ein behördenweiter Prozess mit einheitlichen Meldewegen, Zuständigkeiten und Reaktionszeiten etabliert.

Nachvollziehbarkeit

Transparenz über die Nutzung von agentischer KI nach außen

Die Behörde informiert über das nationale KI-Transparenzregister darüber, in welchen Bereichen und für welchen Zweck agentische KI eingesetzt wird. Bürgerinnen und Bürger und Unternehmen können auf Anfrage eine Erklärung über die Rolle des KI-Systems im Entscheidungsverfahren erhalten. Diese Erklärung erfolgt grundsätzlich in Leichter Sprache, sofern dem nicht zwingende Gründe entgegen sprechen.

Feedback geben

Das Framework ist ein erster Vorschlag. Ihr Feedback hilft dabei, ihn weiterzuentwickeln.

Hinweis

Ihr Feedback wird automatisch auf opencode.de veröffentlicht.

Geben Sie keine persönlichen Daten ein, zum Beispiel Name oder Adresse. Schreiben Sie so genau wie möglich, worum es Ihnen geht.
Ihre E-Mail-Adresse wird nicht veröffentlicht.

Use Case

Eine Aufgabe, bei der eine Behörde KI-Agenten einsetzt oder in Zukunft einsetzen will. Zum Beispiel ein Arbeitsablauf oder ein Teil davon.

Handlungsspielraum

Alles, was ein KI-Agent in einem Use Case tun darf. Dazu gehört:

  • wie selbstständig er entscheiden darf
  • welche Aufgaben und Aktionen er ausführen darf
  • auf welche Systeme und Daten er zugreifen darf

Agentenmandat

Jeder KI-Agent hat ein Agentenmandat. Darin steht zum Beispiel:

  • welche Aufgabe der KI-Agent hat
  • was er nicht tun darf
  • an welchen Stellen ein Mensch zustimmen muss
  • welche Systeme und Programme er verwenden darf
  • welche Daten er nutzen darf

Agentenmandat

Jeder KI-Agent hat ein Agentenmandat. Darin steht zum Beispiel:

  • welche Aufgabe der KI-Agent hat
  • was er nicht tun darf
  • an welchen Stellen ein Mensch zustimmen muss
  • welche Systeme und Programme er verwenden darf
  • welche Daten er nutzen darf

Handlungsspielraum

Alles, was ein KI-Agent in einem Use Case tun darf. Dazu gehört:

  • wie selbstständig er entscheiden darf
  • welche Aufgaben und Aktionen er ausführen darf
  • auf welche Systeme und Daten er zugreifen darf

KI-Transparenzregister

In diesem öffentlichen Verzeichnis geben Behörden an, wofür sie KI nutzen.

Chief AI Officer

Diese Person ist zuständig für alles, was mit KI zu tun hat. Dazu gehört:

  • festlegen, welche Ziele die Organisation mit KI erreichen will (KI-Strategie)
  • Regeln für den Umgang mit KI aufstellen (KI-Governance)
  • entscheiden, welche KI-Projekte und KI-Anwendungen die Organisation umsetzt

Die Person ist verantwortlich dafür, wie eine Organisation KI nutzt. Sie muss erklären können, was der Einsatz von KI bringt und welche Risiken er hat.

Chief Data Officer

Diese Person ist verantwortlich für alle Daten der Behörde. Sie entscheidet:

  • wie die Behörde mit ihren Daten arbeiten will (Datenstrategie)
  • welche Daten am wichtigsten sind (Kerndatensätze)
  • wie die wichtigsten Daten einheitlich aufbereitet werden, damit andere sie gut nutzen können (Datenprodukte)
  • welche Regeln es für den Umgang mit Daten gibt (Daten-Governance)

API (Schnittstelle)

Teil von einem Programm, über den andere Programme nach fest vereinbarten Regeln Daten abfragen oder senden.

Monitoring

Die dauerhafte Überwachung von KI-Systemen in Echtzeit, um Fehler oder Abweichungen sofort zu erkennen.

Guardrails (Leitplanken)

Technische und organisatorische Regeln. Die Regeln verhindern, dass ein KI-System unerwünschte oder falsche Antworten gibt oder Handlungen ausführt.

Guardrails (Leitplanken)

Technische und organisatorische Regeln. Die Regeln verhindern, dass ein KI-System unerwünschte oder falsche Antworten gibt oder Handlungen ausführt.

Prompt Injection

Jemand versucht, eine KI zu manipulieren. Dafür gibt die Person der KI heimlich Anweisungen, zum Beispiel als versteckten Text in einem Dokument.

Monitoring

Die dauerhafte Überwachung von KI-Systemen in Echtzeit, um Fehler oder Abweichungen sofort zu erkennen.