Steuerung und Verantwortung
Rechtliche und regulatorische Einordnung des Use Cases
Das prüft mit dem zuständigen Fachbereich und den relevanten, beratenden Rechts-, Datenschutz- und Sicherheitsfunktionen, ob der Agenten-Einsatz in den grundsätzlich zulässig ist und welche spezifischen Anforderungen bestehen, z. B. für die Modellauswahl oder das . Diese werden dokumentiert und von Anfang an in der Konzeption mitgedacht. Hier sind insb. die europäische , Datenschutz, Verwaltungs- und Fachrecht, Informationssicherheit sowie ggf. weitere Vorgaben zu berücksichtigen. Sollte bereits eine KI-Governance in der Behörde etabliert sein, kann diese als Grundlage genutzt werden.
Durchführung und Nachhalten der Risikobewertung des Use Cases
Für jeden konkreten wird ein und der des Agenten abgeleitet sowie das erforderliche Schutzniveau für den Einsatz festgelegt. Dabei wird konkretisiert, welche Aufgaben und Prozessschritte der Agent übernehmen darf und welche Daten, Systeme und Aktionen dafür zulässig sind. Die ersten haben dabei einen besonderen Stellenwert, da die getroffenen Bewertungen als Referenz für nachfolgende Risikobewertung dienen können. Sie ermöglichen es, das Vorgehen zur Risikobestimmung gemeinsam mit unterschiedlichen fachlichen und rechtlichen Perspektiven weiterzuentwickeln und zu konkretisieren. Gewonnene Erkenntnisse und Erfahrungen werden systematisch dokumentiert und für die Ausgestaltung der erforderlichen fachlichen und rechtlichen Konzepte nutzbar gemacht.
Freigabe des Agentenmandats
Das samt Schutzbedarfsfeststellung und Nutzungskonzept wird mit relevanten möglichst frühzeitig abgestimmt. Dazu zählen unter anderem der (Datenschutzkonzept, ggf. Datenschutzfolgeabschätzung), der Personalrat (Einbringung der Beschäftigungsinteressen), der Gleichstellungsbeauftragte (Auswirkung auf Gleichstellung und strukturelle Benachteiligung), der IT-Sicherheitsbeauftragte (Cybersicherheit und Informationssicherheit) und die Leitungsebene der Behörde.
Einführung und Befähigung
Eine Planung der konkreten Einführung einschließlich Verantwortlichkeiten, Zeitplan, Einführungsstufen und Scope wird durchgeführt. Insbesondere wird festgelegt, für welche Nutzergruppe bzw. für wie viele Nutzende der Agent zunächst bereitgestellt wird und wer entsprechend geschult, weitergebildet werden muss. Eine Ausweitung des Nutzendenkreises ist im Laufe dieser Phase angedacht. Kontrollpunkte im Workflow werden nicht post-hoc definiert, sondern möglichst von Beginn an gemeinsam mit dem und dem IT-Sicherheitsbeauftragten direkt im Testbetrieb erprobt und angepasst.
Verantwortlichkeiten dokumentieren
Fachliche, technische und betriebliche Verantwortlichkeiten sowie Entscheidungs- und Eskalationswege werden eindeutig zugeordnet. Prüfungen, Beteiligungen und Freigaben werden nachvollziehbar dokumentiert. Die haftungsrechtliche Einordnung ist fachjuristisch zu klären.
Sicherheit und Souveränität
Schutzmaßnahmen und Nutzungskonzept definieren
Verbindliche technische werden aus der festgelegten abgeleitet, insbesondere zu zulässigen Daten, Systemen, Aktionen und menschlichen Kontrollpunkten. Die daraus resultierenden Nutzungsbedingungen werden für die betroffenen Mitarbeitenden verständlich dokumentiert und kommuniziert, bspw. welche Daten verarbeitet werden dürfen.
Ausarbeitung und Abstimmung der erforderlichen fachlichen, rechtlichen und technischen Konzepte
Die Behörde prüft Datenschutz, Auftragsverarbeitung, Barrierefreiheit, und Informationssicherheit und berücksichtigt bzw. regelt diese jeweils, soweit erforderlich durch etwaige Konzepte, Vereinbarungen und Nachweise. Die Gesamtsteuerung für das Einholen dieser Konzepte und Nachweise liegt bei dem , welcher auf die Expert:innen innerhalb der Behörde zugeht und ggf. externe Beratung hinzuzieht.
Sicherheitsüberwachung und Notfallsteuerung
Der Agent wird gerade in der Anfangsphase besonders kritisch auf Störungen, fehlerhafte Agentenergebnisse oder Constraint bzw. Scope Violation überprüft. Notfall- und gegebenenfalls Abschaltprozesse werden vor dem Ersteinsatz definiert und erprobt. Zudem wird vom festgelegt, welche Vorfälle eine erneute Überprüfung des oder notwendig machen.
Umgang mit Sicherheitsvorfällen
Für den Fall von Sicherheitsvorfällen werden Prozesse vorgesehen, mit denen nachvollzogen werden kann, was passiert ist und welche Auswirkungen entstanden sind. Darauf aufbauend sind Maßnahmen zur Begrenzung des Schadens sowie zur Wiederherstellung und Rückgängigmachung der Auswirkungen einzuleiten.
Nachvollziehbarkeit
Ergebnis- und Verhaltensmonitoring
Der fachliche Zuständige für den prüft die Agentenergebnisse auf Auffälligkeiten, Ausreißer und . Zudem wird für die Nutzenden ein Meldekanal eingerichtet, über den diese Fehler und Auffälligkeiten melden können. Bei erkannten Fehlern erfolgen fachliche Nachkontrollen und eine entsprechende Dokumentation. Zudem werden die Mitarbeitenden für die dabei entdeckten Fehlerbilder sensibilisiert.
Konsistenz und Reproduzierbarkeit
Änderungen an Agenten, Modellen und Systemkomponenten werden versioniert und dokumentiert. Vor und nach wesentlichen Änderungen wird geprüft, ob sich fachlich oder rechtlich relevante Ergebnisse verändern.
Erklärbarkeit
Die Nutzenden setzen sich mit den Agentenergebnissen auseinander und können diese an relevanten Stellen nachvollziehen und überprüfen. Erfahrungen und Fragen aus dem Ersteinsatz können über bestehende Kanäle (z. B. Servicedesk) eingereicht werden. Der hält diese Fragen und Antworten in einer Wissensdatenbank im Rahmen des Wissensmanagements fest.
Nachvollziehbare Quellenbasis
Agentenergebnisse werden, soweit fachlich möglich, mit Quellenangaben und eindeutigen Dokument- bzw. Textreferenzen versehen. Dadurch können Sachbearbeitende die verwendeten Informationen gezielt überprüfen und die Ergebnisse fachlich einordnen.
Nutzungs- und Interaktionsmonitoring
Ein Kennzahlen- und Monitoringmodell zur Beobachtung von Nutzung und Wirkung des Systems wird entwickelt, um Unterstützungs- und Befähigungsbedarfe zu erkennen, Datennutzung zu monitoren und Wissensdatenbanken aufzubereiten. Dies kann in der Außenkommunikation genutzt werden, um die tatsächliche Nutzung und Akzeptanz sichtbar zu machen.