Rechtliche, ethische und strategische Grundsätze

Im Zielbild agiert eine agentische Verwaltung in vielen Bereichen anders als heute. Auch die interne und externe Wahrnehmung des staatlichen Handelns ändert sich. Dabei gelten weiterhin die rechtlichen und ethischen Prinzipien des Grundgesetzes:

Gesicherte Rechtsstaatlichkeit

Grundlage agentischen Verwaltungshandelns ist die geltende Norm. Agentische KI-Systeme müssen diese als nicht überschreitbare Grenze berücksichtigen.1 Dabei sind autonome Entscheidungen weiterhin einer verantwortlichen Behörde zugerechnet.2 Niemand darf durch Scoring, Verhaltensprognosen oder Verzerrungen in Trainingsdaten von Leistungen ausgeschlossen werden. Daten werden nur für die Zwecke genutzt, für die eine gesetzliche Grundlage oder Einwilligung besteht. Betroffene erfahren Entscheidungsgrundlagen und können Rechtsschutz in Anspruch nehmen.3 Etwaige Fehler in Verfahren sollen durch geeignete Risikomanagementsysteme erkannt und korrigiert werden.

• Einordnung: Wir nehmen an, dass der zukünftige Rechtsrahmen nicht mehr dem Status quo entsprechen wird. Eine agentische Verwaltung, die ihr Potenzial voll ausschöpft, ist darauf angewiesen, dass beispielsweise im Verwaltungsverfahrensgesetz (insb. §35a VwVfG) sowie den entsprechenden Fachgesetzen ein gesicherter, aber flexiblerer Handlungsrahmen (als heute) für den automatisierten Erlass von Verwaltungsakten geschaffen wird. Hierzu laufen bereits entsprechende Arbeiten (u. a. mit Blick auf § 35a VwVfG).

Demokratische Kontrolle

Agentenregister, Protokollierung und Nachvollziehbarkeit erlauben eine Transparenz behördlicher Prozesse, die es Parlamenten, Aufsichtsbehörden und Gerichten ermöglicht den Einsatz agentischer KI und dessen Ergebnisse jederzeit nachträglich überprüfen zu können. Agenten handeln nur im zugewiesenen Mandat. Auch Orchestrierung über föderale Ebenen hinweg kann nicht eigenmächtig zu verschobenen Zuständigkeiten führen. Ebenso wird die Gewaltenteilung, wo relevant, berücksichtigt.

Zugang für alle

Der Zugang zu Verwaltungsleistungen muss für alle diskriminierungs- und barrierefrei offen stehen. Das gilt auch im Kontext der Nutzung agentischer Systeme. Wer digitale Zugänge nicht nutzen kann oder will, behält denselben Zugang zu Recht und Leistung.

Flankierend dazu gibt es strategische Grundsätze, die bei der Einführung agentischer KI-Systeme zu beachten sind:

Digitale Souveränität

Der Staat behält die Kontrolle über Daten, Modelle, Werkzeuge, Verfahren sowie Betrieb und verfügt über eigene Kompetenzen zur Steuerung und zum Wechsel eingesetzter Lösungen. Die Handlungsfähigkeit der Verwaltung ist auch dann gesichert, wenn einzelne Anbieter oder deren Angebote ausfallen.

Sicherheit und Resilienz

Die Sicherheit und Resilienz agentischer Systeme ist Grundvoraussetzung ihres Einsatzes. Ihre Implementierung erfolgt auf Basis einer umfassenden staatlichen Sicherheitsarchitektur, die sowohl endogene (u. a. Rechte-Akkumulation, Halluzinationen) als auch exogene (u. a. Prompt Injection, Datenabfluss) Risiken adressiert. Agenten lassen sich jederzeit stoppen. Definierte Rückfallebenen stellen zudem sicher, dass die Verwaltung auch bei Ausfall oder Fehlverhalten eines Systems oder Agenten handlungsfähig bleibt.

Nachhaltigkeit

Der Einsatz agentischer KI-Systeme folgt grundsätzlich den übergreifenden Zielen der ökologischen, ökonomischen und sozialen Nachhaltigkeit. Im Kontext agentischer KI-Systeme sind die ressourcenschonende, nachhaltige Bereitstellung von Rechenkapazitäten4, ein ökonomischer Token-Verbrauch, oder zentralisierte Ansätze für Beschaffung, Betrieb und Schulungen beispielhafte Ansätze. Der Einsatz agentischer KI sollte in der Regel nur dann vorgesehen werden, wenn er kosteneffizienter ist als eine manuelle oder anderweitig digitale Abbildung. Grundsätzlich ist auf effektiven und effizienten Ressourceneinsatz zu achten.