Entscheiden, was KI-Agenten dürfen

Was ein KI-Agent darf

Ein KI-Agent darf nur das tun, was die Behörde festgelegt hat. Es gibt für jeden KI-Agenten eine genaue Beschreibung, ein Agentenmandat. Darin steht zum Beispiel:

• Welche Aufgabe der KI-Agent hat.
• Was er nicht tun darf.
• An welchen Stellen ein Mensch zustimmen muss.
• Welche Systeme und Programme er verwenden darf.
• Welche Daten er nutzen darf.

Wie viel KI-Agenten allein tun dürfen

Wie viel ein KI-Agent selbst tun darf, hängt vom Risiko ab.

Bei wichtigen Entscheidungen kontrollieren Menschen die KI-Agenten besonders streng. Die KI-Agenten machen dann oft nur Vorschläge und ein Mensch entscheidet.

Wichtige Entscheidungen sind Entscheidungen mit viel Risiko. Dazu gehören zum Beispiel Entscheidungen, die jemandem schaden können.

Bei Entscheidungen mit wenig Risiko darf der KI-Agent mehr selbst machen. Das gilt zum Beispiel, wenn kein Schaden entstehen kann und die Entscheidung sich später wieder ändern lässt.

Wer verantwortlich ist

Die Behörde ist verantwortlich für alles, was ihre KI-Agenten tun. Für jeden KI-Agenten ist festgelegt, wer in der Behörde für ihn zuständig ist. Die Behörde hält außerdem fest, wer etwas geprüft oder freigegeben hat.

Menschen können eingreifen

Die technischen Systeme müssen so gebaut sein, dass Menschen an festgelegten Stellen eingreifen können.

Die Beschäftigten müssen Fehler erkennen und korrigieren können. Dafür brauchen sie Grundwissen über die KI-Agenten. Sie müssen aber nicht alle technischen oder rechtlichen Einzelheiten kennen.