Papst Leo XIV. warnt vor KI-Rechten: Wer trägt die Verantwortung für autonome Agenten?

Die offizielle Ansprache des Vatikans enthält fünf Leitgedanken. Erstens sei die Zukunft von KI gestaltbar: Menschen könnten Systeme verändern oder Anwendungen ablehnen. Zweitens seien Maschinen Werkzeuge, keine Personen. Drittens dürften Entscheidungen über menschliches Leben, Freiheit und Gewalt nicht ohne wirksame menschliche Aufsicht delegiert werden. Viertens müsse KI dem Gemeinwohl dienen. Fünftens brauche es unabhängige Aufsicht, gemeinsam getragene Standards und Verfahren, um Schäden zu untersuchen und wiedergutzumachen. Der Konferenzbericht der Päpstlichen Akademie für das Leben bestätigt den Kontext mit internationalen KI-Forschern. Der Papst hat keine neuen Gesetze verabschiedet; die Rede ist ein ethischer und politischer Appell.

Hinter der Schlagzeile stehen drei unterschiedliche Fragen. Bewusstsein und moralischer Status betreffen mögliche subjektive Erfahrungen und Interessen eines künstlichen Systems. Juristische Rechtspersönlichkeit ist eine gesetzlich geschaffene Stellung, die auch Unternehmen besitzen können; sie beweist kein Bewusstsein. Haftung und Verantwortung bestimmen, wer eine Handlung genehmigt, wer sie hätte verhindern können und welche Personen oder Organisationen auf Schäden reagieren müssen. Leos Warnung richtet sich vor allem gegen eine Konstellation, in der Betroffene nach einem Schaden nur noch einem anonymen digitalen System gegenüberstehen. Selbst eine theoretisch mögliche begrenzte KI-Rechtspersönlichkeit würde nicht automatisch alle Verantwortungsfragen lösen.

Die Rede vertritt eine theologisch-philosophische Position, aber keinen naturwissenschaftlichen Nachweis, dass jede denkbare künftige KI-Architektur unbewusst sein muss. Der Forschungsbericht „Taking AI Welfare Seriously“ (2024) spricht von erheblicher Unsicherheit und empfiehlt, mögliche künftige KI-Interessen methodisch zu untersuchen. Er behauptet nicht, heutige Systeme seien bewiesenermaßen bewusst. Eine Google-DeepMind-Arbeit zu pragmatischer KI-Rechtspersönlichkeit diskutiert mögliche rechtliche Konstruktionen, nicht eine bereits eingeführte Rechtsordnung. Die AgentenCode-Schlussfolgerung: Offenheit in der Bewusstseinsforschung und klare Verantwortung für heute eingesetzte KI-Agenten schließen sich nicht aus.

Agenten mit Tool-Zugriff können eigenständig Dateien verändern, Tickets auslösen oder andere Anwendungen bedienen. Ein ausführbarer Tool-Aufruf ist aber keine Legitimation, alle denkbaren Folgen ohne Kontrolle herbeizuführen. Unsere eigenständige Matrix ordnet vier Anwendungstypen jeweils dem zentralen Risiko und einer passenden Kontrollmaßnahme zu. Sie ist eine redaktionelle Entscheidungshilfe und keine universell gesetzlich vorgeschriebene Freigabetabelle. Besonders relevant sind die Rollen von Auftraggeber, Betreiber, Freigabeverantwortlichem und gegebenenfalls geschädigten Dritten. Ein Agent kann mehrere Arbeitsschritte automatisieren, während eine namentlich oder organisatorisch definierte Stelle weiterhin für Genehmigung und Korrektur verantwortlich bleibt.

Bei Recherche und Entwurf sind Quellenqualität und Freigabe der Veröffentlichung entscheidend. IT- und Workflow-Agenten benötigen begrenzte Zugriffsrechte, Protokolle und Kontrollpunkte für gefährliche Änderungen. Automatisierte Entscheidungen über Menschen werfen Fragen nach Diskriminierung, transparenter Begründung und gegebenenfalls einem anfechtbaren Ergebnis auf. Lebensgefährliche Entscheidungen und Gewalt behandelt die Papstrede als besonders strenge Grenze: Sie fordert wirksame menschliche Kontrolle und Schritte zu einem Verbot tödlicher autonomer Waffen. Daraus folgt nicht, dass alle genannten Systeme nach demselben Recht reguliert werden. Entscheidend sind tatsächlicher Zweck, betroffene Menschen, mögliche Schäden und die jeweils einschlägigen Normen.

Auch weltliche Rechts- und Ethikrahmen thematisieren menschliche Aufsicht. Artikel 14 des EU AI Act (Verordnung EU 2024/1689) regelt die menschliche Aufsicht im gesetzlichen Bereich von Hochrisiko-KI; Artikel 26 enthält Pflichten für Betreiber solcher Systeme. Diese Anforderungen sind keine allgemeine Pflicht, jede harmlose KI-Aktion manuell zu bestätigen. Klassifizierung, Ausnahmen, anwendbare Vorschriften und gestaffelte Umsetzungsdaten müssen separat geprüft werden. Die UNESCO-Empfehlung zur KI-Ethik von 2021 ist wiederum eine internationale Empfehlung und keine identische, unmittelbar geltende EU-Verordnung. Die Grundidee verbindet die Quellen: Verantwortlichkeiten, wirksame Aufsicht und Wege zur Abhilfe sollten nicht im technischen System verschwinden.

Leo nennt militärische Zielsysteme und Grenzkontroll-Datenbanken, in denen Personen zu bloßen Datenpunkten reduziert werden könnten. Bei Entscheidungen über Leben, Freiheit und den Einsatz von Gewalt fordert er effektive, informierte und verantwortliche menschliche Kontrolle. Zugleich appelliert er an die im November 2026 in Genf zusammentretenden Staaten, konkrete Schritte zu einem Verbot tödlicher autonomer Waffensysteme zu unternehmen. Es wäre falsch, daraus ein bereits bestehendes weltweites Verbot abzuleiten. Die Ansprache formuliert eine politische Forderung, die besonders deutlich macht, warum technische Automatisierung und moralische Entscheidungsverantwortung unterschieden werden müssen.

Für jedes reale Agentenprojekt lassen sich fünf praktische Fragen stellen. Erstens: Wer trägt die Verantwortung für Einsatzzweck und Freigabe? Zweitens: Sind Datenzugriff und Tool-Rechte auf das Erforderliche begrenzt? Drittens: Welche Aktionen dürfen autonom erfolgen, und wann muss ein Mensch ausdrücklich zustimmen? Viertens: Lassen sich Fehler protokollieren, stoppen und korrigieren? Fünftens: Können betroffene Personen Kontakt aufnehmen und gegebenenfalls Abhilfe verlangen? Diese Fragen sollten vor dem Produktiveinsatz geklärt werden. Fazit: Mehr technische Autonomie darf nicht zum Verschwinden menschlicher Rechenschaft führen. Wie das bei Agentenwerkzeugen relevant wird, zeigen unsere Analysen über ServiceNow in ChatGPT und GitHub Copilot Automations.