„Meaningful Human Control“ und Komplexe Mensch-Maschine-Gefüge – Zu den Grenzen ethischer KI-Prinzipien im Kontext autonomer Waffensysteme

Die Verwendung des Begriffs „Autonomie“ im Zusammenhang mit Systemen, die Ziele weitgehend ohne menschliches Zutun identifizieren und bekämpfen können, ist problematisch. Imaginierten Vorteilen solcher „autonom“ agierender Waffensysteme (AWS) wie gesteigerte Geschwindigkeit und Präzision steht die Vorstellung von AWS-Kritiker:innen gegenüber, durch eine bedeutsame menschliche Kontrolle (Meaningful Human Control) lasse sich die menschliche Autonomie im Umgang mit diesen Konstrukten sicherstellen.

Dieses Verständnis haben die Feminist Science and Technology Studies mittlerweile widerlegt. Technologien allgemein, erst recht für KI-basierte und von lernenden Algorithmen gesteuerte Maschinen, sind als hochgradig dynamische Mensch-Maschine-Gefüge zu verstehen, die sich im Interaktionsprozess laufend „aufeinander einstellen“ und als Ganzes soziomaterielle Wirkmächtigkeit generieren. Bereits in der Praxis gezielter Tötungen im sogenannten Drohnenkrieg zeigte sich die Komplexität solcher Gefüge, die alles andere als „wertneutral“ und transparent agieren und Verantwortlichkeitszuschreibungen erschweren. Anstatt eine Problemanalyse vorzunehmen, propagieren interessierte Kreise mittlerweile das Leitbild einer erklär- und verantwortbaren KI.

Dies gilt auch für hoch automatisierte europäische Mehrnationenprojekt Future Combat Air System (FCAS). Wie hier menschliche Kontrolle und Verantwortlichkeit sichergestellt werden sollen, lässt sich mit Blick auf den sogenannten Ethical AI-Demonstrator veranschaulichen. Die Analyse einer Abbildung der Mensch-Maschine-Schnittstelle mit einem entsprechenden Szenario verdeutlicht zentrale Probleme – vom Zielkonflikt zwischen menschlicher Verantwortung und Effektivität des AWS über die mangelnde Nachvollziehbarkeit der Systemleistung bis hin zur menschlichen Voreingenommenheit gegenüber Systemempfehlungen („automation bias“). Ohne Verzicht auf Beschleunigungsvorteile der Automation erscheint sowohl eine Verantwortungszuschreibung als auch das gesamte Konstrukt effektiver menschlicher Kontrolle nicht realisierbar.