Kontroversen in Militärethik und Sicherheitspolitik
„Meaningful Human Control“ und Komplexe Mensch-Maschine-Gefüge – Zu den Grenzen ethischer KI-Prinzipien im Kontext autonomer Waffensysteme
Was evoziert der Begriff „autonome Waffensysteme“ (AWS)? Zumeist wird damit eine hochgradige Eigenständigkeit dieser Waffensysteme assoziiert. Die Steuerung militärischer Fahrzeuge (Drohnen, Panzer, U-Boote et cetera) ebenso wie die Identifikation, Auswahl und das Angreifen von Zielen werden als Prozesse vorgestellt, die Maschinen bzw. Computer „autonom“, das heißt ohne menschliches Zutun, vollziehen können. Ein Teil dieser Imaginationen von AWS ist das Versprechen, militärische Operationen durch die Autonomie schneller und präziser ausführen zu können, ohne dabei das Leben der eigenen Soldat:innen unnötig zu gefährden. Dem gegenüber stehen politische, moralische und (völker-)rechtliche Forderungen, hinreichende menschliche Kontrolle („Meaningful Human Control“) über diese Systeme zu ermöglichen und aufrechtzuerhalten, um Fehler und eine Dehumanisierung von Gegner:innen zu vermeiden. Dabei wird die Möglichkeit stillschweigend vorausgesetzt, Bediener:innen von AWS könnten bei der Entscheidung über Leben und Tod ihre Autonomie behaupten. Könne eine Meaningful Human Control nicht sichergestellt werden, werde ein Verbot von AWS notwendig. Was sowohl im technowissenschaftlichen Versprechen von AWS als auch in deren Kritik in der Regel außer Acht gelassen wird, ist, dass schon der Begriff der Autonomie problematisch ist – sowohl mit Bezug auf Menschen wie auf Maschinen.[1]
Autonomie
Kritische Positionen aus den Feminist Science & Technology Studies wie etwa von Lucy Suchman[2] oder Donna Haraway[3] verweisen seit den 1980er-Jahren darauf, dass Autonomie kein Attribut von Entitäten, sondern von Mensch-Maschine-Gefügen (Assemblagen) und der Effekt von Diskursen und materialen Praktiken ist. Gleichzeitig stellt sich die Frage der menschlichen Verantwortung in Mensch-Maschine-Gefügen mit verteilter soziomaterieller Wirkmächtigkeit. Denn Technologien sind materialisierte Figurationen, die ambivalent und uneindeutig sind. Und natürlich sind sie interpretationsbedürftig. Die Technikforscherin Charis Cussins etwa versteht Mensch-Maschine-Interaktionen als sich stetig wandelnde „Choreographien“[4]. Aber nicht nur die Interaktion zwischen Mensch und Maschine, sondern auch die Akteure selbst sind als instabil, als sich wandelnd zu denken, die sich im Nutzungsprozess beeinflussen und verändern. Neue Entwicklungen wie Machine Learning und Lernalgorithmen wiederum zeigen sehr deutlich, dass Maschinen bzw. Programme dynamisch und „adaptiv“ auf Nutzer:innen reagieren. Die sich selbst optimierenden Algorithmen, die Nutzungsprozesse im Allgemeinen sowie die durch Nutzer:innen in Echtzeit evozierten Adaptionen der Software als auch die Datenlagen verändern die Bedeutung und materiale Grundlage einer KI-basierten Maschine. Bedeutungszuschreibungen, materiale Grundlagen und technische Logiken dynamisieren sich im Prozess. Auch auf der Konstruktionsebene sind Technologien und Mensch-Maschine-Schnittstellen als dynamische Prozesse iterativer Materialisierung zu verstehen, in welchen bestimmte Normen und Werte verfestigt werden. Mensch und Maschine konstituieren sich über ihre Erfahrungen, Aneignungsstrategien, über in die Maschinen eingeschriebene Handlungsanweisungen bzw. Skripte[5] bzw. ihre „Grammatologie der Handlungen“[6] gegenseitig. Es gibt eine stetige Auseinandersetzung mit den Prozessen und Praktiken des bzw. der jeweils anderen. So wird gegenseitig soziomaterielle Wirkmächtigkeit (agency) hergestellt. Dieses Verständnis von Mensch und Maschine genauso wie die rapide technische Entwicklung in Richtung AWS unterminiert die sowohl dem Begriff AWS als auch dem einer Meaningful Human Control zugrunde liegende Konzeption von autonomen und strikt trennbaren Entitäten immer mehr: Erst durch die wechselseitige Übernahme spezifischer Regeln (zum Beispiel von Sprache) wird den Akteuren ihre Wirkmächtigkeit zuteil und es kommt zu einer gemeinsam erarbeiteten Verständigung, die kollaborativ und immer wieder in der jeweiligen kontextbasierten Interaktion entsteht – wobei diese „Verständigung“ nicht im empathischen Sinne, sondern als Auseinandersetzung zu verstehen ist.
Dabei sollte nicht aus dem Blick geraten, dass Menschen ganz anders als Maschinen kommunizieren: Eine Maschine gibt immer einen durch die Programmierung definierten Rahmen vor, in dem kommuniziert werden kann. Gleichzeitig sind diese Interpretationsräume mehrdeutig, in denen die Nutzer:innen aber auch mit Workarounds improvisieren können. Die Maschine kann das Verhalten des Menschen nur sehr eingeschränkt bzw. ausschnitthaft wahrnehmen und nur innerhalb dieses Rahmens interagieren: „The machines were tracking the user’s actions through a very small keyhole.“[7] Das bedeutet, dass das Verhältnis von Mensch und Maschine wechselseitig, asymmetrisch und dynamisch ist.
Die offene Frage bleibt, wie sich vor diesem Hintergrund die Verantwortlichkeit (responsibility) und Zurechnungsfähigkeit (accountability) des Menschen denken lässt, ohne dass das Verständnis einer Untrennbarkeit des Menschen vom soziomateriellen Netzwerk, durch das die Mensch-Maschine-Interaktion konstituiert wird, aufgegeben werden muss.
Schon im Drohnenkrieg arbeitet(e) man an der gezielten Verfolgung und Tötung von Personen – entweder nach einem Schema (signature strikes) oder mithilfe einer Tötungsliste. Auf der Basis von Überwachungs- und Trackingtechnologien – mit Data Mining und Machine Learning, Gesichtserkennungssoftware, Echtzeitverfolgung per Videosystemen auf Drohnen, Satellitenverbindungen etc. – werden Verdächtige als zentrale Knoten in „terroristischen“ Netzwerken als militärische Ziele produziert und eventuell auch getötet. Kontext und Situiertheit der Ziele werden dabei weitgehend ausgeblendet. Die Kategorisierung erfolgt über komplexe Mensch-Maschine-Assemblagen, deren performative Effekte komplex und schwer überschaubar sind, kaum als zurechenbar gelten können und deren skopische bzw. Sichtbarkeitsregime[8] spezifische (Un-)Sichtbarkeiten erzeugen. Das bedeutet, dass der fog of war – wie oft behauptet – nicht abnimmt, sondern zunimmt. Komplexe Mensch-Maschine-Gefüge machen es schwer, Verantwortlichkeiten zuzuordnen, besonders wenn die Entscheidung im Krieg in Sekundenbruchteilen stattfinden soll. In der Debatte zu AWS wird dieses Problem meist nur oberflächlich diskutiert.
Mit aktueller Drohnentechnologie und hoch automatisierten Entscheidungs-, Zielfindungs- und Tötungssystemen wird die Kontextualität von Technologien und die Komplexität von Mensch-Maschine-Assemblagen und die von Interfaces besonders bedeutsam und vor allem bekommt sie eine geopolitische Dimension, da ihr unregulierter Einsatz nicht zu mehr Präzision, Verantwortung oder Sicherheit, sondern vor allem zu reziproker Gewalt führt[9]. Generell ist es nicht einfach, die in Technik eingeschriebenen Normen und Werte sichtbar zu machen – bis heute gilt vielen Technik als neutral. Mit den neuen, hochkomplexen Systemen verkompliziert sich das Problem. Gerade die Behauptung, dass die Technologie „autonom“ agiere, verschleiert Designentscheidungen und Konstruktionsprozesse, aber zum Beispiel auch die Produktion und Auswahl der zugrunde gelegten Datenvolumen (die selten evaluiert werden). Wartungs- und Aktualisierungsprozesse und die dazugehörigen Infrastrukturen werden unsichtbar gemacht. Es ist völlig unklar, wie und vor allem ob im Zeitalter opaker, selbstlernender Algorithmen Konstruktionspraktiken und Interfaces für Konstrukteur:innen, Nutzer:innen und Betroffene transparent gemacht werden können. Die bis heute ungeklärte Frage ist, ob Prozesse und Effekte von „autonomen“ Mensch-Maschine-Assemblagen verstehbar und zurechnungsfähig werden können.[10]
Anstatt über die Probleme komplexer Mensch-Maschine-Gefüge nachzudenken − und darüber, ob es überhaupt Möglichkeiten einer Meaningful Human Control gibt, die mehr beinhaltet, als in letzter Sekunde auf einen grünen oder einen roten Knopf zu drücken −, sehen wir zunehmend ein Ausweichmanöver vonseiten der Großmächte, der Militärs, der Rüstungsindustrie und partiell der Technowissenschaften. Angesichts der Kritik an AWS verlegt man sich auf eine Rhetorik der sogenannten verantwortlichen KI („Responsible AI in the Military Domain“), wie wir sie auch aus anderen KI-Diskursen kennen. So findet sich mittlerweile in einer Reihe von Militärstrategien ein freiwilliges Bekenntnis zum Leitbild eines verantwortungsvollen, erklärbaren, verlässlichen und regierbaren Einsatzes von KI.[11]
Wie die Umsetzung solcher ethischen KI-Prinzipien im Kontext eines AWS aussehen kann und warum sie den komplexen Prozessen und Effekten von Mensch-Maschine-Assemblagen nicht gerecht werden, lässt sich am Beispiel des Future Combat Air System (FCAS) zeigen, das ab etwa 2040 den Kern der europäischen Luftstreitkräfte bilden soll.
Das Future Combat Air System
Die Entwicklung von FCAS findet derzeit im Rahmen eines transnationalen Projekts statt, in dem Deutschland, Frankreich, Spanien und Belgien kooperieren. FCAS bezieht sich indes nicht auf die Zukunftsvision eines einzelnen Waffensystems, sondern auf einen Verbund mehrerer Waffensysteme, der aus bestehenden Waffensystemen, aber auch aus Neuentwicklungen wie der Eurodrohne und insbesondere dem Next Generation Weapon System (NGWS) besteht. Das NGWS wiederum umfasst ein neues Kampfflugzeug, den Next Generation Fighter, Remote Carrier, die eine Reihe von Nutzlasten (sowohl Sensoren als auch Waffen) tragen, und eine digitale Infrastruktur, die alle Elemente des FCAS verbinden soll, die sogenannte Combat Cloud oder Multi Domain Combat Cloud.[12] Die Combat Cloud soll ein algorithmisches Entscheidungsunterstützungssystem enthalten, das ein schnelleres Durchlaufen des Observation-Orientation-Decision-Action-(OODA)-Zyklus ermöglichen würde.[13]
Eine weitere Besonderheit des Projekts ist die Institutionalisierung der Adressierung von ethischen und rechtlichen Fragen durch ein eigens dafür eingerichtetes Forum: die AG Technikverantwortung für ein FCAS. Die Arbeitsgruppe wurde 2019 vom deutschen Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie (FKIE) und Airbus Defence and Space gegründet und bringt Behörden wie das Bundesministerium der Verteidigung und das Auswärtige Amt, aber auch Akteure aus Wissenschaft, Thinktanks und kirchlichen Einrichtungen zusammen. Bislang ist das Forum die einzige institutionalisierte Form der ethischen Reflexion im Rahmen von FCAS. Trotz ihres Anspruchs, ethische Fragen im Namen des gesamten Projekts zu erörtern, ist die Arbeitsgruppe bisher allerdings eine rein deutsche Angelegenheit.
Vonseiten der Arbeitsgruppe wird ein gewisses Maß an technischer „Autonomie“ als unumgänglich angesehen, da FCAS ohne den hohen Automatisierungsgrad, den diese ermöglicht, in zukünftigen militärischen Konflikten mit schneller agierenden Gegnern und komplexeren Situationen ineffektiv und damit nutzlos wäre.[14] Für das FCAS bestehe jedoch die Möglichkeit, „to go for a European way that keeps the overall system under control of an informed, aware, and accountable human operator, which is equipped with means of control that are meaningful to the required and specified level“.[15] Was hier zum Ausdruck kommt, ist ein Verständnis menschlicher Autonomie, das eine Meaningful Human Control über das hochgradig automatisierte FCAS als prinzipiell möglich erscheinen lässt und zu ihrer Realisierung nur noch entsprechende Kontrollmittel benötige. Wie diese Mittel aussehen, lässt sich mit Blick auf den sogenannten Ethical AI-Demonstrator (E-AID) veranschaulichen.
Der E-AID simuliert die Anwendung von KI im FCAS in Form des Entscheidungsunterstützungssystems. Die Simulationen werden in enger Abstimmung mit der Bundeswehr in Form von Szenarien durchgeführt. Ziel sei es, anhand konkreter Beispiele ein realistisches Bild von den Möglichkeiten, Grenzen und ethischen Implikationen von KI im Verteidigungsbereich zu erhalten und einen ersten „Hands-on“-Schritt in Richtung einer „Ethics-by-Design“-Methodik zu machen, die dann in einen übergreifenden FCAS-Designprozess integriert werden könne.[16] Als Testumgebung soll der E-AID klären, welches Systemdesign am besten geeignet ist, um menschlichen Bediener:innen eine „reflektierte Unterstützung“ zu bieten, das heißt sie in die Lage zu versetzen, „ausgewogene und bewusste Entscheidungen“ über den Einsatz von KI-basierten Waffen zu treffen.[17] Im Rahmen des E-AID-Szenarios „Find Fix Track Application with AI for Automated Target Recognition“ besteht die Aufgabe in der Ausschaltung der gegnerischen Luftabwehr mithilfe von ferngesteuerten Drohnen, die mit Sensoren ausgestattet sind, welche Daten über die Positionen der gegnerischen Luftabwehr sammeln. Die Ergebnisse der automatischen Zielerkennung werden auf einem grafischen User-Interface angezeigt, das relevante Objekte hervorhebt und grundlegende Kontextinformationen liefert (zum Beispiel die Art des erkannten Fahrzeugs). Die leitende Frage in diesem Szenario ist, wie Aufgaben in einem beschleunigten Entscheidungszyklus an eine KI delegiert werden können, ohne gegen geltende militärische Einsatzregeln und ethische Richtlinien zu verstoßen. Abbildung 1 ist ein Screenshot dieser Mensch-Maschine-Schnittstelle des E-AID.[18] Der Screenshot zeigt eine Luftaufnahme, auf der mehrere Objekte identifiziert wurden, wobei jedem dieser Objekte eine Bezeichnung und ein korrespondierender Wahrscheinlichkeitswert zugewiesen wurde. In einem kleineren Browserfenster werden Details der identifizierten Objekte (ID1) vergrößert dargestellt. Mit einer Wahrscheinlichkeit von 83 Prozent handelt es sich bei dem Objekt um einen russischen Panzer SA22 (Pantsir-S1), der in dem gegebenen Szenario ein gegnerisches Waffensystem darstellt. Auf einem vergrößerten Bild sind zwei Details des Objekts durch rote Quadrate markiert und als „Kanone“ bzw. „Radar“ klassifiziert. Grüne Häkchen befinden sich hinter „RoE“ (Rules of Engagement) und „SIGINT“ (Signal Intelligence). Außerdem können mehrere Felder von den Benutzer:innen angeklickt werden, zum Beispiel „Bearbeiten“, „Überprüfen“ oder „Untersuchen“. Dieses Design ermögliche es den menschlichen Bediener:innen, nicht nur das ausgewählte Ziel zu bestätigen, sondern auch zu verstehen, warum dieses ausgewählt wurde.[19]
Im Folgenden werden wir zeigen, dass dieses Versprechen nicht eingelöst werden kann und eine Meaningful Human Control nicht gegeben ist. Die Möglichkeit für Nutzer:innen, Hintergrundinformationen zu den einzelnen Outputs des Systems zu erhalten, ist ein wesentliches Element des Ethics-by-Design-Ansatzes und soll sowohl die Vertrauenswürdigkeit des von der KI generierten Outputs als auch die Verantwortbarkeit und Nachvollziehbarkeit der menschlichen Entscheidungen gewährleisten. Wenn Benutzer:innen des Systems jedoch alle (oder zumindest viele) der möglichen Hintergrundüberprüfungen für alle (oder zumindest viele) der identifizierten Objekte durchführen (durch Klicken auf die entsprechenden Schaltflächen), gehen die Geschwindigkeitsvorteile der Automatisierung des OODA-Zyklus weitestgehend verloren. Verzichten Benutzer:innen hingegen auf diese Optionen, müssen sie dem System schlichtweg vertrauen.
Dies wäre umso problematischer, als dabei ein Vertrauensvorschuss gegeben wird, den das System gar nicht rechtfertigen kann. Denn es gibt keinen Grund für die Annahme, dass FCAS bei der Datenanalyse weniger fehleranfällig ist als andere AWS. Der einzige Unterschied besteht darin, dass den menschlichen Bediener:innen die Möglichkeit gegeben werden soll, diese fehlerhaften Empfehlungen nicht in eigene Taten umzusetzen − was eben nur auf Kosten der Performance des Gesamtsystems möglich ist. Trotz des Ethics-by-Design-Ansatzes gäbe es also einen Zielkonflikt zwischen menschlicher Verantwortung und der Effizienz des AWS. Noch grundlegender ist jedoch die Frage, inwieweit diese Hintergrundüberprüfungen menschliche Bediener:innen tatsächlich in die Lage versetzen würden, die Leistung des Systems zu verstehen. Oder anders ausgedrückt: Was bedeutet es, den Output eines algorithmischen Entscheidungsunterstützungssystems zu verstehen oder zu erklären?
Die Antwort auf diese Frage ist keineswegs einfach, und schon gar nicht für das vorliegende FCAS-Szenario. Reicht es aus, das Radar und die Kanone im vergrößerten Ausschnitt als Erklärung für die Einstufung als SA22 hervorzuheben? Wie soll der menschliche Bediener dann die Schlussfolgerung des Systems verstehen, dass es sich bei den im Bild gezeigten Details tatsächlich um ein Radar und ein Geschütz handelt oder − noch komplizierter − dass das Radar und das Geschütz zu einem SA22 gehören und nicht zu einem anderen Militärfahrzeug? Ein menschliches Verständnis dieser Ausgabe würde letztlich eine detaillierte Erläuterung der Datenverarbeitungsmethoden und der beteiligten Daten erfordern. Ob eine solche Erklärung allerdings tatsächlich „verständlich“ ist, hängt nicht zuletzt von der Komplexität der Algorithmen und dem Fachwissen der menschlichen Bediener:innen ab. Bei Algorithmen aus dem Bereich Maschinelles Lernen (die im FCAS eine entscheidende Rolle spielen werden) könnte selbst die Bereitstellung von Open-Source-Code und Trainingsdaten nicht ausreichen, um einen Output vollständig verständlich zu machen − insbesondere nicht für Endnutzer:innen aus dem Militär, die in der Regel Lai:innen in der Informatik sind. Werden darüber hinaus sogenannte Künstliche Neuronale Netze verwendet, was bei Bildverarbeitungsanwendungen wie der Zielerfassung häufig der Fall ist, sind selbst Expert:innen nicht in der Lage, die Funktionsweise des Systems im Detail zu verstehen. Daher wird ein KI-basiertes System wie das im E-AID vorgestellte selbst bei vollständiger Transparenz Probleme mit der Verantwortbarkeit und Rechenschaftspflicht verursachen.[20]
Ein weiteres entscheidendes Problem ist die Art und Weise, wie das algorithmische Entscheidungsunterstützungssystem Komplexität reduziert. Die in Abbildung 1 dargestellte Situation ist so konstruiert, dass nur zwei Fahrzeuge überhaupt sichtbar sind, die beide mit einer relativ hohen Wahrscheinlichkeit (83 und 79 Prozent) als Ziele eingestuft werden. Wenn es sich bei den Zielen jedoch nicht um militärische Fahrzeuge, sondern um menschliche Kämpfer:innen handeln würde, wäre es schwer vorstellbar, wie ohne ein tieferes Verständnis der Situation ein vertrauenswürdiger Output erzeugt werden kann, und noch mehr: wie der Output für menschliche Bediener:innen verständlich gemacht werden kann. Aber auch eine urbane Situation mit einer viel befahrenen Straße, auf der zahlreiche Fahrzeuge zu sehen sind, die sowohl zivil als auch militärisch sein können und im letzteren Fall sowohl zu den eigenen als auch zu den gegnerischen Truppen gehören können, stellt eine ganz andere Herausforderung als das gegebene Szenario dar. In diesem Fall stellt sich die Frage, ob alle Fahrzeuge automatisch klassifiziert und entsprechend präsentiert werden sollen oder ob eine automatische Vorselektion vorgenommen wird. Ab einer bestimmten Anzahl von Fahrzeugen und im Hinblick auf die notwendige Reduktion der Komplexität sowie den erhofften Geschwindigkeitsvorteil im OODA-Zyklus wäre die Situation wohl nur durch eine Vorselektion zu bewältigen. Daraus ergibt sich jedoch ein Folgeproblem:
Um eine für den menschlichen Operator überschaubare Anzahl möglicher Ziele zu generieren, muss eine willkürliche Entscheidungsschwelle festgelegt werden, die „wahrscheinliche Ziele“ von „unwahrscheinlichen Zielen“ trennt, von denen dann nur die oberhalb der Schwelle liegenden (die „wahrscheinlichen“) hervorgehoben werden. Diese Wahl ist jedoch nicht nur willkürlich, sondern wirkt sich auch auf die Genauigkeit des Systems aus: Wird der Schwellenwert niedrig angesetzt, werden mehr Objekte als „wahrscheinliche Ziele“ eingestuft, die in Wirklichkeit keine Ziele sind (falsch positive Ergebnisse); wird der Schwellenwert hoch angesetzt, werden mehr echte Ziele vom System nicht hervorgehoben (falsch negative Ergebnisse).[21] Je nach Kontext oder Anwendungsfall wählen die Systementwickler:innen oder -betreiber:innen einen Schwellenwert, den sie für angemessen halten.
Im nächsten Schritt muss der Output des Systems bewertet werden. An diesem Punkt wirkt sich die Festlegung des Schwellenwerts auch auf das menschliche Urteilsvermögen aus. Empirische Untersuchungen über den Einsatz algorithmischer Entscheidungssysteme[22] zeigen, dass die Benutzer:innen den Output der Systeme kaum infrage stellen und sogar dazu neigen, diese als unfehlbar zu betrachten und somit einem automation bias unterliegen. Laut Cummings[23] haben dessen Auswirkungen in der Interaktion mit automatisierten Entscheidungsunterstützungssystemen bereits zu mehreren tödlichen Entscheidungen beigetragen, unter anderem bei einem Einsatz des Patriot-Raketensystems der US-Armee, das 2004 während des Irakkrieges einen britischen Tornado und eine amerikanische F/A-18 abschoss.
Nach Parasuraman und Manzey[24] hängt die Voreingenommenheit bei der Automatisierung unter anderem vom Automatisierungsgrad ab. Sie kann nicht einfach durch Schulungen oder explizite Anweisungen zur Überprüfung der von einem System gegebenen Empfehlungen verhindert werden. Und sie kann die Entscheidungsfindung von Einzelpersonen wie auch die von Teams beeinflussen. Ein Mehraugenprinzip stellt also nicht per se eine Lösung dar. Im Falle von FCAS könnten metrische Wahrscheinlichkeitsberechnungen (83 Prozent!) diesen Effekt sogar noch verstärken, da sie Objektivität suggerieren.
Ein automation bias führt zu zwei Arten von Fehlern: Bei einem „Kommissionsfehler“ folgen die Benutzer:innen einer fehlerhaften Empfehlung eines automatisierten Entscheidungsunterstützungssystems. Übertragen auf das gegebene Szenario würde dies bedeuten, dass sie falsch positive Meldungen als richtig positive Meldungen betrachten, dementsprechend handeln und somit gegebenenfalls tödliche Entscheidungen treffen. Bei einem „Unterlassungsfehler“ übersehen die Benutzer:innen kritische Situationen, wenn diese vom System nicht erkannt werden. Übertragen auf das gegebene Szenario würde dies bedeuten, dass sie ein „echtes“ Ziel nicht zur Kenntnis nehmen, sondern sich nur auf die auf der Benutzeroberfläche hervorgehobenen „wahrscheinlichen“ Ziele konzentrieren – was ebenfalls tödliche Folgen (in diesem Fall für die eigenen Truppen) haben kann. Je nachdem, wie hoch der Schwellenwert angesetzt wird, sind entweder Unterlassungs- oder Begehungsfehler wahrscheinlicher. Es ist also das Zusammenspiel von Menschen und Algorithmen, das auf komplexe Weise „richtige“ oder „falsche“ Entscheidungen hervorbringt.
In Anbetracht der dargestellten Probleme – Qualität der Datengrundlage, Überprüfbarkeit der Schlussfolgerungen und Empfehlungen, Beeinflussung des Outputs durch arbiträre Schwellenwerte und die Wahrnehmungsbeeinflussung durch das System(design) – erscheint es unangemessen, die menschlichen Bediener:innen für die Folgen dieser potenziell tödlichen Fehler voll verantwortlich zu machen.
Das Beispiel FCAS macht damit zugleich deutlich, dass eine Meaningful Human Control komplexer Mensch-Maschine-Gefüge nicht möglich ist, wenn man gleichzeitig nicht bereit ist, auf die Vorteile der Beschleunigung durch zunehmende Automatisierung zu verzichten. Aber selbst wenn man dazu bereit wäre, scheint eine wirkliche Kontrolle der Entscheidung von KI-gestützten Entscheidungs-, Zielfindungs- und Tötungssystemen nicht realisierbar.
[1] Suchman, L. und Weber, J. (2016): Human-Machine Autonomies. In: Bhuta, Nehal et al. (Hg.): Autonomous Weapons Systems. Law, Ethics, Policy. Cambridge, S. 75-102.
[2] Suchman, Lucy (1987): Situated Plans and Actions. Das Problem der Mensch-Maschine-Kommunikation. Cambridge/New York.
[3] Haraway, D. (1985/dt. 1995): Ein Manifest für Cyborgs. Feminismus im Streit mit den Technowissenschaften. In: Dies.: Die Neuerfindung der Natur. Primaten, Cyborgs und Frauen. Frankfurt am Main, S. 33-72.
[4] Cussins, C. M. (1998): Ontological choreography: Agency for women in an infertility clinic. In: Berg, M. und Mol, A. (Hg.): Differences in medicine unraveling practices, techniques, and bodies. Durham, NC, S. 166–201.
[5] Akrich, M. (1992): The de-scription of technical objects. In: Bijker, Wiebe E. und Law, John (Hg.): Shaping technology/building society. Studies in sociotechnical change. Cambridge, S. 205-224.
[6] Agre, P. E. (1994): Surveillance and Capture: Two Models of Privacy. In: The Information Society 10 (2), S. 101–27.
[7] Suchman, Lucy (2007): Human-machine reconfigurations. Plans and situated action. Cambridge, S. 11.
[8] Gregory, Derek (2011): From a view to a kill. Drones and late modern war. In: Theory, Culture & Society 28 (7–8), S. 188-215.
[10] Vgl. auch Pentenrieder, A. und Weber, J. (2020): Lucy Suchman. In: Heßler, Martina und Liggieri, Kevin (Hg.): Technikanthropologie. Handbuch für Wissenschaft und Studium. Baden-Baden, S. 215-225. sowie Hälterlein, J. (2021): Epistemologies of predictive policing: Mathematical social science, social physics and machine learning. In: Big Data & Society 8 (1). journals.sagepub.com/doi/epdf/10.1177/20539517211003118.
[13] Klauke, S. (2021): Multi-Domain Combat Cloud – Infrastruktur und Innovationstreiber für europäische Wettbewerbsfähigkeit. In: Lichtenthaler, U. (Hg.): Künstliche Intelligenz erfolgreich umsetzen. Wiesbaden, S. 15-39.
[14] Koch, W. und Keisinger, F. (2020): Verteidigung und Verantwortung: Nutzung neuer Technologien in einem „Future Combat Air System“. In: Behördenspiegel 36 (4), S. 44.
[15] Azzano, M. et al. (2021): The Responsible Use of Artificial Intelligence in FCAS: An Initial Assessment. White Paper, S. 9.
[17] Koch, W. (2022): Elements of an Ethical AI Demonstrator for Responsibly Designing Defence Systems. In: 25th International Conference on Information Fusion (FUSION): Linköping, Sweden, 4 - 7 July 2022, S. 1–8, S. 5.
[21] Weber, J. (2016): Keep adding. On kill lists, drone warfare and the politics of databases. In: Environment and Planning D. Society and Space 34 (1), S. 107-125; Hälterlein, J. (2023): Facial Recognition in Law Enforcement. In: Borch, C. und Pardo-Guerra, J. P. (Hg.): The Oxford Handbook of the Sociology of Machine Learning. doi.org/10.1093/oxfordhb/9780197653609.013.25.
[22] Skitka, L. J., Mosier, K. L. und Burdick, M. (1999): Does automation bias decision-making? In: International Journal of Human-Computer Studies 51 (5), S. 991-1006.
[23] Cummings, M. L. (2015): Automation Bias in Intelligent Time Critical Decision Support Systems. In: Harris, D. und Li, W.-C. (Hg.): Decision Making in Aviation. London, S. 289-294. https://doi.org/10.4324/9781315095080-17.
[24] Parasuraman, R. und Manzey, D. H. (2010): Complacency and Bias in Human Use of Automation: An Attentional Integration. In: Human Factors 52 (3), S. 381-410.
Jens Hälterlein ist Wissenschaftlicher Mitarbeiter am Institut für Medienwissenschaften der Universität Paderborn. Er forscht im Rahmen des Projekts „Meaningful Human Control. Autonome Waffensysteme zwischen Regulation und Reflexion“ und koordiniert das Kompetenznetzwerk zusammen mit Jutta Weber. Zuvor hat er das Projekt „KI und Zivile Sicherheit“ geleitet und in mehreren Projekten zu Sicherheitstechnologien geforscht.
Jutta Weber ist Technikforscherin und Professorin für Mediensoziologie am Institut für Medienwissenschaften der Universität Paderborn. Ihre Forschung analysiert die Verschränkung von menschlichen Praktiken und maschinellen Prozessen, vor allem im Bereich künstliche Intelligenz und Robotik. Aktuell leitet sie zwei BMBF-Forschungsverbünde: „‚Being Tagged‘: Die digitale Neuordnung der Welt“ (Ubitag) sowie „Meaningful Human Control. Autonome Waffensysteme zwischen Regulation und Reflexion“ (MEHUCO). Sie war Gastprofessorin an den Universitäten Uppsala, Twente, Wien und weiteren Universitäten.
