Zum Hauptinhalt springen

Zuverlässigkeitsstandards für (autonome) Waffen: Der Mensch bleibt relevant

Einige Kritikerinnen und Kritiker autonomer Waffensysteme (AWS) und des militärischen Einsatzes von künstlicher Intelligenz (KI) vertreten den Standpunkt, dass derartige Systeme zu unzuverlässig seien, als dass ihr Einsatz moralisch vertretbar wäre oder rechtlich gestattet werden dürfe. Besonders häufig äußern sie Bedenken bezüglich des Unterscheidungsprinzips: KI-gestützte und autonome Waffen seien wahrscheinlich nicht in der Lage, zuverlässig zwischen Kombattanten und Nichtkombattanten oder zwischen rechtmäßig angreifbaren Kombattanten und jenen, die hors de combat (und somit vor Angriffen geschützt) sind, zu unterscheiden. Dieser Einwand weist jedoch zahlreiche Schwächen auf; die schwerwiegendsten bestehen darin, dass 1) Zuverlässigkeit als einfache Messgröße behandelt wird, die auf simple Weise abgeleitet werden kann, 2) kontext- und nutzerabhängige Faktoren, die sich stark auf unser Verständnis und unsere Bewertung von Zuverlässigkeit auswirken, nicht berücksichtigt werden und 3) grundsätzlich außer Acht gelassen wird, dass „Zuverlässigkeit“ je nach Anwendungsfall oder Benutzerin/Benutzer unterschiedlich definiert werden kann. Anstatt also die Frage zu stellen, ob ein System simpliciter zuverlässig ist, sollten wir eher fragen, ob ein System zuverlässig für Aufgabe X ist, wenn es von Y verwendet wird. Bei dieser differenzierteren Betrachtungsweise stellen wir fest, dass Zuverlässigkeitsbewertungen weniger für pauschale Schlussfolgerungen über diese oder jene autonome und KI-gestützte Waffe taugen, sondern vielmehr als kontextbezogene Leitlinien für eine zulässige, effektive und verantwortungsvolle Nutzung solcher Systeme. Diese „Rekalibrierung“ der Zuverlässigkeitsdebatte zielt darüber hinaus auf eine umfassendere Bewertung zulässiger (Einsätze von) Waffen im Krieg.

Das Argument der (Un-)Zuverlässigkeit

Waffen, die im Krieg eingesetzt werden, müssen grundlegende Anforderungen hinsichtlich ihrer Berechenbarkeit und Zuverlässigkeit erfüllen[1], wobei das Humanitäre Völkerrecht (im Folgenden HVR; engl. International Humanitarian Law, IHL) klarstellt, dass Staaten auch die Verantwortung tragen, alle neu entwickelten Waffen auf angemessene Weise zu testen und somit sicherzustellen, dass sie mit dem HVR in Einklang stehen.[2] Zur Veranschaulichung soll hier das Thema Zuverlässigkeit betrachtet werden, und zwar mit Bezug auf eines der grundlegenden Prinzipien des HVR: das Unterscheidungsprinzip. Unterscheidung meint hier das Auseinanderhalten von legitimen Zielen (militärische Objekte sowie Kombattanten, die nicht hors de combat sind) und illegitimen Zielen (zivile Objekte, Nichtkombattanten sowie Kombattanten, die hors de combat sind), was bedeutet, dass Angriffe ausschließlich auf Erstere erlaubt sind. Diese Differenzierung lässt keine Angriffe zu, die eindeutig auf geschützte Personen oder Gegenstände gerichtet oder „unterschiedslos“ sind, wobei „unterschiedslose Angriffe“ als solche definiert werden, die „nicht gegen ein bestimmtes militärisches Ziel gerichtet werden“ oder „bei denen Kampfmethoden oder -mittel angewendet werden, die nicht gegen ein bestimmtes militärisches Ziel gerichtet werden können“ oder „bei denen Kampfmethoden oder -mittel angewendet werden, deren Wirkungen nicht entsprechend den Vorschriften dieses Protokolls begrenzt werden können“[3].

Dieses Verständnis von „unterschiedslosen Angriffen“ stellt autonome und KI-gestützte Systeme, die unzuverlässig oder unberechenbar sein können, vor ein Problem. Denn wenn diese Waffen in erheblichem Maße unzuverlässig oder unberechenbar sind, dann ist es nur schwer vorstellbar, wie es überhaupt gelingen soll, sie „gegen ein bestimmtes militärisches Ziel“ zu richten; zugleich werden Bedenken aufgeworfen, AWS könnten Kampfmittel darstellen, die nicht wie gefordert gegen ein bestimmtes militärisches Ziel gerichtet und deren Auswirkungen nicht begrenzt werden können. Die größte Sorge vieler AWS-Kritikerinnen und ‑Kritiker lautet, dass die Verwendung unzuverlässiger oder unberechenbarer AWS geschützten Personen erheblichen Schaden zufügen könnte, und zwar in einer Weise, die das Prinzip der Unterscheidung – einen zentralen Grundsatz sowohl der Kriegsethik als auch des HVR – untergraben könnte.[4]

Die potenzielle (Un-)Zuverlässigkeit von AWS wirkt sich auch auf eine Vielzahl anderer Grundsätze für das Verhalten im Krieg aus, aber aus Zeit- und Platzgründen beschränke ich mich an dieser Stelle auf das Unterscheidungsprinzip. Wie ich jedoch im Folgenden argumentieren werde, wirken sich die Unzuverlässigkeit oder Unberechenbarkeit autonomer und KI-gestützter Systeme zwar in der Tat darauf aus, wie, wann, wo und auf welche Weise diese Waffen eingesetzt werden können; sie lassen jedoch keine umfassenden oder allgemeingültigen Schlussfolgerungen über solche Waffen zu. Des Weiteren, und das ist noch wichtiger, werde ich aufzeigen, dass keine angemessenen Zuverlässigkeitsbewertungen möglich sind, ohne zu berücksichtigen, wer ein System nutzt und in welchem Kontext dies geschieht. Alles in allem werden meine Beobachtungen darauf hinauslaufen, dass wir weder eine „sterile“ Bewertung von Zuverlässigkeit unter kontrollierten Laborbedingungen vornehmen noch die Zuverlässigkeit von Maschinen bei der Ausführung bestimmter Aufgaben direkt mit der Zuverlässigkeit von Menschen vergleichen können. Vielmehr müssen stets die soziotechnischen Aspekte des Einsatzes autonomer Waffen beachtet werden, und die Zuverlässigkeit von Menschen, die AWS verwenden, muss mit jener von Menschen, die mit traditionellen, nicht autonomen Systemen arbeiten, verglichen werden.

Zuverlässigkeit als kontextabhängige Größe

Alle im Krieg zum Einsatz kommenden Waffen durchlaufen eine (obligatorische) Prüfungs- und Bewertungsphase (engl. testing and evaluation, kurz: T&E), in der Fachleute aus Ingenieurwesen, Konstruktion, Programmierung, Militär usw. entscheiden, ob bestimmtes militärisches Gerät zuverlässig genug ist, um wirkungs- und verantwortungsvoll im Feld eingesetzt zu werden.[5] Das Ergebnis einer strengen T&E ist in der Regel eine Reihe detaillierter Bewertungen der Funktionsweise eines Systems, möglicher Ausfälle oder Fehlfunktionen sowie der erwarteten (und erwartbaren) Zuverlässigkeit im Einsatz vor Ort.[6] Nun könnte man annehmen, dass sich die Zuverlässigkeit eines Systems in Form einer simplen Punktezahl darstellen lässt, die etwa die Häufigkeit oder Wahrscheinlichkeit einer Systemstörung bei Verwendung für einen generischen Vorgang anzeigt, also vereinfacht ausgedrückt, dass sich Zuverlässigkeit mit einer einfachen Bewertung von 0 bis 1 darstellen ließe, wobei 0 bedeutet, dass das System nie ordnungsgemäß funktioniert, und 1, dass nie ein Ausfall erwartet wird. Bei näherer Betrachtung wird jedoch klar, dass es ein solch unkompliziertes Ergebnis einer T&E nicht geben kann.

Nehmen wir der Einfachheit halber an, wir würden eine Prüfung eines Gewehrs durchführen, um dessen Zuverlässigkeit zu bestimmen, wobei „Zuverlässigkeit“ sich in diesem Fall lediglich darauf bezieht, wie oft das Gewehr voraussichtlich Ladehemmung hat. Auf den ersten Blick scheint es sich hierbei um die „sterilstmögliche“ Form der Zuverlässigkeitsbewertung zu handeln, bei der so gut wie keine störenden Faktoren, die einer einfachen 0:1-Bewertung im Wege stehen könnten, eine Rolle spielen. Dennoch sollte offensichtlich sein, dass sich selbst in diesem Szenario keine einfache Aussage darüber treffen lässt, ob das Gewehr simpliciter ein bestimmtes Maß an Zuverlässigkeit aufweist. Grund dafür ist, dass ein Gewehr, das unter Laborbedingungen äußerst zuverlässig funktioniert, durchaus (aufgrund von Umwelteinflüssen) an Zuverlässigkeit einbüßen kann, wenn es im Feld abgefeuert wird. Zudem sind nicht alle Einsatzbedingungen gleich. So ist zu erwarten, dass ein Gewehr, wenn es in Wäldern gemäßigter Breiten verwendet wird, weniger häufig Ladehemmung hat als beim Einsatz in tropischen Wäldern, dort wiederum weniger häufig als in Sumpfgebieten, und dort vermutlich immer noch seltener als in einer Sandwüste. Einfach gesagt: Der Ort, an dem ein bestimmtes militärisches Gerät genutzt wird (das Wo), hat genauso viel Einfluss auf dessen Zuverlässigkeit wie seine grundlegende Natur (das Was).

Darüber hinaus gibt es einige Systeme, die zwar im Durchschnitt weniger zuverlässig, in speziellen Umgebungen allerdings zuverlässiger sind. In der Tat konzentrieren sich Forschung und Konstruktion zu erheblichen Teilen genau darauf: Universell einsetzbare Waffen und Gefechtssysteme statten Militärs mit breiten Fähigkeiten aus, aber es besteht auch großer Bedarf an Spezialgerät, das für bestimmte Gefechtssituationen ausgelegt und für die Bewältigung der damit einhergehenden speziellen Herausforderungen nützlich ist. Zuverlässigkeit ist also nicht allgemein bestimmbar. Vielmehr ist sie notwendigerweise kontextabhängig: Jede Gefechtssituation wirkt sich auf die Zuverlässigkeit einer Waffe oder eines Systems aus. Darüber hinaus können auch stark örtlich begrenzte oder vorübergehende Bedingungen Einfluss auf die Zuverlässigkeit haben. So ist es keine Seltenheit, dass ein System, das noch eine Stunde zuvor äußerst zuverlässig seinen Dienst tat, mit einem Mal extrem unzuverlässig wird, beispielsweise aufgrund eines Sand- oder Schneesturms oder starken Windes. All diese möglichen – zwingend kontextabhängigen – plötzlichen Schwankungen der Zuverlässigkeit eines Systems zeigen, dass ein weit gefasster Begriff der „Systemzuverlässigkeit“ dazu verleiten kann, trügerisches Vertrauen in ein System zu fassen. Anstatt uns an pauschalen Zuverlässigkeitsbewertungen abzuarbeiten, müssen wir die Bedeutung des Kontexts ebenso anerkennen wie jene des menschlichen Bedienpersonals, das nicht bloß auf die Zuverlässigkeit eines Systems reagiert, sondern dessen Zuverlässigkeit durch verantwortungsbewussten Einsatz formt und fördert.[7] Dies gilt für alle Waffen und Plattformen, die im Krieg eingesetzt werden, seien es Gewehre, Panzer, Luftfahrzeuge oder die neuartigen autonomen und KI-gestützten Systeme, die moderne Streitkräfte zunehmend einsetzen.

Zuverlässigkeit, (Un-)Berechenbarkeit und Fehlverhalten

Wenn wir weniger ein breites Verständnis von „Systemzuverlässigkeit“ und eher eine spezifischere, kontextbezogene Betrachtungsweise anlegen, die sowohl die Anwendungsumgebungen als auch diejenigen, die autonome Waffensysteme einsetzen, in den Blick nimmt, zeigt sich schnell, dass Zuverlässigkeit eng mit Berechenbarkeit verknüpft ist. Dies hat bedeutende Auswirkungen, da Berechenbarkeit recht direkt mit jenen Individuen verknüpft ist, die diese Berechnungen anstellen. Nehmen wir ein Beispiel aus dem Alltag: Das Verhalten eines bestimmten Hundes mag für seinen Besitzer einfach berechenbar sein, für jemanden, der mit diesem Hund nicht vertraut ist, hingegen völlig unberechenbar.[8] Nun könnte man dieses Beispiel für unfair halten, da biologische Organismen weitaus komplexer und schwerer berechenbar sind als Artefakte. Tatsächlich kann man sich aber beliebig viele komplexe, von Menschenhand geschaffene Artefakte vorstellen, die aus zahlreichen zusammenwirkenden Teilen bestehen und die je nachdem, wer eine Vorhersage trifft, mehr oder weniger berechenbar sind. Fragt man einen Laien, wie ein komplexes System in dieser oder jener Umgebung voraussichtlich agiert, wird man vermutlich ein Schulterzucken oder eine vage Vermutung ernten, während der Ingenieur oder die Konstrukteurin dieses Systems wahrscheinlich präzise Vorhersagen geben können. Entscheidend ist, dass das Wissen, die Vertrautheit mit der Materie und die allgemeine Kompetenz einer bestimmten Bedienperson einen starken Einfluss darauf haben, wie gut diese Person das Verhalten des Systems vorhersagen kann.

Bezogen auf das Hauptthema dieses Beitrag bedeutet das: Damit ein System als zuverlässig gelten kann, muss es mindestens berechenbar sein.[9] Schließlich kann ein System, von dem man nicht vorhersagen kann, was es in einem bestimmten Szenario tun wird, kaum als zuverlässig für den Einsatz in diesem Szenario (für welchen Zweck auch immer) gelten. Da aber die Berechenbarkeit und damit auch die Zuverlässigkeit (zumindest im selben Maße wie die Berechenbarkeit) nutzerabhängig ist, sind allgemeine Zuverlässigkeitsbewertungen, die verbindlich für alle potenziellen Nutzerinnen und Nutzer gelten, nicht möglich. Und das ist gut so.

Von kompetenten Benutzerinnen und Benutzern eines beliebigen Systems kann zuverlässig erwartet werden, dass sie bei der Verwendung dieses Systems bessere Ergebnisse erzielen

Von kompetenten Benutzerinnen und Benutzern eines beliebigen Systems kann zuverlässig erwartet werden, dass sie bei der Verwendung dieses Systems bessere Ergebnisse erzielen. In diesem Sinne wird Zuverlässigkeit nicht auf das System selbst, sondern auf die Nutzung des Systems bezogen. Und in vielerlei Hinsicht ist dies wohl der geeignetere Maßstab. Um zum einfachen Beispiel des Gewehrs zurückzukehren: Angenommen, wir würden einem zufälligen Individuum unter Laborbedingungen und gleichzeitig einem ausgebildeten Marineinfanteristen unter widrigsten Umweltbedingungen (etwa in einer Sandwüste) ein Gewehr in die Hand geben. Die Zuverlässigkeit des Gewehrs hinge dann nicht ausschließlich von der Waffe selbst ab und auch nicht nur von der Waffe und der Einsatzumgebung, sondern von der Waffe, der Umgebung und der Person, die diese Waffe benutzt. Konkret gesagt ist vom Marineinfanteristen beispielsweise zu erwarten, dass er den Lauf des Gewehrs regelmäßig von Sand reinigt oder zusätzliche Vorkehrungen trifft, um zu verhindern, dass Sand in empfindliche Teile der Waffe eindringt, usw. Darüber hinaus kann man davon ausgehen, dass er bei der Verwendung des Gewehrs für ein bestimmtes Ziel dieses Ziel zuverlässiger erreicht, selbst angesichts der härteren Bedingungen, die eine Beurteilung der Zuverlässigkeit der Waffe simpliciter erschweren. Der Hauptpunkt ist hier, dass eine allgemein gehaltene Beurteilung von Zuverlässigkeit nicht aussagekräftig genug ist, ja sogar in den meisten Fällen unnütze Ergebnisse hervorbringt; denn die Frage, wie, wo, wann und von wem ein System verwendet wird, ist ebenso wichtig wie das System selbst, wenn nicht gar wichtiger.

Ausgehend von diesen Punkten müssen wir uns außerdem klarmachen, dass einige Systeme nicht immer so funktionieren, wie wir es uns wünschen, ohne dass dies notwendigerweise ihre allgemeine Zuverlässigkeitsbeurteilung infrage stellen würde. Mit einiger Sicherheit lässt sich erkennen, ob es sich um ein zuverlässiges, also bestimmten Regeln folgendes und auf berechenbare Art und Weise funktionierendes System handelt, dessen Zuverlässigkeit jedoch in bestimmten Fällen zu vorhersehbarem Fehlverhalten führen kann. Nehmen wir das Beispiel einer Anti-Radar-Rakete, die dazu dient, gegnerische Radarsysteme oder Jammer zu bekämpfen. Diese Raketen folgen vergleichsweise einfachen und berechenbaren Protokollen; im Allgemeinen sind sie so konzipiert, dass sie die stärkste Funkquelle innerhalb ihres Zielerfassungsbereichs anvisieren und diese dann autonom/automatisch angreifen und zerstören. Sie verfügen jedoch in der Regel nicht über eine darüber hinausgehende Programmierung oder über Mittel, um zivile von militärischen Zielen zu unterscheiden. Daher könnte man Anti-Radar-Raketen als „unzuverlässig“ betrachten, insofern sie in gemischten Gefechtssituationen mit sowohl militärischen als auch zivilen Objekten Letztere erwartbarerweise, aber dennoch (aus moralischer wie rechtlicher Sicht) fälschlicherweise angreifen könnten. Diese Schlussfolgerung ist jedoch zu voreilig. Die Funktionsweise von Anti-Radar-Raketen ist hochgradig berechenbar, und das beschriebene Szenario ist keines, in dem die Raketen auf irgendeine Art und Weise „verrücktspielen“. Vielmehr zeigen sie hier berechenbares Fehlverhalten, und zwar deshalb, weil sie fahrlässig in einer Umgebung eingesetzt werden, in der sie aufgrund der Einschränkungen des Systems nicht eingesetzt werden sollten. Die Raketen suchen zuverlässig und berechenbar nach Quellen von Funkwellen. In unserem Beispiel erweckt jedoch die Unfähigkeit der menschlichen Bedienpersonen den falschen Eindruck, das System selbst handle fehlerhaft.

Die menschliche Komponente

Damit kommen wir zum letzten Punkt: Wie fortschrittlich autonome und KI-gestützte Systeme auch immer werden mögen, der Mensch wird in der Kriegsführung mit ziemlicher Sicherheit auch in Zukunft eine Rolle spielen, und diese menschliche Komponente wird weiterhin die Art und Weise beeinflussen, wie wir Zuverlässigkeitsbewertungen für neu aufkommende Waffensysteme angehen können und sollten.

Selbst wenn einige eine Zukunft beschwören, in der Waffensysteme vollkommen autonom agieren und Kriege nur noch zwischen Robotern ausgefochten werden, die durch Knopfdruck von weit entfernten Befehlsständen aktiviert werden, sieht es in Wahrheit so aus, dass „die Einführung von Roboter- und autonomen Systemen im Militär vermutlich sowohl eine höhere Anzahl von Menschen als auch eine größere Vielfalt von Fähigkeiten in den Truppen erfordern wird“[10]. Schließlich wird man Bodenteams benötigen, die die physischen Komponenten von AWS warten, bei Bedarf die Fehlerbehebung für Software und Hardware im Feld durchführen und sicherstellen, dass die Systeme der Mission entsprechend betankt und bewaffnet sind. Konkret ausgedrückt: Wo es für eine einsatzbereite Infanteristin eine Schützin und ein Gewehr braucht, braucht es für einen funktionstüchtigen Schützenroboter mindestens einen Roboteringenieur, der gewährleistet, dass das System funktioniert, eine Informatikerin für den Fall eines Verarbeitungsfehlers, einen Rüstungsspezialisten, der dafür sorgt, dass das System stets voll geladen ist, sowie ein Unterstützungsteam für den Transport des Systems oder der erforderlichen Kommunikationseinrichtungen zum Einsatzgebiet bzw. Startpunkt.

All diese verschiedenen Personen werden bestimmte Aufgaben zu erfüllen haben, damit AWS im Feld funktionieren. Und die Aufgaben jedes einzelnen dieser Individuen werden einen großen Einfluss darauf haben, wie „zuverlässig“ das System im Kampf ist. Ihre Ausbildung, ihr Verständnis für die Grenzen des Systems und ihre Fähigkeit, schnell auf gegnerische Maßnahmen zur Unterbrechung der Kommunikation, Störung des AWS oder anderweitigen Behinderung seines Betriebs zu reagieren, sind entscheidend für die Aufrechterhaltung der Zuverlässigkeit des Waffensystems. All diese Faktoren können nicht im Labor ermittelt, durch „sterile“ Prüfung und Bewertungen bestätigt oder durch eine verallgemeinernde „Zuverlässigkeitsbewertung“ garantiert werden. Für eine zuverlässige Feststellung der (potenziellen) Zuverlässigkeit eines Systems müssen wir das System selbst, seinen Verwendungszweck (in konkreten Fällen) und die menschliche Bedienungsmannschaft, die für die Wartung und effektive Bereitstellung des Systems verantwortlich ist, betrachten.

Kein Artefakt oder System existiert im luftleeren Raum und kann nur anhand seiner inhärenten Kapazitäten beurteilt werden

So lautet die zentrale Erkenntnis, die wir verinnerlichen müssen, wenn wir AWS verantwortungsvoll und effektiv einsetzen wollen: Kein Artefakt oder System existiert im luftleeren Raum und kann nur anhand seiner inhärenten Kapazitäten beurteilt werden. Vielmehr müssen wir der Soziotechnizität autonomer Waffensysteme Rechnung tragen, also der Tatsache, dass es sich um technische Objekte handelt, die tief und eng in einen breiteren sozialen und institutionellen Rahmen eingebettet sind.[11] Diese umfassenderen menschlichen Systeme haben einen erheblichen Einfluss auf die Zuverlässigkeit autonomer Waffen und auf das, was wir sinnvollerweise von ihnen erwarten können. Genau wie sich die Frage „Wird dieses Gewehr Ladehemmung haben?“ nicht beantworten lässt, ohne zu wissen, wo und von wem die Waffe eingesetzt wird, kann man auch auf die Frage „Wie zuverlässig ist diese autonome Waffe?“ keine Antwort geben, ohne zu wissen, für welchen Zweck und unter welchen Umweltbedingungen sie eingesetzt wird und wie das menschliche Team aussieht, das sie instand hält und für den Einsatz vorbereitet. Alles ist kontext- und benutzerabhängig. Pauschale Zuverlässigkeitsbewertungen können uns keine Auskunft darüber geben, wie zuverlässig ein System beim Einsatz im Feld sein wird.

Fazit: Sturmgewehre und Atombomben

Ein einfaches Gewehr kann höchst zuverlässig sein insofern, als es üblicherweise geradeaus schießt und keine Ladehemmung hat. Ebenso kann eine Handgranate insofern zuverlässig sein, als sie jedes Mal eine berechenbare Explosion erzeugt, deren Gefahren den Soldatinnen und Soldaten mitgeteilt und in ein geeignetes Trainingsprogramm einbezogen werden können. Ein im Allgemeinen zuverlässiges Gewehr kann jedoch bei Verwendung unter bestimmten Bedingungen erwartbar versagen, zum Beispiel in einer Sandwüste. Ein Gewehr kann außerdem versagen, wenn es von einem Soldaten oder einer Soldatin benutzt wird, der oder die nicht mit dieser Waffe vertraut ist und sie in irgendeiner Form falsch bedient. Dasselbe gilt auch für Handgranaten. Oder Panzer. Oder Raketen. Oder Atombomben. Es ist eine simple Tatsache, dass praktisch alle technischen Artefakte ein grundlegendes Maß an Zuverlässigkeit besitzen, das durch strenge Prüfung und Bewertung bestimmt wird. Obwohl ein T&E-Prozess im Allgemeinen eine umfassende Bewertung der Zuverlässigkeit eines Systems über unzählige wahrscheinliche oder vorhersehbare Einsatzmöglichkeiten hinweg umfasst, lässt sich die Gesamtheit aller Testdaten in der Regel nicht in eine Zuverlässigkeitsbewertung einbeziehen. Mehr noch, jede generalisierende Aussage über die Zuverlässigkeit eines Systems simpliciter wird unweigerlich dessen Zuverlässigkeit in bestimmten Situationen schönfärben, etwa inmitten eines Sandsturms, bei schneebedecktem Boden, der optische Sensoren „blendet“, oder wenn dichtes Laub die Wärmesignatur potenzieller Ziele verbirgt. Kurz gesagt, verallgemeinernde Zuverlässigkeitsbewertungen können die Besonderheiten der Zuverlässigkeit eines Systems nicht abdecken. Mehr noch, pauschale Aussagen können niemals berücksichtigen, wie zuverlässig ein bestimmtes System bei Benutzung durch eine bestimmte Person ist.

Bei der Verwendung technischer Artefakte, seien es Gewehre, Bomben oder autonome Plattformen, kommt es nicht nur auf die Zuverlässigkeit der Geräte selbst (unter verschiedenen Bedingungen) an. Ebenso wichtig ist es, dass sie von kompetenten Personen genutzt werden, die sie zuverlässig einsetzen können. Diese zentrale Tatsache darf bei der Diskussion über autonome Waffen nicht vergessen werden. Wir müssen sicherstellen, dass wir „Zuverlässigkeit unter Laborbedingungen“ nicht mit „Zuverlässigkeit per se“ verwechseln. Es gibt keine Waffe, auf die man sich in jeder Umgebung und bei Verwendung durch jede beliebige Person verlassen kann. Waffen, die in Bezug auf bestimmte Fähigkeiten „weniger zuverlässig“ oder „unzuverlässig“ sind, sind es möglicherweise nicht zwangsläufig, solange die Nutzerinnen und Nutzer, die diese Waffen einsetzen, kompetent und in der Lage sind, die Grenzen des Systems zu verstehen und angemessen darauf zu reagieren.

Diese Forschungsarbeit wurde von der Czech Science Foundation (GAČR) unter der Nummer 24-12638I gefördert. Der Beitrag wurde der Ausgabe nachträglich hinzugefügt und ist nicht im PDF zum Download enthalten.

 


[1] Es gibt noch weitere konsequentialistische und deontologische Einschränkungen für die Entwicklung und den Einsatz von Waffen; der Schwerpunkt dieses Beitrags liegt jedoch ausschließlich auf Fragen der Zuverlässigkeit/Berechenbarkeit.

[2] Siehe 1. Zusatzprotokoll zu den Genfer Abkommen, nachstehend „ZP I“ genannt, Art. 36.

[3] Siehe ZP I, Art. 51.4.

[4] Sharkey, N. (2010): „Saying ‚no!‘ to lethal autonomous targeting“. In: Journal of Military Ethics, 9(4), S. 369–383; Guarini, M. und Bello, P. (2012): „Robotic warfare: Some challenges in moving from noncivilian to civilian theaters“. In: Lin, P., Abney, K. und Bekey, G. A. (Hg.): Robot Ethics: The Ethics and Social Implications of Robotics. Cambridge, MA, S. 129–144; Human Rights Watch (2012): Losing humanity: The case against killer robots. Technical Report, Human Rights Watch; Sparrow, R. (2015): „Twenty seconds to comply: Autonomous weapon systems and the recognition of surrender“. In: International Law Studies, 91(1), S. 699–728; Sparrow, R. (2016): „Robots and respect: Assessing the case against autonomous weapon systems“. In: Ethics & International Affairs, 30(1), S. 93–116; Human Rights Watch (2016): Making the case: The dangers of killer robots and the need for a preemptive ban. Technical Report, Human Rights Watch; Winter, E. (2020): „The compatibility of autonomous weapons with the principle of distinction in the law of armed conflict“. In: International & Comparative Law Quarterly, 69(4), S. 845–876; Stop Killer Robots (2022): Negotiating a treaty on autonomous weapons systems: The way forward. Technical Report, Stop Killer Robots.

[5] Ausführliche Erörterungen zu den rechtlichen Aspekten im Zusammenhang mit dem Benchmarking und dem Einsatz von Waffen finden sich in Boothby, W. H. (2016): Weapons and the Law of Armed Conflict. 2. Auflage, Oxford, UK.

[6] Eriskin, L. und Gunal, M. M. (2019): „Test and evaluation for weapon systems: concepts and processes“. In: Operations Research for Military Organizations, S. 98–110.

[7] Wichtig ist hierbei, dass „verantwortungsbewusster Einsatz“ nicht zwangsläufig bedeutet, dass der Mensch mit autonomen oder KI-gestützten Waffen interagiert und deren Aktion auslösen muss (human-in-the-loop) oder potenziell abbrechen kann (human-on-the-loop). Vielmehr ist gemeint, dass Menschen dafür Sorge tragen, dass ein bestimmter Einsatz im Einklang mit Kriegsethik und HVR steht, was jedoch keine in Echtzeit stattfindende Kontrolle erfordert. So ist beispielsweise der Einsatz eines vollständig autonomen Systems zur Räumung eines gegnerischen Schützengrabens, bei dem das System geografisch und zeitlich auf ein schmales Einsatzfenster beschränkt und ausschließlich auf diese spezielle, rein militärische Befestigung gerichtet ist, ziemlich eindeutig ein Fall, in dem eine fehlende direkte Aufsicht durch Menschen zulässig (und militärisch gesehen vielleicht sogar von Vorteil) sein dürfte. Der Grund, warum man diese fehlende Aufsicht (vertretbarerweise) als unproblematisch einstufen könnte, ist, dass der unterschiedslose Beschuss eines Schützengrabens (oder einer anderen eindeutig und ausschließlich militärischen Anlage) keine zusätzlichen Beurteilungen während des Abfeuerns von Granaten von einem Artilleriestandort erfordert. Das Gleiche gilt wohl auch für den Einsatz autonomer Drohnen, die derartige Stellungen räumen.

[8] Siehe Wood, N. G. (2024): „Explainable AI in the military domain“. In: Ethics and Information Technology, 26(2), S. 1–13, insbesondere S. 9–11.

[9] An dieser Stelle könnte man argumentieren, dass intransparente („opake“) Systeme künstlicher Intelligenz von Natur aus unberechenbar sind, da man nicht mit Sicherheit wissen kann, wie sie angesichts bestimmter Inputs agieren. Dies ist jedoch eine irreführende Darstellung. „Opake“ Systeme haben stets das Potenzial zu unberechenbaren Aktionen, können aber trotzdem äußerst zuverlässig sein. So sind etwa Diensthunde, genau wie menschliche Kombattantinnen und Kombattanten, ganz grundsätzlich „opak“, aber beide, sowohl tierische als auch menschliche Einsatzkräfte, können sehr zuverlässig sein, obwohl sie ganz klar das Potenzial für unberechenbare Handlungen haben. Sich dieses Potenzials bewusst zu sein, ist für die verantwortungsvolle Bereitstellung „opaker“ KI-gestützter Systeme von entscheidender Bedeutung; gleichzeitig bedeutet deren Intransparenz nicht grundsätzlich, dass unberechenbare Aktionen stattfinden oder zwangsläufig stattfinden müssen.

[10] Watling, J. (2024): „Automation does not lead to leaner land forces“. In: War on the Rocks. https://warontherocks.com/2024/02/automation-does-not-lead-to-leaner-land-forces/ (Stand: 5. Juli 2024). (Übersetzung aus dem Englischen.)

[11] Umbrello, S. (2022): Designed for Death: Controlling Killer Robots. Budapest, Ungarn.

Zusammenfassung

Nathan Wood

Nathan Wood ist Postdoktorand am Zentrum für Umwelt- und Technologieethik des Instituts für Philosophie der Tschechischen Akademie der Wissenschaften in Prag sowie externer Fellow der „Ethics + Emerging Sciences Group“ an der California Polytechnic State University in San Luis Obispo. Er forscht vor allem zu Ethik und Recht des Kriegs, insbesondere in Bezug auf neu entstehende Techniken, autonome Waffensysteme, Weltraumkriegsführung und andere Aspekte zukünftiger Konflikte. Er hat Beiträge auf der Plattform „War on the Rocks“ sowie in „Ethics and Information Technology“, „PhilosophicalStudies“, „The Journal of Military Ethics“ und zahlreichen anderen Zeitschriften veröffentlicht.


Download als PDF

Alle Artikel dieser Ausgabe

Wie geht es mit den Bemühungen um ein rechtsverbindliches Abkommen zu autonomen Waffensystemen weiter?
Catherine Connolly
Autonome Waffensysteme - zum Stand der internationalen Debatte
Andreas Bilgeri
Digitales Eskalationspotenzial: Wie agiert KI an den Grenzen der Vernunft?
Axel Siegemund
KI für das Militär braucht keine Sondermoral! Ein Zwischenruf zur Regulierung autonomer Waffensysteme
Erny Gillen
Menschenwürde und „autonome“ Robotik: Worin besteht das Problem?
Bernhard Koch
Die Beweispflicht in der Debatte um autonome Waffen – Warum die Verbotsbefürworter sie (noch) nicht erfüllt haben
Maciek Zając
Zuverlässigkeitsstandards für (autonome) Waffen: Der Mensch bleibt relevant
Nathan Wood
Gibt es ein Recht auf militärische Gewalt unterhalb der Schwelle zum Krieg? Neue Technologien und die Debatte um das ius ad vim
Bernhard Koch
„Meaningful Human Control“ und Komplexe Mensch-Maschine-Gefüge – Zu den Grenzen ethischer KI-Prinzipien im Kontext autonomer Waffensysteme
Jens Hälterlein, Jutta Weber
Menschlichkeit im Krieg? Die Bedeutung von „Meaningful Human Control“ für die Regulierung von autonomen Waffensystemen
Susanne Beck, Schirin Barlag
„Meaningful Human Control“ von autonomen Systemen
Daniel Giffhorn, Reinhard Gerndt
KI im Zeitalter des Misstrauens
Henning Lahmann

Specials

Ansgar Rieks, Wolfgang Koch ChatGPT