Kontroversen in Militärethik und Sicherheitspolitik
„Meaningful Human Control“ von autonomen Systemen
Einleitung
Im Jahr 2015 wurde „Meaningful Human Control“ (bedeutsame menschliche Kontrolle) zu einem Thema der Forschung, da immer mehr halbautonome Waffen eingesetzt wurden[1], wie beispielsweise unbemannte Luftkampfdrohnen (UAVs) im Afghanistan-Konflikt. Die ersten Systeme verfügten typischerweise über eine geringe maschinelle Autonomie, während hochrangige Entscheidungen einem menschlichen Bediener überlassen wurden. Die „Meaningful Human Control“ bezieht sich auf den Grad, die Qualität und die Intentionalität der menschlichen Kontrolle über Maschinen und beeinflusst unter anderem die Verantwortung für die Handlungen oder das „Verhalten“ der Maschinen. Es wurde gefordert, dass bedeutungsvolle Entscheidungen immer in den Händen von Menschen bleiben sollten und niemals allein durch Algorithmen bestimmt werden sollten, da diese keine ethischen oder moralischen Eigenschaften besitzen. Darüber hinaus wurde die Implementierung menschlicher Ethik und Moral in einer Maschine, unter anderem aus Gründen der Komplexität, als unrealisierbare Aufgabe angesehen. Dies führte zu einer Diskussion über den geeigneten Grad der Maschinenautonomie, insbesondere über die konkrete Trennung von „Low“- und „High“-Level Autonomie, um menschlichen Operatoren zu ermöglichen, ihre Moral und Ethik einzubringen. Die „Meaningful Human Control“ spielt auch in anderen Bereichen, wie dem autonomen Fahren auf öffentlichen Straßen, eine zunehmend wichtigere Rolle, wobei dort die rechtliche Verantwortlichkeit oft eines der Hauptanliegen ist.
Der erste Schritt zur Realisierung des Verhaltens autonomer Systeme ist die Auswahl eines Systemmodells. In der Vergangenheit wurden deterministische Modelle zur Implementierung solcher Systeme verwendet. Diese deterministischen Modelle würden, wenn die Wahrnehmung und allgemeine Komplexität zuverlässig beherrscht würde, zu vorhersehbaren Verhaltensweisen führen. Später wurden künstliche Intelligenz und insbesondere auch selbstlernende Algorithmen eingeführt. Sie bieten in der Regel eine höhere Anpassungsfähigkeit auf Kosten einer geringeren Erklärbarkeit des Systemverhaltens. Die Bildklassifikation ist eine bekannte Anwendung für ein lernendes System, bei dem eine große Anzahl annotierter Bilder (zum Beispiel Bilder von Bananen, die als solche betitelt wurden) einem System vorgestellt wird, das bei jedem Bild angepasst wird, um die tatsächliche Klassifizierung mit der gegebenen Annotation in Deckung zu bringen. Aktuelle Systeme gehen weit über die Klassifikation hinaus und sind in der Lage, ganze Aufgaben und Missionen autonomer Systeme zu steuern. Die physische Ausführung einer Geschichte, die von künstlichen Intelligenzsystemen wie ChatGPT[2] geschrieben wurde, kann ein Indikator für die Fähigkeiten solcher Systeme sein.
Als Test- und Demonstrationsszenario für eine physische Auseinandersetzung von Robotern bzw. Robotern und Menschen haben wir den RoboCup-Fußball-Wettbewerb gewählt. Die Vision des RoboCup für das Jahr 2050 ist ein Fußballspiel zwischen einem Team der menschlichen Fußballweltmeister und einem Team aus autonomen Fußballrobotern.[3] Entlang dieses regelbasierten Wettkampfszenarios versuchen wir praktische Einblicke in die „Meaningful Human Control“ autonomer Systeme und ihre zugrunde liegenden Prinzipien zu geben.
Abb. 1: Interaktion eines Roboters mit seiner Umwelt
Stand der Technik
Autonomie
Autonomie hat mehrere Bedeutungen und wird in verschiedenen Kontexten unterschiedlich interpretiert. Gottschalk-Mazouz[4] beschreibt Autonomie als aus den folgenden drei Charakteristiken bestehend: Unabhängigkeit, Selbstsuffizienz und Selbstbestimmung. Bei technischen Systemen spielten Unabhängigkeit und Selbstsuffizienz die Hauptrollen. Der Autor beschreibt außerdem, dass – im Gegensatz zu den drei Formen der persönlichen, moralischen und politischen Autonomie von Menschen – die technische Autonomie nach Graden der Unabhängigkeit eines Systems von Menschen und Umwelt differenziert wird, wobei der Mensch zum Teil auch als Teil der Umwelt modelliert wird (Abb. 1). Er erläutert dies anhand von vier Elementen der Ausführung einer Aufgabe, nämlich Wahrnehmung, Erstellung der Handlungsoptionen, die Auswahl und deren Durchführung. Diese Elemente können jeweils unterschiedliche Autonomiegrade aufweisen. Schließlich betrachtet Gottschalk-Mazouz drei „Facetten“ der Autonomie technischer Systeme: Die erste Facette beschreibt die selbst auferlegten technischen Beschränkungen. Dazu gehören die Autonomie hinsichtlich externer Versorgung mit Energie oder Materialien, die Fähigkeiten, sich zu bewegen und Aufgaben ohne menschlichen Bediener auszuführen. Seiner Meinung nach sollten diese Systeme heutzutage feiner differenziert werden, wie ferngesteuert, teilautonom oder vollautonom, oder in Autonomiegrade unterteilt werden, analog den fünf Ebenen des autonomen Fahrens[5]. Die zweite Facette ist die Unabhängigkeit von der Umwelt zur Erfüllung gegebener Aufgaben, wie inhärente Steuerung, Anpassungsfähigkeit und Flexibilität. Die dritte Facette ist die Fähigkeit zu lernen und Fähigkeiten zu entwickeln, die zum Zeitpunkt der Konstruktion nicht vorhergesehen waren. Er beschreibt dies als die Fähigkeit zu „überraschen“.
Rammert[6] schlägt vor, Systeme nach ihrer Aktivität zu kategorisieren, bei denen ihre „eigene Kreativität“ zunimmt. Der Autor schlägt vier Dimensionen vor: motorische Aktivitäten, Aktuator-Aktivitäten, sensorische Aktivitäten und Steuerungsaktivitäten. Die motorischen Aktivitäten beschreiben die Fähigkeit, den Standort zu wechseln. Aktuator-Aktivitäten beziehen sich auf die physische Interaktion mit der Umgebung. Die sensorischen Aktivitäten umfassen Wahrnehmung und Selbstwahrnehmung. Steuerungsaktivitäten beschreiben den internen Steuerungsprozess aller anderen Aktivitäten. Der Autor schlägt fünf Stufen auf einer Aktivitätsskala solcher Systeme vor: passiv, aktiv, reaktiv, interaktiv und transaktiv, zum Beispiel für Werkzeuge, die bewegt und genutzt werden, bis hin zu intelligenten und verteilten Systemen.
Lernende Systeme
Mit zunehmend komplexeren Aufgaben für Roboter wurden neue Ansätze benötigt, um diese zu programmieren bzw. zu erschaffen. Ein Ansatz hierfür ist das maschinelle Lernen.[7] Maschinelle Lernsysteme bestehen typischerweise aus einer geschichteten Entscheidungsstruktur, die aus künstlichen Neuronen aufgebaut ist, einem „Artificial Neural Network“ (ANN) bzw. Künstlichen Neuronalen Netzwerk (Abb. 2). Jedes Neuron hat eine Anzahl von Eingangssignalen, die einzeln gewichtet, addiert und einem Aktivierungsknoten zugeführt werden, um möglicherweise das Ausgangssignal des Neurons zu aktivieren oder „auszulösen“.
Abb. 2: Struktur eines neuralen Netzwerkes (links) und eines Neurons (rechts); L: Layer; N: Neuron; W: Eingangsgewicht, F(x): Aktivierungsfunktion
Typischerweise sind Neuronen durch eine Reihe von individuellen Eingangsgewichten und eine spezifische Aktivierungsfunktion definiert. Ein ANN besteht aus mehreren Lagen („Layer“) von Neuronen, wobei jede die Ausgänge an die Eingänge der nächsten Schicht weiterleitet. Bei einem spezifischen Eingangsmuster werden bestimmte Netzwerkknoten ausgelöst und ein entsprechendes Ausgangsmuster erscheint, um zum Beispiel die Aktivitäten eines autonomen Systems zu steuern. Die Gesamtentscheidungen werden basierend auf dem Modell des Problems getroffen, welches das System erlernt hat. Abhängig von der Qualität der Eingangsinformationen, dem Netzwerk selbst und dessen Training haben die Ausgangsmuster einen spezifischen Vertrauenswert. Das Lehren des Systems ist ein Problem der Optimierung aller Gewichte. Zwei weit verbreitete Trainingsmethoden sind „supervised learning“ und „reinforcement learning“. Bei einer großen Anzahl von Schichten wird dieser Lernansatz typischerweise als „deep learning“ bezeichnet. Beim „supervised learning“ werden spezielle Trainingsdatensätze mit Eingangsmustern und zugehörigen Ausgangsmustern verwendet. Ein für ein gegebenes Eingangsmuster tatsächlich erzeugtes Ausgangsmuster wird mit einem gewünschten Ausgangsmuster verglichen und das Netzwerk wird entsprechend angepasst. Der Vorgang wird mit neuen Mustern sehr oft wiederholt, zum Beispiel bis eine ausreichende Zuverlässigkeit erreicht ist. Ein Beispiel dafür ist die Objekterkennung. „Reinforcement learning“ andererseits hat den Zweck, ein System zu trainieren, um mit der Umgebung zu interagieren. Hierfür erhält das System eine Aufgabe. Bei „guten“ Aktionen wird das System belohnt und bei ungünstigen Entscheidungen wird es bestraft. Das System wird jeweils so angepasst, dass die Gesamtstrafe minimiert bzw. die Belohnung maximiert wird.
Sicherheit von KI
Die Übertragung weitreichender Entscheidungen an lernende Systeme erfordert die Berücksichtigung von Sicherheit. Varshney[8] beschrieb die Sicherheit im Kontext des maschinellen Lernens mittels des potenziellen Schadens, des Eintrittsrisikos und der Unsicherheit der Entscheidungen. Der Autor stellte außerdem fest, dass „the minimization of epistemic uncertainty is missing from standard modes of machine learning developed around risk minimization and that it needs to be included when considering safety”. Faria[9] bemerkte, dass es unmöglich ist sicherzustellen, dass ein maschineller Lernalgorithmus die richtige Entscheidung trifft und dass ein System, das nicht vollständig vorhersehbar ist, hinreichend sicher ist.
Erklärbare KI
Die zuvor skizzierten Probleme veranlassten Forscher dazu, die in ANNs implementierten Modelle besser verstehen und erklären zu wollen. Dies führte zur Entstehung des Forschungsfeldes der erklärbaren KI („Explainable AI“).[10] Holzinger stellt fest, dass aufgrund des Fortschritts im Bereich des „deep learnings“ und des Erfolgs bei der Erstellung von Algorithmen, die die menschliche Leistung übertreffen, das Bedürfnis, sie zu verstehen, gewachsen ist[11]. Forscher verstehen die mathematischen Prinzipien, aber die trainierte Konfiguration des Netzwerks, typischerweise eine Reihe von Gewichtsvektoren, Netzwerkdiagrammen und möglicherweise unterschiedlichen Aktivierungsfunktionen, ist für Menschen nicht verständlich. Laut dem Autor werden „Wörter in hochdimensionale Vektoren abgebildet, was sie für Menschen unverständlich macht“. Die Systeme erscheinen als „Black Boxes“. Darüber hinaus kann der Lernprozess zwar durch Tests überprüft werden, es ist jedoch in der Regel unmöglich, alle Situationen, die auftreten können, zu testen. Das Forschungsfeld der erklärbaren KI befasst sich damit, KI-Modelle für Menschen lesbar oder interpretierbar zu machen. In der sogenannten „White-Box“-KI sind jeder Verarbeitungsschritt und die Ergebnisse für Menschen transparent. Der Nachteil ist, dass sie normalerweise vollständig von Menschen programmiert werden müssen. Anders als „Black-Box“-Systeme lernen sie nicht. Je komplexer eine Aufgabenstellung ist, desto größer ist der Aufwand für ihre Realisierung.
Ethik in KI
De Swarte et al.[12] beschreiben die Notwendigkeit einer ethischen KI für Roboter und diskutieren Mittel zur Implementierung ethischer Regeln. Um die „ethischste“ Entscheidung eines intelligenten Roboters zu treffen, beschreiben sie einen utilitaristischen Ansatz, der das intrinsische Gute maximiert. Das Konzept der „quantitativen Ethik“ erfordert jedoch, das Gute und das Böse in einer gegebenen Situation zu quantifizieren.
Altmann hingegen möchte autonome Waffensysteme verbieten, mit Ausnahme von Nahverteidigungssystemen wie C-RAMs.[13] Der Autor behauptet, dass AWS in der Lage sind, die gegnerische Streitkräfte in einem asymmetrischen Konflikt aufgrund der niedrigen Reaktionszeit und der Validierung von Informationen über die Umgebung zu übertreffen. Die beste Lösung für den Autor ist das Verbot der Autonomisierung dieser Systeme und die Implementierung eines Rekorders für eine ethische Überprüfung von Entscheidungen. Der Rekorder selbst würde Informationen über das dem Operator durch das System übermittelte Video, ein Video von der Steuerung mit den Händen des Operators darauf, die während des Einsatzes erhaltenen Befehle sowie den Namen des verantwortlichen Operators und Kommandanten speichern. Dies würde ein ethisches Verständnis und eine Analyse des Einsatzes von, in diesem Fall, semi-autonomen Systemen ermöglichen.
Huang et al.[14] beschreiben die wachsenden Bedenken bezüglich KI mit Blick auf ethische Probleme. Zu den wichtigsten ethischen Problemen von KI-Funktionen gehören die fehlende Transparenz der verwendeten Technologie, die Datensicherheit und der Datenschutz der für das Anlernen verwendeten Daten sowie die Autonomie, Intentionalität und Verantwortlichkeit der Systeme. Als menschliche Faktoren, die ethische Probleme verursachen können, nennt der Autor die Verantwortlichkeit für die Systemaktionen, die ethischen Standards, die die Erbauer verstehen und richtig programmieren müssen, sowie die Gesetze zu Menschenrechten. Um die genannten Probleme zu lösen, muss eine KI Transparenz gewährleisten und die Freiheit und Autonomie von Menschen sicherstellen. Die Autoren erkennen die Komplexität der Implementierung einer ethischen KI an. Sie sollte jedoch durch die gemeinsame Anstrengung von Vertretern verschiedener Disziplinen wie KI- und Ingenieurwissenschaften, Philosophen, Anwendern und Politikern erreichbar sein.
Das MeHuCo-Projekt
Das MeHuCo-Projekt ist ein interdisziplinäres Forschungsprojekt mit Bezug zur Wissenschafts- und Technikforschung, der Robotik, dem Recht und den Medienwissenschaften. „Es situiert bislang unverbundene Konzepte der Kontroverse um Autonome Waffensysteme (AWS) in ihrem historischen und kulturellen Kontext, entwickelt ein angemessenes Konzept soziomaterieller Handlungsfähigkeit und fokussiert auf die Übersetzung wissenschaftlicher Ergebnisse in den öffentlichen Diskurs zur Stärkung der zivilgesellschaftlichen Debatte.“[15] In der Literatur und in Filmen werden künstliche Intelligenz und intelligente Roboter oft als gefährlich dargestellt. Systeme, die erschaffen wurden, um zu schützen, wenden sich gegen ihre Schöpfer und bedrohen die Menschheit mit Auslöschung. Wie verhalten sich diese imaginären Roboter zu realer KI und intelligenten Robotern? Die aktuellen Gesetze scheinen nicht bereit zu sein für autonome Roboter, zum Beispiel wenn es um die Verantwortlichkeit für die Handlungen eines autonomen Roboters in zivilen Anwendungen und mehr noch im Militärischen geht.
Die Beiträge des technischen Arbeitspakets sind die Entwicklung einer neutralen, ingenieurwissenschaftlichen Perspektive auf autonome (Waffen-)Systeme, die Bereitstellung eines Äquivalenzszenarios für Experimente zur menschlichen Kontrolle von autonomen Systemen zur Ableitung aktueller soziotechnischer Einsichten und die praktische Demonstration der Möglichkeiten und Grenzen einer vergleichbaren Anwendung. Die Vision des RoboCup, ein Fußballspiel zwischen humanoiden Robotern und Menschen, dient als Grundlage für das Äquivalenzszenario. Das Fußballspiel beinhaltet viele Elemente, die auch im Hinblick auf den Einsatz von AWS diskutiert werden – eine physische Konfrontation nach Regeln. Dies beinhaltet unter anderem die Verhinderung von Regelverstößen durch zusätzliche „Intelligenz“ oder das Erkennen dieser durch neutrale „Schiedsrichter“ und die Zuordnung zur Autonomie der Maschine, zum Bediener oder zum Erbauer des Roboters.
Wettkampf als Demonstrationsszenario
Wissenschaftliche Wettbewerbe helfen dabei, Forschung zu leiten und zu bewerten.[16] Im Vergleich zu realen Szenarien haben Wettbewerbe typischerweise begrenzte Komplexitäten, Regelwerke und ethische Rahmenbedingungen. Der Wunsch zu gewinnen stellt ein interessantes, antagonistisches Element zu den Regeln und der Ethik dar. Wahrscheinlich war der erste KI-bezogene Wettbewerb Claude Shannonʼs Schachwettkampf, bei dem ein Computer gegen einen menschlichen Schach-Großmeister gewinnen sollte, was schließlich 1996 erreicht wurde. Seitdem haben sich viele Computer- und Robotik-Wettbewerbe entwickelt. Viele davon haben einen bildungs- und forschungsorientierten Hintergrund, wie zum Beispiel die Roboter-Sportwettbewerbe der „Federation of International Robot sports Association“ (FIRA)[17]. Einige davon, wie zum Beispiel die DARPA („Defense Advanced Research Projects Agency“ des US-Verteidigungsministeriums) Grand Challenge[18] für autonome Landfahrzeuge, haben ein klares militärisches Element. Normalerweise entwickeln sich Herausforderungen und Regeln mit der Zeit weiter, um auf neue Entwicklungen und Forschungstrends einzugehen. Wettbewerbe haben viele Entwicklungen vorangetrieben, die später ihren Weg in reale Anwendungen fanden.
Abb. 3: RoboCup Humanoid League
Der RoboCup verfügt über einen „Junior“-Zweig für Schülerinnen und Schüler und einen „Major“-Zweig für Studierende und Forschende. Innerhalb des „Major“-Zweigs gibt es verschiedene Ligen beziehungsweise Unterligen. Die Hauptligen sind Roboterfußball, unterstützende Roboter in Haushaltsanwendungen, Logistik- und Manipulationsroboter für die Fertigung sowie Such- und Rettungsroboter. Die Ligen haben unterschiedliche Schwerpunkte, zum Beispiel die Mensch-Roboter-Interaktion bei assistierenden Robotern oder die Fortbewegung in unstrukturiertem Gelände bei Such- und Rettungsrobotern. Die Fußballligen spielen eine besondere Rolle, da sie mit der Gründungsvision des RoboCup verbunden sind: Ein Roboterfußballteam spielt – und gewinnt – im Jahr 2050 gegen das zu dieser Zeit amtierende menschliche Fußballweltmeisterteam nach den Regeln des „Menschenfußballs“. Unter den verschiedenen Fußballligen dürfte die „Humanoid League“[19] dieser Vision am nächsten kommen.
RoboCup Humanoid League als MeHuCo Demonstrator
In der Humanoiden Liga müssen die Roboter (Abb. 3) ein menschenähnliches Aussehen und Verhalten aufweisen, das heißt, sie müssen gemäß einem menschlichen Körperbau mit typischen Proportionen und Körperteilen in typischen Positionen gebaut sein. Es sind nur Sensoren erlaubt, die eine Entsprechung beim Menschen haben. Die Roboter müssen sich menschenähnlich fortbewegen und vollständig autonom sein, das heißt, externe Steuerung, Rechenleistung, Sensoren oder Stromversorgung sind nicht erlaubt. Zwischen den Spielen oder während Spielpausen dürfen menschliche Teammitglieder Reparaturen durchführen oder die Hardware und Software der Roboter ändern. Die Humanoide Liga unterteilt sich in zwei Unterligen: die „KidSize“-Liga für Roboter bis zu einer Höhe von 100 cm und die „AdultSize“-Liga für Roboter bis zu einer Höhe von 200 cm. Das maximal zulässige Gewicht des großen Roboters beträgt 120 kg.
Das Besondere am RoboCup-Fußballszenario ist die Kombination aus einem physischen Wettkampf mit einem umfassenden Regelwerk, sportlicher Ethik und einer Grauzone, die genutzt werden kann, um mögliche Schlupflöcher auszunutzen und dadurch eventuell die Gewinnchancen zu verbessern. Ein weiterer relevanter Aspekt ist die Möglichkeit, dass Roboter physische Fußballspiele gegen Menschen austragen könnten.
Das Spiel folgt größtenteils den FIFA-Fußballregeln mit einigen Anpassungen, zum Beispiel bezogen auf die Feldgröße von derzeit 9 x 6 m für „KidSize“ bzw. 14 x 9 m für „AdultSize“ und die Spieldauer von 2 x 10 Min. Im Laufe der Jahre wurden verschiedene technische Aspekte durch Anpassungen der Regeln durch die Wettbewerbe hervorgehoben. In einer ersten Phase lag das Hauptaugenmerk auf dem Gehen. Anschließend verschob sich der Schwerpunkt auf das Wiederaufstehen nach einem Sturz, wofür funktionale Arme hinzugefügt wurden. Später war die Wahrnehmung wichtig, um sich selbst auf dem Spielfeld zu lokalisieren und das eigene sowie das gegnerische Tor auf einem symmetrischen Fußballfeld zu identifizieren. Derzeit arbeiten Forschungsgruppen daran, das Teamspiel der Roboter zu verbessern und die Roboter auf typische Szenarien auf menschlichen Außenfußballfeldern vorzubereiten.
Während des Spiels werden die Fußballregeln und -vorschriften von menschlichen Schiedsrichtern durchgesetzt. Ein sogenannter „Game Controller“, der von einem Assistenzschiedsrichter bedient wird, dient als globales Steuergerät und Kommunikationsschnittstelle zwischen Schiedsrichtern und Robotern. Er setzt allgemeine Spielsituationen wie Anstoß, Freistoß, Elfmeter und Ähnliches fest und kommuniziert diese. Der Game Controller ist das Werkzeug, das zur Ausübung der menschlichen Kontrolle über das gesamte Spiel und die Roboter-Spieler verwendet wird. Ein typischer Fehler von Menschen, die den Game Controller in hektischen Situationen bedienen, ist die „Bestrafung“ eines falschen Roboter-Spielers.
Ein automatisierter Schiedsrichter könnte die menschliche Interaktion mit dem Game Controller überflüssig machen. Dies würde jedoch erfordern, dass alle relevanten Informationen über das Spiel vorliegen, wie zum Beispiel die Positionen der Spieler und des Balls, was wiederum durch die Installation eines speziellen Schiedsrichter-Wahrnehmungssystems oder die Nutzung der Daten der Spieler, mit entsprechenden Unzuverlässigkeiten, erreicht werden könnte. Ein automatisierter Schiedsrichter, der in Sekundenbruchteilen entscheiden könnte, würde auch die Möglichkeit bieten, regelkonformes und ethisches Verhalten durch lernende Roboter zu trainieren. Da die meisten Lernalgorithmen eine große Anzahl von Trainingsbeispielen benötigen, wird der Lernprozess typischerweise mittels Simulationen durchgeführt, die mit deutlich höherer Geschwindigkeit als in physischen Umgebungen ablaufen können. Dabei entstehend allerdings eine sogenannte „Sim-to-Real“-Lücke, die die Unterschiede zwischen den Bedingungen in der Simulation und in der echten Welt beschreibt und die Übertragbarkeit des Gelernten in eine physische Umgebung beeinträchtigen kann.
Die Roboter verfügen in der Regel über eine „Missionsfunktionalität“ und eine möglicherweise teilweise antagonistische „Regelfunktionalität“. Die Missionsfunktionalität kodiert das Ziel, den Wettbewerb zu gewinnen, zum Beispiel durch das Erzielen von Toren und das Verteidigen des eigenen Tores. Die Regelfunktionalität beschränkt die Aktionen auf solche, die den Regeln entsprechen. Perspektivisch könnte sie auch eine Ethikfunktionalität bieten.
Eine beispielhafte Spielsituation kann die Interaktion zwischen Missions- und Regelfunktionalitäten veranschaulichen. Gemäß Regelwerk müssen zwei Roboter, die physisch um den Ball kämpfen, sich zurückziehen, bevor eine maximale Zeit, konkret von 15 Sekunden, erreicht ist. Der Roboter, der annimmt, dass die maximale Zeit erreicht ist, wird beginnen, sich aus der Situation zurückzuziehen, was möglicherweise dem gegnerischen Spieler einen Vorteil gewährt, wenn sich dieser nicht genauso zurückzieht. Dieses asymmetrische Verhalten könnte durch eine unterschiedliche Wahrnehmung der Situation durch die Roboter verursacht sein, zum Beispiel durch ein unterschiedliches Erfassen des Beginns der Interaktion. Die Situation könnte durch den menschlichen Schiedsrichter gelöst werden, wenn es klare und verlässliche Informationen über die Motivation und die Zustände beider Spieler gäbe. Auf diese Weise gibt es drei verschiedene Wahrnehmungen einer Situation, der beiden Spieler und des Schiedsrichters, und daraus gezogene Schlussfolgerungen. Nur wenige Kombinationen führen zu einem Ergebnis gemäß den Regeln und der Ethik. In echten Wettbewerben führte diese Beobachtung typischerweise dazu, dass die menschlichen Teammitglieder die interne Zeitmessung der Roboter für diese Situation leicht anpassten, um eher den Roboter potenziell für das Brechen der Regeln bestrafen zu lassen, als einem Gegner eine sichere Gelegenheit zum Punkten zu überlassen. In einem Lernsystem, zum Beispiel mit einem Ansatz des Reinforcement Learning, könnte der Roboter die Zeit sogar selbstständig angepasst haben. Dies würde unter anderem die Frage aufwerfen, wer für das Brechen der Regeln verantwortlich gemacht werden sollte: der Programmierer, der ein sich selbst anpassendes Programm implementierte, der Bediener, der den Roboter der Situation aussetzte, oder der Roboter selbst?
Schlussfolgerungen
Wir konnten aufzeigen, wie das Szenario der RoboCup Humanoid League im Fußball eine geeignete Analogie bietet, um autonome intelligente Systeme zu erforschen und zu demonstrieren. Die physische Auseinandersetzung zeigt eine relevante Parallele zum militärischen Bereich, zum Beispiel von Roboter-Teams zu Drohnenschwärmen. Außerdem bietet es viele Facetten menschlicher Beteiligung, von menschlicher Kontrolle und Überwachung bis hin zur unmittelbaren Beteiligung von Menschen als eine Partei im physischen Einsatz. Das Wettbewerbsszenario bietet Anreize, rechtliche und ethische Grauzonen zu erforschen, um die angestrebten Ziele zu erreichen, wie man anhand von Beobachtungen während der RoboCup-Wettbewerbe zeigen konnte. Das Fußballszenario hilft, die Gesamtkomplexität und Ernsthaftigkeit von militärischen Regeln und ethischen Bedenken zu verdeutlichen und sie auf ein Feld zu übertragen, das einem breiteren Publikum viel vertrauter ist.
Das Projekt wurde vom Bundesministerium für Bildung und Forschung im Rahmen eines Programms zur Friedens- und Konfliktforschung gefördert, Förderkennzeichen: 01UG2206D.
[1] Scharre, Paul and Horowitz, Michael C. (2015): Meaningful human control in weapon systems: A primer. Center for a New American Security, 16.
[4] Gottschalk-Mazouz, Niels (2019): Autonomie. In: Liggieri, Kevin und Müller, Oliver (Hg.): Mensch-Maschine-Interaktion: Handbuch zu Geschichte – Kultur – Ethik. Berlin, S. 238–240.
[7] Varshney, Kush R. (2016): Engineering safety in machine learning. In: 2016 Information Theory and Applications Workshop (ITA). IEEE, Seite 1–5. 2016. Xu, Zhaoyi und Saleh, Joseph Homer (2021): Machine learning for reliability engineering and safety applications: Review of current status and future opportunities. In: Reliability Engineering & System Safety 211:107530.
[11] Holzinger, Andreas (2018): From machine learning to explainable ai. In: 2018 world symposium on digital intelligence for systems and machines (DISA), IEEE,
S. 55–66.
[12] De Swarte, Thibault et al. (2019): Artificial intelligence, ethics and human values: the cases of military drones and companion robots. In: Artificial Life and Robotics 24, S. 291–296.
[16] Niemüller, Tim et al. (2016): Robocup logistics league sponsored by festo: a competitive factory automation testbed. In: Jeschke, Sabine et al. (eds): Automation, Communication and Cybernetics in Science and Engineering2015/2016, S. 605–618.
Daniel Giffhorn hat 2021 seinen Master in Informatik mit Spezialisierung auf Mobile Autonome Systeme an der Ostfalia Hochschule abgeschlossen. Seit 2022 arbeitet er im MeHuCo-Projekt an der Implementierung eines Test- und Demonstrationsszenarios für regelkonforme physische Auseinandersetzungen zwischen Robotern am Beispiel eines Roboter-Fußballspiels. Sein besonderes Interesse gilt der Realisierung eines automatisierten Schiedsrichters.
Reinhard Gerndt
Reinhard Gerndt hat seit 2002 eine Professur für Robotik in der Fakultät Informatik der Ostfalia Hochschule inne. Zusammen mit einem Kollegen betreibt er das Labor für Mensch-Zentrierte Robotik (Human-CenteredRobotics Lab). Er ist Gutachter in Europäischen Förderprogrammen und Mitbegründer der Französischen Robotik Vereinigung FFROB. Sein besonderes Interesse gilt den unterschiedlichen Aspekten der Autonomie robotischer Systeme auch in der Interaktion mit Menschen.
