„Wer auf überlegene Technologien verzichtet, verzichtet darauf, ethisch verantwortbar handeln zu können“

Deutschland entwickelt gemeinsam mit europäischen Partnernationen das Future Combat Air System (FCAS), ein vernetztes Luftkampfsystem aus verschiedenen Komponenten. Wie kann in solchen Waffen der Zukunft menschliche Kontrolle und Verantwortung gewährleistet werden? Oder wird die Maschine den Menschen im Militär über kurz oder lang verdrängen? Die Redaktion von „Ethik und Militär“ hat mit zwei Experten über Autonomie und Automation, Ethik und Konsequenzen für die Führung gesprochen.

Herr General Rieks, Herr Professor Koch, würden Sie unseren Leserinnen und Lesern zum Einstieg ein paar Eckdaten zu FCAS nennen?

General a. D. Dr. Ansgar Rieks: FCAS ist ein sehr komplexes System aus alten und neuen Flugzeugen und weiteren Komponenten. Im Kern besteht es aus einem sogenannten Next Generation Weapon System, einem mit Drohnen (Remote Carriers) gekoppelten Kampfflugzeug (Command Fighter). Daran werden weitere Flugzeuge und andere Systeme angeschlossen. Man spricht von einem „System of Systems“, das von einer Air Combat Cloud und der zugehörigen Software zusammen mit dem Piloten des Command Fighters gesteuert wird. Mit dem Sondervermögen bringt sich die Bundeswehr derzeit erst einmal auf den heutigen Stand der Technik. FCAS ist etwas für die Zukunft, ein meiner Ansicht nach notwendiger Sprung nach vorn.

Prof. Dr. Wolfgang Koch: Ein solches komplexes System of Systems muss machen können, was es machen soll. Insofern bedarf es einer Unterstützung der natürlichen Fähigkeiten des Menschen, wahrzunehmen, zu wirken und zu entscheiden, um es tatsächlich zu beherrschen.

Welchen Zeithorizont hat das Projekt?

A. R.: Zieljahr ist 2040. Bis dahin muss es konkrete Entwicklungsschritte geben. Ein erster umfassender Prototyp ist für 2030 angesagt. Außerdem war es eine gemeinschaftliche Entscheidung, FCAS zu entwickeln – ursprünglich zwischen Frankreich und Deutschland, später kam Spanien hinzu. Vielleicht werden es noch weitere.

Warum benötigt Europa aus Ihrer Sicht ein solches Waffensystem? Können Sie das an aktuellen Entwicklungen oder Kriegen deutlich machen?

A. R.: Eine Technologie wie künstliche Intelligenz brauchen wir nicht allein deshalb, weil es sie gibt. Hier geht es um die schiere Notwendigkeit, in einem insbesondere in der militärischen Operationsführung immer komplexer werdenden Umfeld den Auftrag zu erfüllen. Unsere potenziellen Gegner – es ist ja wieder klar, wer das sein könnte – bringen solche Dinge zum Einsatz und haben dadurch einige deutliche Vorteile. Sie sind schneller, Entscheidungen werden in kürzester Zeit gefällt. Zweitens haben sie ein hervorragendes Lagebild. Drittens entwickeln sich Sensorik und Effektorik weiter. Man kann nicht mit alten Flugzeugen in eine moderne Luftabwehr eindringen.

Um in einem modernen Gefecht oder in einer modernen Operation überhaupt erfolgreich sein zu können, müssen Sie systemisch denken; nicht ein Flugzeug bekämpft ein Flugzeug, sondern wir setzen ein System ein. Die zweite, nicht zwingend mit FCAS verbundene Methode, in der Operationsführung erfolgreich zu sein, ist Multi-Domain, die Kopplung der Dimensionen Land, Luft, See, Cyber und Weltraum; manche zählen sogar den Menschen dazu. Das ist noch komplexer, weil Sie verschiedene Systems of Systems im Verbund koppeln und steuern müssen.

W. K.: Nach allem, was man weiß, ist die chinesische und die russische militärische Forschung extrem stark. Ich wundere mich allerdings über den Ukrainekrieg. Mir scheint, dort zeigt sich alles, von 1914 bis zur Gegenwart. Ich habe lange geglaubt, dass sich durch den Einsatz von modernen Algorithmen der Nebel des Krieges etwas lichtet und man mit chirurgischer Präzision sein Ziel erreicht. Aber das gläserne Schlachtfeld in der Ukraine ist letal. Insofern ist die Frage nach dem verantwortbaren Design moderner Technologien akut. Und wenn man verantwortbar und ethisch akzeptabel handeln möchte, braucht man erst recht überlegene Technologien. Wer darauf verzichtet, verzichtet darauf, ethisch verantwortbar handeln zu können.

A. R.: Ethik durch Technik ist auch mein Stichwort. Dadurch, dass wir genauere Lagebilder haben, dezidiert präzise sein können, kann man zum Teil ethischen Kriterien besser folgen als in der Vergangenheit. Ethiker hören das nicht immer gern, weil sie waffentechnologische Entwicklungen oft ablehnen. Meiner Ansicht nach ändert sich das allerdings langsam, aber sicher.

In der Ukraine halte ich zwei Dinge für wichtig: Erstens hat Russland den ukrainischen Verteidigungswillen und die Fähigkeit dazu von Anfang an völlig unterschätzt. Zweitens sieht man, dass System of Systems und Multi-Domain noch keine so große Rolle spielen. Wir erkennen aber, dass die russische Technologie im Allgemeinen mehr kann, als die Operateure aus ihr herausholen. Außerdem spielt das Thema Weltraum eine große Rolle …

Sie meinen Starlink, das Internet per Satellit?

A. R.: … genau, ebenso wie die Tatsache, dass Drohnen offensichtlich ein Game-Changer sind. Die Ukraine plant, eine Million Drohnen selbst zu bauen. Wie geht man damit um? Was ist mit Drohnenschwärmen? Hier gibt es viele weitere Felder, die man beobachten muss.

Bleiben wir bei FCAS: Nach der Definition des Internationalen Komitees vom Roten Kreuz sind autonome Waffensysteme solche, die die „kritischen Funktionen“ Zielauswahl und -bekämpfung ohne menschliche Einflussnahme durchführen können. Wie würden Sie FCAS mit seinen Begleitdrohnen dann klassifizieren?

W. K.: Autonomie ist ein unglücklicher Begriff, genau wie künstliche Intelligenz. Würden Sie eine Kaffeemaschine autonom nennen, weil sie ohne menschliches Eingreifen Filterkaffee erzeugt? Solche Begriffe wecken in der Öffentlichkeit Vorstellungen und Ängste. Ich rede lieber von Automation. Vollautomation ist dann vielleicht Autonomie, daneben gibt es Teilautomation. Auf keinen Fall bauen sich Maschinen wie in einem Hollywood-Film selbst, sodass wir sie nicht kontrollieren können. Menschen lagern ihre natürlichen Fähigkeiten auf Maschinen aus, darunter Wahrnehmung, Verstand, Entscheidungsfindung. Die Maschine kann nichts, was wir nicht auch können. Aber sie kann es ganz schnell, und sie kann es hochskalieren.

Aber unabhängig von Begriffen ist die Angst bei diesen Technologien doch: Machen sie noch, was wir wollen?

W. K.: Wir müssen sie so bauen, dass sie es tun.

Und das ist möglich?

W. K.: Ist es nicht so, Herr General, dass ein militärischer Entscheider etwa eine Drohne, von der er nicht genau weiß, was sie macht, gar nicht einsetzen will?

A. R.: Natürlich sind wir immer daran interessiert, dass der benötigte Effekt auch eintritt. Was die Frage Autonomie oder Automatisierung angeht, habe ich eine ganz einfache mathematische Definition: 100 Prozent Automatisierung ist gleich Autonomie. 98 Prozent ist nur hoch automatisiert oder wie auch immer man es nennt.

Also ist es ein Kontinuum?

A. R.: Ja, und da ist, wenn man nicht bei 100 Prozent ist, schon eine menschliche Entscheidung mit drin. Ein autonomes System ohne menschlichen Einfluss wird es so nicht geben. Auf dem dynamischen Schlachtfeld irgendetwas loszuschicken, was ich nicht mehr steuern kann, und sich die Flexibilität zu nehmen, selbst in Zeiträumen von Sekunden, Minuten, das ist – selbst wenn man völlig unethisch denkt – operativ nicht sinnvoll. Ethik und Operationsführung gehen hier in der Bewertung Hand in Hand.

W. K.: Ein anderes Beispiel: eine Fregatte auf hoher See, die von Seaskimmern (sehr nah über der Wasseroberfläche fliegende Antischiffsraketen, Anm. d. Red.) angegriffen wird. Weil man die Bedrohung erst sehr spät sieht, laufen die Threat-Evaluation-and-Weapon-Assignment-Systeme vollautomatisch ab. Aber selbst die werden bewusst eingeschaltet, das liegt in der Verantwortung des Kommandanten; er wird es nicht tun, wenn er während der Kieler Woche einläuft. Außerdem muss ein solches System parametrisiert werden. Das heißt, die Entscheidungen liegen weiter zurück, auf der Ebene des Mission Planning, der Programmentwicklung und der Forschung. Die Verantwortung hat nie die Maschine, sondern derjenige, der sie nutzt, baut und auslegt.

Was verstehen Sie dann unter dem Schlüsselbegriff „Meaningful Human Control“? Halten Sie diese für notwendig?

W. K.: Für mich ist das einer dieser politikwissenschaftlichen Begriffe, die man genauso elastisch auslegen kann wie irgendwelche juristischen Begriffe.

A. R.: Bei aller Begriffsvielfalt hat er ein Gutes: Er führt weg vom Bannen von Technologie. Es gab eine Gruppe von deutschen Wissenschaftlern, die KI in Waffensystemen ausschließen wollten. Und es gibt immer die Gegenseite, die etwas nutzen will, ohne Limits. Meaningful Human Control führt es verantwortlich zusammen.

Auch unter der bereits erwähnten Perspektive, dass es militärisch nicht sinnvoll ist, die Kontrolle komplett aus der Hand zu geben?

A. R.: Es wäre doch fatal, wenn ein Soldat seine Verantwortung abgibt, an wen auch immer! Das heißt aber nicht, dass nicht Dinge durch irgendjemand anderes oder eine Automatik gemacht werden, sogar in großen Teilen. Wie bei der Bahn, mit der Sie heute zum Interview angereist sind. Glauben Sie, dass der Lokführer noch Berechnungen anstellt? Er vertraut natürlich der Automation im Zug und vor allem im Gesamtsystem Schienennetz.

Aber es ist ja definiert, welche Anforderungen wir an solche Systeme stellen, um seine Sicherheit und die Sicherheit der Passagiere zu gewährleisten.

W. K.: Das ist ein Zulassungsproblem, natürlich.

A. R.: Und wenn es ethisch / moralisch einwandfrei sein soll, muss sich ein Ethiker mit Fragen von Technik und militärischer Operationsführung befassen und sagen: Dies und jenes würde ich voraussetzen, hier ein Kriterium ergänzen … Und wenn das erfüllt wäre, wäre es gleichbedeutend mit Meaningful Human Control. Allerdings müssen dem Operateur im Umgang mit der ihn unterstützenden KI Regeln an die Hand gegeben werden, damit er handlungssicher ist.

Wie könnte man vor diesem Hintergrund folgende schwierige Fälle regeln: Der Operateur oder militärische Führer folgt KI-generierten Vorschlägen, dies führt zu negativen Ergebnissen. Oder er entscheidet sich gegen KI-Empfehlungen, ebenfalls mit negativem Ergebnis. Sollte der Bediener oder der militärische Führer jederzeit die Freiheit haben, sich gegen die Systemempfehlung zu entscheiden? Oder soll das Design die Möglichkeit vorsehen, ihn zu „übersteuern“?

A. R.: Lassen Sie mich zuerst eine Vorbemerkung machen. Ich höre häufiger folgende Argumentation: Der Mensch kann der Schnelligkeit einer KI und der umfassenden Auswertung von Daten nicht folgen. Da wir aber den human in the loop wollen, dürfen wir keine KI und Algorithmik einsetzen. Ich halte das für falsch. Genau weil wir es tun, kann der Mensch noch im loop bleiben, ohne die Verantwortung wegzudrücken. Würden wir KI ausschließen, würde der Gegner sie dennoch nutzen und wir könnten nicht mehr erfolgreich sein. Dann habe ich zwar zu hundert Prozent meine Verantwortung wahrgenommen, aber ich werde jeden Konflikt verlieren. Darüber hinaus müssen wir einen weiteren Faktor beherzigen: Daten!

Wir haben in der Luftwaffe bereits KI in der Operationsplanung erfolgreich erprobt. Sie wurde mit Übungen und Simulationen angelernt, und die Operateure bestätigten: Was die KI vorgeschlagen hat, das hätte ich auch immer genommen. Das hat mich ins Nachdenken gebracht, denn eine beratende KI muss ein Stück weit Freiheit haben, sie muss breit angelegt sein, in den Trainingsdaten wie in der Auswertung. Und sie wird manchmal auch unerwartete Vorschläge machen, weil sie weiter dazugelernt hat.

Damit sie nicht nur den Menschen bestätigt?

A. R.: Das bringt überhaupt nichts, denn sie soll ja nicht „nachplappern“, sondern exzellente Ratschläge geben. Jetzt zum Operateur vor dem Bildschirm: Im ersten Fall heißt es, bist du nicht erfahren genug zu wissen, dass du so einer KI nicht vertrauen kannst? Und wenn er sich für seine Erfahrung entscheidet, wirft man ihm vor: Jetzt hast du schon so eine KI und nutzt sie nicht? Um aus dieser Lose-lose-Situation herauszukommen, müssen Sie einige Dinge festlegen. Erstens sollte die KI angeben, wie sicher sie Dinge einschätzt. Zweitens darf man nicht glauben, dass KI ab sofort keine Fehler mehr macht. Wir müssen unsere Fehlerkultur auch auf die Systeme übertragen. Und was ich persönlich immer für wichtig erachte, unabhängig davon, dass die Verantwortung bei Menschen liegt: dass man ein Stück weit die Maschine in ihrer Exzellenz arbeiten lässt, aber dass man sich als Mensch immer auch gegen ihre Entscheidung stellen kann.

Also eine Art Widerspruchslösung … Sie haben an anderer Stelle auf die Notlandung einer Passagiermaschine auf dem Hudson River 2009 verwiesen.

A. R.: Das ist ein gutes Beispiel. Der Pilot hat entschieden, ich lande in diesem Notfall auf Wasser, obwohl die Maschine dies sicher verworfen hätte. Es gibt aber auch andere Situationen, wie beim Anschlag auf den Weihnachtsmarkt am Berliner Breitscheidplatz. Der Fahrer wollte weiterfahren, aber der Lkw hat nach der Kollision gestoppt, was Sie sicherlich für ethisch gut und richtig erachten. All diese Fälle muss man bedenken.

W. K.: Ethiker lieben es ja, Dilemmasituationen zu provozieren, wie das berühmte Gedankenexperiment mit dem heranrasenden Trolley. Jemand steht an der Weiche und bringt entweder 50 Gleisarbeiter oder fünf um. Ein Ingenieur wird sagen: Ein System, das mich in ein solches Dilemma zwingt, ist schlecht entworfen. Es muss doch eine Notbremse geben! Dilemmasituationen wird es immer geben; Ethically Aligned Engineering versucht, sie aufzudecken und durch adäquates technisches Design zu entschärfen.

Aber wie Sie sagen, nicht alle Eventualitäten lassen sich vorhersehen.

W. K.: Deshalb muss man einer KI vertrauen können. Sie wird immer etwas von einer Blackbox haben, aber durch sogenannte Explainable AI kann man wenigstens eine „Graybox“ daraus machen. Vielleicht ist das Verhältnis zwischen einem Jäger und seinem Jagdhund eine Metapher, die zur Klärung beiträgt. Gemeinsam sind sie viel leistungsfähiger als allein. Der Jäger weiß auch nicht genau, was in der Tierseele vorgeht. Aber wer seinen Hund kennt und liebt, weiß sehr wohl, wie er ihn einsetzen kann. Natürlich muss der Hund trainiert werden. Selbst für eine zertifizierte KI muss man ein Gefühl entwickeln. Insofern spielt Ausbildung eine sehr große Rolle. Wenn aber künstliche Intelligenz auf natürliche Dummheit trifft, wird es schlimm.

A. R.: Der Flugunfall in Überlingen 2002 ist ein interessanter Fall. Damals ist eine russische Transportmaschine mit einem aus Italien kommenden amerikanischen Flugzeug zusammengestoßen. Die Anti-Collision-Systeme der beiden Flugzeuge hätten den Crash verhindert, wenn der menschliche Controller, der überlastet war, nicht eingegriffen hätte. Das hat dazu geführt, dass man heute der Technik folgt und der Mensch im Zweifelsfall an zweite Stelle gesetzt wird.

Die Frage der Verantwortung hat auch eine rechtliche Seite. Wer soll bei FCAS für unvorhergesehene Schäden haftbar gemacht werden – der Pilot im Cockpit?

A. R.: Nehmen Sie ein einfacheres Beispiel. Ein ziviles Luftfahrzeug hat eine komplexe Technik – da gibt es immer Phantomerscheinungen, mit denen man niemals rechnen kann – und es ist in ein Luftverkehrssystem eingebunden. In meiner Dienstzeit hatte ich von Zwischenfällen Kenntnis, in denen es absolut schwierig war, Verantwortung an einem Punkt festzumachen. Ein technischer Mangel trifft auf operatives Versagen, und dieser Umstand führt manchmal zum Unfall. Das ist eine Art von Schicksalhaftigkeit, ohne dass man die Verantwortungsfrage damit einfach abtun darf. Wissen Sie, wie man das in der Luftfahrt gelöst hat?

Wie denn?

A. R.: Man schafft ein hohes Maß an Zuverlässigkeit, die technologisch erprobt ist, also bei Luftfahrzeugen etwa ein äußerst geringes und getestetes Maß an Ausfallwahrscheinlichkeit mit Blick auf die flugsicherheitskritischen Teile – und der Rest wird versichert. Wenn die Maschine abstürzt, wird jeder aus der Versicherung abgefunden. Ohne dieses System dürfte man mit all den Verantwortlichkeiten gar nicht fliegen. Ein Professor aus Kanada, Yoshua Bengio, hat vor Kurzem vorgeschlagen, KI ähnlich zuzulassen. Das fände ich spannend. Schwierig wird es allerdings beim Systems of Systems, also Mensch-Maschine-Schnittstellen in kaskadierter Zusammensetzung. So weit sind wir aber noch nicht.

W. K.: Es gibt zwei Gesetze, die eine gewisse Parallelität aufweisen. Einmal das Luftsicherheitsgesetz, das 2006 vom Bundestag verabschiedet und vom Bundesverfassungsgericht kassiert wurde. Für die Situation eines Terrorangriffs mit einem Flugzeug wollte der Gesetzgeber die Verantwortung für den Abschuss nicht beim Piloten belassen, sondern ihm durch ein Regelwerk helfen. Wenn ich das richtig verstehe, drückt das Bundesverfassungsgericht ein Algorithmisierungsverbot aus.

A. R.: Ich frage mich manchmal, ob eine klar messbare Algorithmik, an der viele Experten beteiligt waren, nicht doch besser ist, als die Verantwortung bei einer manchmal auch volatilen Person zu belassen.

W. K.: Dann kam die Coronakrise und die damit verbundene Triage wegen knapper Intensivbetten. Das Triagegesetz ist doch auch ein Algorithmus, aber das Verfassungsgericht hat es nicht beanstandet. Für mich heißt das: Unsere Gesellschaft ist mit sich selbst nicht im Reinen.

Aber kann KI zuverlässig Ethik und völkerrechtliche Normen wie das Diskriminierungsgebot abbilden?

W.K.: Es gibt immer das, was unbedingt eingehalten werden muss, das Recht; nicht nur Völkerrecht, auch die Rules of Engagement. Ich denke, man kann schon algorithmisch erfassen, was konform oder nicht konform ist. Dann gibt es auf der einen Seite die Mission, die erfüllt werden muss, auf der anderen Seite gibt es den tugendhaften Soldaten. Für ihn kann man Lagebilder erzeugen, Entscheidungsoptionen und wahrscheinliche Konsequenzen aufzeigen. Sehr viel schwieriger ist es, ihn dabei zu unterstützen, ein Gefühl für die Situation zu entwickeln und moralisch intakt zu bleiben.

A. R.: Die Frage würde ich gern an Sie zurückgeben. Man kann Ethiker befragen: Bist du so konkret, dass ich von dir erfahren kann, was falsch und was richtig ist? Wenn es dann heißt: "So klar kann ich es nicht sagen", dann kann ein Techniker auch nichts programmieren. Ich bin der Ansicht, dass es ein Stück mehr Praktikabilität in der Ethik braucht. Etwas zugespitzt: Ein Techniker bringt ethisches Handeln in einer Algorithmik unter, solange man ihm klare Kriterien nennt.

Die Frage ist nur: Funktioniert Ethik auf diese Art?

A. R.: Wo ich jedenfalls nicht mitgehe, ist die Aussage, Ethik sei nicht dazu da, Entscheidungen herbeizuführen. Natürlich nicht immer punktgenau, aber es muss schon eine Art Zielkreis sein, sonst brauchen wir sie nicht. Das gilt auch für manche kirchliche Aussage. Wir glauben immer noch, dass wir Jahrzehnte haben, um über eine Technologieentwicklung nachzudenken. Aber wir müssen jetzt eine Ethik einbauen in FCAS oder Drohnen – also was ist aus christlicher Sicht erlaubt und was nicht? Das gilt es in begrenzter Zeit zu beantworten.

Die Entwicklung von FCAS wird von einer AG Technikverantwortung begleitet. Was sind deren Aufgaben?

W. K.: Dieser Arbeitskreis wurde ins Leben gerufen, über die systemtechnischen Konsequenzen einer ethischen Überlegung nachzudenken. Zum ersten Mal wird die Entwicklung eines solchen Systems von Anfang an begleitet. Wie gestalten wir es so, dass wir es beherrschen und nicht das System uns? Wir wollen schließlich einen guten, also auch wirksamen Gebrauch davon machen. Außerdem muss man Anforderungen wie Zulassbarkeit von Anfang an mitbedenken. Und wir müssen die Gesellschaft mitnehmen in diese Diskussion.

Wie gehen Sie in der AG vor?

W. K.: Wir haben Folgendes überlegt: Eine Mission muss erfüllt werden in einer gefährlichen Umgebung. Es gibt jemanden, der wahrnimmt, entscheidet und wirkt, das ist immer ein Jemand. In den Phasen Observe und Orient wird ein Lagebild erstellt, dann kommen Decide und Act und zum Schluss das Assessment; dann beginnt dieser sogenannte OODAA-Loop wieder von vorn. Das Problem ist allerdings, dass er extrem schnell durchlaufen wird, sodass derjenige, der da oben wahrnehmen, entscheiden und wirken muss, maschinelle Unterstützung braucht. Wir haben die OODAA-Loops auf ethisch kritische Stellen untersucht. Observe und Orient sind vielleicht weniger kritisch, trotzdem muss man herausfinden, stimmt es eigentlich, was die KI als Lagebild darstellt? Im Augenblick untersuchen wir die Phasen Decide und Act, indem wir Dilemmasituation provozieren und nach Wegen suchen, sie technologisch zu entschärfen. Dafür muss die Luftwaffe beteiligt sein und Szenarien liefern.

Und der Mensch bleibt in jedem Fall der entscheidende Faktor?

A. R.: Auch im System of Systems mit Drohnen und Flugzeugen besteht FCAS im Kern immer noch aus einem bemannten Luftfahrzeug. Sie können die Datenverbindung zu einem System in der heute von Cybergefahren und elektronischem Kampf geprägten Umgebung im Krieg nicht immer sicherstellen. In Situationen, die ein Automat möglicherweise nicht erkennt oder verarbeiten kann, ist der Pilot mit seiner Erfahrung weiter wichtig. Er ist der human in the loop, er entscheidet letztlich. Wie bereits gesagt, ich würde die Maschine so programmieren, inklusive der ethischen Programmierung, dass sie auf Basis von qualitativen Lagebildern und Empfehlungen von Grund auf weitgehend allein agiert. Aber der Mensch im Cockpit kann jederzeit sagen: Ich möchte trotzdem dies – oder das nicht.

In der Arbeitsgruppe haben Sie den sogenannten Ethical AI Demonstrator entwickelt. Was ist das, wie nutzen Sie ihn?

W.K.: Der AI Demonstrator kann den militärischen Operateuren eine Vorstellung davon geben, was KI in einem konkreten militärisches Szenario kann, was sie gerade noch kann und was nicht. Und dass KI auch gestört werden kann. Explainable AI ist ein übertriebenes Wort, aber der Soldat soll lernen, mit diesen Systemen umzugehen. Ein anderer Aspekt ist, dass wir beispielhaft aufzeigen, welche Unterstützung KI bieten kann, zum Beispiel indem sie die Konsequenzen von Handlungsoptionen schnell durchrechnet. Im Umgang damit gewinnt der Operateur Vertrauen und wir entdecken, wo wir besonders aufpassen müssen. Insofern ist der Ethical AI Demonstrator ein Ethical AI Requirement Definator im Dreieck von, von Luftwaffe, Forschung, Industrie.

A.R.: Die Funktionsfähigkeit soll nicht eingeschränkt werden, sondern es soll Missbrauch oder moralisch verwerfliches Handeln deutlich reduziert werden. Wenn das gelingt, wünsche ich mir, dass sich Ethiker, Techniker und Soldaten gemeinsam freuen, jeder aus seiner Perspektive.

Vor Kurzem wurde von Frankreich und Deutschland der Vorvertrag für das Main Ground Combat System (MGCS) unterschrieben. Wird die Automatisierung alle Teilstreitkräfte früher oder später erfassen?

W. K.: Ja, das ist sozusagen FCAS auf dem Boden. In der Marine gibt es Entsprechendes.

Wie verändert die zunehmende Technisierung und Automatisierung den Soldatenberuf und das Bild vom Soldaten? Braucht die Bundeswehr in Zukunft nur noch Informatiker?

A. R.: Das sind einerseits berechtigte Fragen, die man im Detail beantworten muss. Andererseits ist es auch eine Entwicklung, die seit Generationen voranschreitet. Fragen Sie mal einen Soldaten, der 1960 in den Streitkräften war, ob Kriegführung nicht durch die ersten Computer entmenschlicht wurde.

Es findet also keine „third revolution in warfare“ statt?

A. R.: Ich glaube, dass wir uns gerade kontinuierlich weiterentwickeln. Mit der Operationsführung in einem Landes- und Bündnisverteidigungsfall sind andere Aufgaben verbunden als beim Einsatz in Mali. Wir werden künftig auch von KI unterstützt, um uns gegen einen gut aufgestellten Gegner durchsetzen zu können. Ich bin aber definitiv der Ansicht, dass wir mehr Menschen von Universitäten und Forschungsinstituten benötigen, die etwas von Technologie und ihrem Potenzial verstehen und die eine Schnittstelle in die Streitkräfte bilden müssen. Genauso brauchen wir weiterhin diejenigen, die Operationsführung verstehen und durchdeklinieren können; Sie dürfen nicht das eine mit dem anderen gleichsetzen. Wissen Sie, wie Ihr Navigationsgerät im Auto funktioniert?

Eher nicht …

A. R.: Aber Sie können damit umgehen.

Und was die Innere Führung betrifft: Wird die zunehmende Automatisierung die Vorstellung vom gewissensgeleiteten Individuum nicht stark verändern?

A. R.: Ich habe oft gehört: Die ganze Welt um uns herum verändert sich, aber Innere Führung bleibt konstant. Auf der Ebene der Integration von unseren Streitkräften in die Demokratie trifft das natürlich zu. Konstant bleiben Recht und Gesetz, Auftragstaktik und Gewissen, und die Bundeswehr wird weiterhin eine Parlamentsarmee sein. An anderen Punkten verändert sich Führung, und zwar extrem: Der Brigadekommandeur kann nun durch KI sehen, wie der Trupp um den Baum herumläuft – er läuft rechts, aber er weiß ganz genau, links wäre besser. Soll er wegen der Auftragstaktik nicht eingreifen? Oder wenn KI die angesprochenen Entscheidungszyklen innerhalb von acht Minuten anstatt von acht Stunden durchläuft, noch verbunden mit Dimensionen wie Land und See – dann muss das Verantwortungsgeflecht horizontal wie vertikal völlig neu strukturiert werden. Eine ausgesprochen komplexe Aufgabe, die auch Führung verändern wird. Wenn mit FCAS, wie anfangs angesprochen, eine ganz neue Generation von Waffensystemen kommt, müssen wir all diese Fragen geklärt haben, mit Blick auf Ethik genauso wie mit Blick auf die Operationsführung.

W. K.: Mir macht ein anderer Aspekt Sorgen. Sie kennen das berühmte Böckenförde-Diktum: Die freiheitlich-demokratische Gesellschaft beruht auf Voraussetzungen, die sie selbst nicht garantieren kann. Die Väter der Inneren Führung wie General Baudissin waren Persönlichkeiten, die durch und durch christlichen Geist geatmet haben. Sind die Böckenfördeʼschen Voraussetzungen noch gegeben, wenn vielleicht 50 Prozent der Soldatinnen und Soldaten nicht konfessionell gebunden sind? Was wird unsere Ethik sein? Das ist auch eine Aufgabe der ethischen Bildung in den Streitkräften.

Zum Abschluss ein konkreter Fall: In den USA hat man vor Kurzem KI einen Dogfight fliegen lassen. Zwar wird betont, dass man nicht auf Piloten verzichten will. Aber wird KI den Menschen nicht doch irgendwann verdrängen?

A. R.: Ich meine gar nicht, dass ich den Menschen immer an vorderster Front sehe, also etwa im Cockpit. Ich habe in Erinnerung: 1139 hat Papst Innozenz II. die Armbrust verboten – weil es nicht als ritterlich galt, aus der Entfernung zu schießen. Dennoch hat sich über all der Zeit ein Gefechtsfeld mit immer größeren Distanzen entwickelt. Ich wurde noch auf dem Luftfahrzeug Phantom ausgebildet. Als wir damals eine erste Software zur Weiterentwicklung von Angriffsverfahren aufspielten, war das eine Revolution! Heute halten wir das für völlig normal. Wenn Sie also von Entmenschlichung reden, davon, dass nur noch Maschinen gegeneinander kämpfen, dann wird diese Debatte seit 1139 geführt.

Wer über die Technologie verfügt, wird immer mit Abstand arbeiten, weil das die Menschen weniger gefährdet; erst recht, wenn es präziser und zugleich ethischer ist. Deshalb ist es völlig normal, dass die Amerikaner einen Dogfight mit KI probieren. Es wird weiterhin operative und taktische Verantwortlichkeiten geben, wenn auch neu strukturiert. Ohne Soldaten wird es aber nicht gehen.

W. K.: Solche Luftkämpfe ähneln Spielen, und das kann KI sehr gut. Vor einiger Zeit hat eine KI mit einem unexpected move gegen einen erfahrenen Großmeister im Go gewonnen. Manchmal heißt es, wir bauen um die KI eine Box mit Regeln, falls sie Unsinn macht. In diesem Fall hätte man damit den Sieg verspielt! Ich glaube, gerade bei Drohnen und Drohnenschwärmen muss man KI schon von der Leine lassen.

A. R.: Ein nicht deterministisches System einzusetzen, widerspricht allerdings allen bisherigen Zulassungsgrundlagen in der Luftfahrt. Aus diesem Dilemma kommt man nur heraus, indem man eine KI arbeiten lässt und außenherum eine solche limitierende Box baut. Wo immer die KI etwas tut, was nicht sein darf, wird es unterbunden. Aber um ihre Fähigkeiten auszunutzen, muss man sie auch in ihrer Exzellenz nutzen dürfen! Es wäre fatal, wenn alle anderen das täten, nur wir nicht.

Herr General Rieks, Herr Professor Koch, vielen Dank für das ausführliche Gespräch.

Die Fragen stellte Rüdiger Frank. Mitarbeit: Kristina Tonn und Heinrich Dierkes.

Weitere Informationen zu FCAS und zur AG Technikverantwortung:
https://www.fcas-forum.eu/