Russische KI agiert autonomDie Drohne entscheidet selbst, wen sie tötet
Von Frauke Niemeyer
ntv bei Google bevorzugenDie Drohne, die bei Saporischschja im Juli drei Ukrainer tötete, hatte ihr Vorgehen selbst entschieden. Machen die Maschinen bald ganz allein Jagd auf Menschen?
Entscheiden zukünftig Waffen selbst darüber, wer in einer Kriegssituation am Leben bleibt, wer stirbt und was sie überhaupt angreifen wollen? Der Ukraine-Krieg kommt dieser Zukunft offenbar Stück für Stück näher.
Anfang Juli greift eine russische Drohne in der Nähe der ukrainischen Frontstadt Saporischschja eine Tankstelle an. Dabei verfehlt sie jedoch ihr Ziel, zerschellt und explodiert stattdessen an einer Mauer. Im Splitterhagel der zerstörten Drohne sterben drei Menschen.
Es könnte eine der vielen Meldungen aus der Ukraine sein über das tragische Sterben von Zivilisten. Es ist laut ukrainischen Militärs und Forensikern, die den Fall untersuchten, sehr viel mehr als das. Denn die Drohne, die dabei versagte, präzise ihr Ziel anzusteuern und ungewollt gegen die Mauer flog, hatte diese Entscheidung selbst getroffen.
Die Drohne brauchte keinen Piloten
Zu diesem Schluss zumindest kommen die ukrainischen Fachleute, die nach der tödlichen Explosion die Trümmer untersuchten. Sie fanden dort laut Bericht der New York Times keine Antennen, die das Fluggerät mit einem zuständigen Drohnenpiloten verbunden hätten. Das brauchte die Drohne auch gar nicht. Denn stattdessen fanden die Experten ein Jetson Orin.
Ein sehr kleines, unscheinbares Gerät, solch ein Jetson Orin. Ein Computermodul aus der Produktpalette des Konzerns Nvidia, für jedermann privat zu erwerben. Es ist eine zentrale Recheneinheit, die in einem Gerät Daten auswerten kann. Sehr viele Daten, sehr schnell, ohne Netz und Verbindung zu irgendeiner Instanz.
Das Modul in der russischen Drohne hat sie dazu befähigt, ihre eigenen Erkenntnisse - die Bilder der eingebauten Kamera - selbst auszuwerten und auf dieser Basis autonom zu entscheiden, was sie als Nächstes tut. Das Gerät traf eine Entscheidung, die drei Menschenleben forderte.
Die Experten mutmaßen, dass die Drohne im Anflug auf die Tankstelle und nach Lage der Dinge selbstständig entschied, ihren Angriff gegen dort vorhandene Propantanks zu richten. Taktisch gesehen vermutlich keine schlechte Idee, nur standen die Tanks wohl so ungünstig, dass die Drohne gegen die Wand krachte.
Warum zielte sie auf die Gastanks? Laut Analyse der Ukrainer war sie zuvor dafür "ausgebildet" worden, solche Gasspeicher zu erkennen und dann zu attackieren. Eine handliche KI-Waffe, die vollständig autonom handeln soll und Entscheidungen trifft über Leben und Tod. "In ein paar Jahren werden wir in einem Terminator-Film leben", zitiert die New York Times die düstere Prognose eines ukrainischen Kommandeurs.
Weiß die KI, was "Leben" ist?
Mit dem eigenen Navigieren zwischen den vorhandenen Hindernissen vor Ort war die Drohne offensichtlich noch überfordert. Die als Angriffsziel geeigneten Gastanks hingegen erkannte die KI im Gerät, weil die Software zuvor gelernt hatte, wie solche Tanks aussehen und dass sich bei einem Angriff eine große Explosion erwirken lässt. Ebenso kann die KI-Waffe lernen, dass sie Militärtransporter angreifen sollte, dass man sich von Stacheldraht fernhalten muss, dass auch Wasserläufe eine Gefahr darstellen.
Weiß eine KI-Waffe auch, dass es das Internationale Recht verbietet, gezielt Zivilisten anzugreifen? Weiß sie, dass Kinder und Jugendliche ihr ganzes Leben noch vor sich haben und es darum besonders tragisch wäre, wenn ein junger Mensch bei einem Angriff tödlich getroffen würde? Das weiß die KI nicht, wenn die Programmierer nicht wollten, dass sie es weiß. Oder wenn die Programmierungs-Software nicht wusste, was Menschenleben überhaupt sind.
Die drei Ukrainer, eine 19-jährige Studentin und zwei Männer in der 40ern, kamen mutmaßlich bei dem ersten dokumentierten Angriff der russischen Armee gegen Zivilisten zu Tode, in dem eine Maschine ihren Tod beschloss.
Dieser Punkt ist für die Analyse wichtig, denn der Vorfall in Saporischschja ist nicht der erste Angriff eines autonomen Waffensystems. Bei weitem nicht. Autonomie in Waffensystemen gibt es bereits seit Jahrzehnten.
Schon seit den 1980er Jahren sind verschiedene Kriegsgeräte in der Lage, ihre Aufgabe unabhängig von menschlicher Kontrolle aufzuführen. Das Fliegerabwehrsystem Patriot etwa, das die Ukraine gegen ballistische Raketen und Marschflugkörper schützt, ist ein solches Gerät. Ebenso der Iron Dome der israelischen Armee.
Patriot hat die Aufgabe, innerhalb weniger Sekunden eine anfliegende Rakete zu erkennen, ihre Flugbahn vorauszuberechnen, zu analysieren, ob sie bei einem Einschlag Personen oder einem schützenswerten Objekt gefährlich würde, und gegebenenfalls einen Lenkflugkörper abzufeuern, der die Rakete aus der Bahn rammt. All das könnte schlicht nicht rechtzeitig stattfinden, wenn in diesen Ablauf auch noch ein Mensch integriert wäre, der an irgendeiner Stelle auf "Okay" drücken muss. Der Mensch, selbst ein bestausgebildeter Elitesoldat, wäre angesichts des notwendigen Tempos, mit dem Patriot gegen eine angreifende Rakete agiert, zu langsam.
Patriot arbeitet schon immer autonom
Was Patriot jedoch seit mehr als 40 Jahren autonom und für viele westeuropäische Armeen tut, nämlich extrem schnell fliegende Raketen abzuwehren, richtet sich niemals gegen Menschen. Darum hatte bisher niemals jemand ein Problem mit der Autonomie dieses Systems.
Im Fall der russischen Drohne ist genau dies das entscheidend Neue: Die russische Armee programmiert und trainiert ihre Flugwaffen für den selbstständigen Einsatz jenseits der Front, außerhalb des Kampfgeschehens und gegen Menschen. Sie trainiert, um ihnen perspektivisch sämtliche Entscheidungen zu überlassen. Dort, wo Schulen sind und Krankenhäuser, wo 19-Jährige zufällig an Tankstellen stehen.
Auch die Ukrainer programmieren und trainieren ihre Flugwaffen im autonomen Kampf, etwa die Hornets im Einsatz gegen russische Logistik auf der Krim. In vermutlich nicht allzu ferner Zukunft könnte jede Drohne in diesem Krieg mittels KI und ohne Kontrolle Jagd auf ihre Ziele machen. Das war in der Vergangenheit nicht so.
Beide Kriegsparteien, Russen wie Ukrainer, nutzen bereits seit Längerem KI in ihren Drohnen. Allerdings bislang nicht völlig autonom, sondern für die letzte Phase des Zielanflugs, um gegen Störangriffe des Gegners resilient zu sein. Wird die Funkverbindung zum Drohnenpiloten gekappt, hält das Fluggerät trotzdem weiter auf das Ziel zu und führt den programmierten Angriff durch. Wenn die Russen ihre Testphase erfolgreich abschließen, brauchen die Drohnen keinen Piloten mehr. Die Regie übernimmt dann Jetson Orin.
Dass Nvidia sein KI-Modul laut einer Stellungnahme nicht für militärische Anwendungen konzipiert hat, ist dabei unerheblich. Auch das Verbot, die Computermodule nach Russland zu verkaufen, greift offensichtlich nicht. Das Unternehmen gibt an, nicht nachverfolgen zu können, wohin seine Produkte möglicherweise weiterverkauft werden.
Laut dem lokalen Militärgouverneur von Saporischschja flog die Drohne Anfang Juli ihren tödlichen Tankstellen-Angriff nicht allein. Sie kam mit etwa einem halben Dutzend weiterer Drohnen, von denen keine ein Funksignal zu einem Piloten sendete. Eine Angriffswelle. Diese Formation kennen die Ukrainer auch aus anderen russischen KI-Tests.
Wer haftet für Kriegsverbrechen?
Die Module lernen schnell. Ein Fehler wie bei dem gescheiterten Propantank-Angriff wird den Drohnen vermutlich schon bald nicht mehr unterlaufen. Darum erscheint manchen Militärexperten der Krieg mittels KI perspektivisch sogar sicherer als ein Krieg von Menschen entschieden und geführt.
Doch entstehen durch die KI im Krieg gravierende Probleme, die der Computer selbst nicht lösen kann. Etwa die Frage, wer für einen Angriff verantwortlich ist. Wenn bei einer Attacke auf Zivilisten Völkerrecht gebrochen wird, wer ist dafür in Haftung zu nehmen? Schließlich hat die KI selbst entschieden, was sie als Nächstes tun wird.
Als wichtigsten, moralischen Einwand gegen KI-Krieg ohne Kontrolle verweist der Sicherheitsexperte Frank Sauer darauf, dass es "die Würde des Menschen verletzt, Entscheidungen über Leben und Tod auf dem Schlachtfeld an Algorithmen zu delegieren". Das Töten im Krieg auf Maschinen auszulagern, die den Tötungsauftrag dann automatisch "abarbeiten", mache "Menschen zu Objekten".
Der Verzicht auf Antennen bei den angreifenden Drohnen lässt darauf schließen, dass die russische Armee genau darauf abzielt, den Tötungsprozess zu automatisieren. Auch ukrainische Drohnen sind dazu in der Lage, technisch ist das keine Herausforderung mehr. Die Herausforderung liegt darin zu entscheiden, ob man diesen Weg als Streitmacht gehen will oder nicht. Und ob man ihn vielleicht nicht gehen will, obwohl der Gegner ihn geht.