Für den Frieden: KI setzt in Kriegssimulation Atomwaffen ein
US-Forscher haben untersucht, wie sich große Sprachmodelle in der Simulation eines fiktiven politischen Konflikts verhalten. Die Ergebnisse sind beunruhigend.
(Bild: Gorodenkoff/Shutterstock.com)
Forscher des Georgia Institute of Technology, der Stanford University, der Northeastern University und der Hoover Wargaming and Crisis Simulation Initiative haben das "Eskalations-Risiko" untersucht, das entsteht, wenn große Sprachmodelle militärische und diplomatische Entscheidungen treffen würden. Dafür prüften sie das Verhalten von fünf technisch führenden großen Sprachmodellen in fiktiven Krisenszenarien. Alle fünf Modelle zeigten dabei "schwer vorhersagbare Eskalationsmuster" schreiben Juan-Pablo Rivera und Kollegen in ihrem Paper, das auf der Preprint-Plattform arXiv.org veröffentlicht wurde. In Extremfällen setzen die Modelle auch Atomwaffen ein.
Im November 2022 hatte zwar bereits ein Sprachmodell von Meta das Strategiespiel Diplomacy gemeistert. Allerdings wurden die Entscheidungen in dem Spiel nicht allein von einem großen Sprachmodell getroffen, sondern mithilfe eines Entscheidungsmoduls, das zuvor mit Verstärkungslernen trainiert wurde. Die Simulation von Rivera und Kollegen beruht hingegen im Kern darauf, dass ein Sprachmodell jeweils acht verschiedene "Nations-Agenten" steuert. Die eigentliche Simulation funktioniert dann so ähnlich wie in der Multi-Agenten-Simulation "Smallville" nur nicht so friedlich und kooperativ.
"Nations-Agenten" am Zug
Jeder dieser Agenten bekommt über seinen Prompt eine Vorgeschichte und eine Vorgabe für seine Ziele. "Wir haben manche Nationen als revisionistisch modelliert", schreiben die Autoren. "Einige wollen die herrschende Weltordnung verändern, andere den Status quo erhalten". Pro Runde wurden alle Agenten dann jeweils mit dem Prompt über die aktuelle Situation – die Aktionen der anderen Agenten und den aktuellen Stand einer Reihe von "Zustandsvariablen" informiert. Dann sollten sie aus insgesamt 27 vorgegebenen Aktionen eine Reihe möglicher Handlungen wählen, und der nächste Agent war am Zug. Um die Aktionen der Agenten besser analysieren zu können und ihre Fähigkeiten zu logischer Schlussfolgerung zu verbessern, mussten die Agenten zudem jedes Mal erklären, warum sie die betreffende Aktion gewählt hatten. Die Simulationsdaten und den Code stellten die Forscher online.
Das Spektrum der Aktionen für die Agenten reicht von friedlichen Handlungen wie etwa der Aufnahme von Handelsbeziehungen oder Verhandlungsrunden über Investitionen in das Militär beziehungsweise die Rüstungsindustrie bis hin zur Drohung oder gar dem Einsatz von Atomwaffen. In jeder Runde berechnet die Software dann einen "Escalation Score", der misst, wie zugespitzt die Situation ist.
Das Team testete GPT-4 in zwei verschiedenen Varianten, GPT-3.5, Claude 2.0 und Llama 2 Chat (70b) in drei unterschiedlichen Ausgangssituationen: einem neutralen Szenario, einem Cyberangriff von einem Land auf ein anderes und einer militärischen Invasion in eines der Länder. Dabei stellten die Forscher unabhängig vom Szenario fest, dass alle KI-Modelle zu einer Wettrüstungsdynamik neigen. Vor allem bei GPT-3.5 gefolgt von GPT-4 war die Entwicklung der Eskalation am stärksten, während sich Claude-2.0 und Llama-2-Chat tendenziell friedlicher verhielten. Besonders irritiert zeigte sich das Forschungsteam jedoch von plötzlich auftretenden Sprüngen im Eskalations-Score, die scheinbar ohne jede Vorwarnung auftreten konnten und Szenarien, in denen die Modelle mit kruden Begründungen, wie "Wir haben Atomwaffen, also sollten wir sie auch nutzen", einer klassischen Erstschlagslogik folgten – den Konflikt also maximal zu eskalieren, um sie über die Vernichtung des Gegners zu deeskalieren.
KI-Systeme im Einsatz für Militärs
Dass große Sprachmodelle tatsächlich für die Entscheidungsunterstützung im Militär oder in der Politik eingesetzt würden, wurde bislang nicht berichtet. Weltweit sind allerdings mittlerweile eine ganze Reihe von KI-Systemen im Einsatz, die Militärs taktisch unterstützen sollen. So gab beispielsweise das israelische Militär bekannt, dass es KI-Tools eingesetzt habe, um die Truppen vor bevorstehenden Angriffen zu warnen und Ziele für Operationen vorzuschlagen. Auch bei dem aktuellen Militäreinsatz im Gaza-Streifen verwendet die israelische Armee nach eigenen Angaben ein System namens "The Gospel", das "feindliche Kombattanten und Ausrüstung" identifizieren und "potenzielle militärische Ziele markieren" soll. Ähnliche Systeme werden von Rüstungsherstellern weltweit entwickelt und vermarktet.
Die KI-Komponenten in diesen Systemen ist kein großes Sprachmodell, aber das muss nicht so bleiben. Das Unternehmen Palantir präsentierte 2023 seine sogenannte Artificial Intelligence Platform (AIP). Das System besteht aus einem großen Sprachmodell, das nach Angaben von Palantir auf diverse andere Militärprodukte des Unternehmens zugreifen kann. In einem Demo-Video auf YouTube warnt die Software den Benutzer vor einer potenziell bedrohlichen, feindlichen Bewegung. Sie schlägt dann vor, eine Drohne zu schicken und skizziert drei mögliche Pläne, um die angreifenden Kräfte abzufangen. Ob das Ganze nur ein Konzept ist, oder dahinter ein reales Produkt steht, ist nicht bekannt.
Die Autoren der neuen Studie sind sich darüber im Klaren, dass ihre Simulationen stark vereinfacht sind. Dennoch raten sie bezüglich der Integration großer Sprachmodelle in militärische und diplomatische Entscheidungen zu "großer Vorsicht", denn ein solcher Einsatz berge eine Menge Risiken, die "bisher nicht gänzlich verstanden" sind, durch das unvorhersehbare Verhalten der Modelle. Zudem sei auf der Grundlage der bisherigen Untersuchungen "keine Extrapolation der Ergebnisse" möglich. Mehr Forschung auf diesem Gebiet sei daher "unbedingt notwendig".
(wst)