Notizen hinterlassenKI-Modell von OpenAI war tagelang unbemerkt auf Hacker-Tour
Der bisher beispiellose Ausbruch eines KI-Modells von OpenAI aus seiner Testumgebung erschüttert die Branche. Viele Details werden erst jetzt bekannt. Insidern zufolge soll die KI schon deutlich länger ungesehen agiert haben. Es gibt aber noch mehr Hinweise auf seltsames Verhalten.
Das autonom agierende KI-Modell des Entwicklers OpenAI, das die Technologiefirma Hugging Face angegriffen hat, war nach Angaben von Insidern tagelang auf einer Hacker-Tour, ohne dass OpenAI dies bemerkte. Demnach habe das Programm, das mit wenig oder gar keiner menschlichen Aufsicht komplexe Aufgaben ausführen kann, bereits am 9. Juli versucht, aus seiner beschränkten Testumgebung auszubrechen.
Laut Thomas Wolf, dem Mitbegründer von Hugging Face, begann der Hackerangriff auf sein Unternehmen zwei Tage später und dauerte bis zum 13. Juli. Hugging Face dient als Speicher für KI-Werkzeuge und KI-Modelle. Es dauerte mehrere Tage, bevor OpenAI entdeckte, dass sein eigener autonomer KI-Agent hinter dem Angriff steckte. Laut Wolf und drei mit einer Untersuchung des Vorfalls befassten Personen hätten OpenAI und Hugging Face zum ersten Mal um den 20. Juli miteinander darüber gesprochen.
Die Mitteilung von OpenAI am 21. Juli, dass einer seiner KI-Agenten außer Kontrolle geraten und bei Hugging Face eingedrungen war, sorgte für weltweites Aufsehen. Viele Details des Angriffs wurden jedoch erst jetzt bekannt, darunter, wie lange der Agent eigenmächtig handelte und dass OpenAI erst spät davon erfuhr. Eine OpenAI-Sprecherin sagte dazu, es gebe "mehrere Ungenauigkeiten" in der Berichterstattung, gab dazu auf Nachfrage jedoch keine Details. Das FBI lehnte eine Stellungnahme zu dem Bericht ab.
Hugging Face bereite eine öffentliche Chronologie des Angriffs vor, sagte Hugging-Face-Mitbegründer Wolf. Zu den Vorgängen bei OpenAI könne er sich nicht äußern. In einer Stellungnahme teilte OpenAI mit, der Angriff sei beispiellos und markiere "einen wichtigen Moment für die KI-Sicherheit". Man prüfe den Vorfall mit externen Beratern und werde schließlich einen technischen Bericht veröffentlichen.
Unbeaufsichtigte Agenten?
Laut drei befragten Cybersicherheitsexperten wirft der Kontrollverlust von OpenAI über seinen KI-Agenten neue Fragen zu den Sicherheitsverfahren des Unternehmens auf: "Bedeutet das, dass sie den KI-Agenten unbeaufsichtigt ließen und nicht merkten, was er tat? Oder wussten sie es vielleicht und wussten nicht, wie sie ihn eindämmen konnten? Beides ist gleichermaßen gefährlich und alarmierend", sagte Marley Smith von der gemeinnützigen Organisation World Ethical Data Foundation.
Der Vorfall begann, als OpenAI die Cybersicherheitsfähigkeiten eines Agenten testete. Dieser wurde von zwei der fortschrittlichsten Modelle von OpenAI angetrieben: GPT-5.6 Sol und einem noch unveröffentlichten Modell, das OpenAI als "noch leistungsfähiger" beschrieben hat. Nach Angaben von drei Insidern gab es zu diesem Zeitpunkt bereits Anzeichen für ein seltsames Verhalten der OpenAI-Technologie.
In einem Fall habe ein KI-Agent offenbar Notizen für zukünftige Versionen seiner selbst hinterlassen. Die Notizen seien in einem Teil der OpenAI-Infrastruktur gefunden worden. Sie hätten Anweisungen enthalten, wie sich die Agenten von den internen Beschränkungen von OpenAI befreien könnten, sagten die Insider. Bei früheren Tests der Modelle habe es zudem Fälle gegeben, in denen Überwachungssysteme abgeschaltet worden seien, sagte eine der mit der Angelegenheit vertrauten Personen. Reuters konnte nicht feststellen, ob diese Vorfälle den KI-Agenten betrafen, der am 11. Juli Hugging Face angriff.
Mitarbeiter können kaum Schritt halten
Nach Angaben von zwei Insidern stellte OpenAI erst nach dem 16. Juli fest, dass sein eigener KI-Agent für den Hackerangriff verantwortlich war. Zuvor hatte Hugging Face in einem Blogbeitrag mitgeteilt, das Unternehmen sei von einem "autonomen KI-Agentensystem" gehackt worden. Demnach verging mindestens eine Woche zwischen den ersten Anzeichen für ein beunruhigendes Verhalten des KI-Agenten und der Erkenntnis von OpenAI, dass sein KI-Agent für den Angriff verantwortlich war. Zwei mit der Untersuchung des Unternehmens vertraute Personen sagten, am Wochenende vom 18. auf den 19. Juli hätten Mitarbeiter von OpenAI in internen Protokollen Hinweise auf Aufzeichnungen entdeckt, die zeigten, dass der KI-Agent aus den Testbeschränkungen ausgebrochen war.
Reuters konnte nicht feststellen, was OpenAI veranlasste, die Logs zu durchsuchen. Vier mit den Trainingspraktiken von OpenAI vertraute Personen sagten, das Unternehmen führe oft mehrere verschiedene Modellbewertungen gleichzeitig aus. Diese arbeiteten alle mit hoher Geschwindigkeit und erzeugten so enorme Datenmengen, dass die Mitarbeiter manchmal Schwierigkeiten hätten, damit Schritt zu halten. Als OpenAI Hugging Face alarmierte, hatte das Unternehmen bereits das FBI eingeschaltet, um den Angriff zu melden, sagte ein Insider. Reuters konnte nicht feststellen, ob die Polizeibehörde daraufhin eine Untersuchung einleitete.
Autonome Agenten gelten als einer der vielversprechendsten Bereiche der KI-Branche. Befürworter rechnen mit einer großen Zahl von virtuellen Mitarbeitern, die die Produktivität steigern. Die größere Autonomie der KI-Modelle birgt jedoch auch das Risiko unerwarteten Verhaltens. "Die Modelle lügen, sie betrügen, sie hacken", sagte Jeffrey Ladish von der Forschungsorganisation Palisade Research. Der OpenAI-Vorfall werfe grundsätzlich Fragen darüber auf, wie viel die führenden KI-Unternehmen in Sicherheitsmaßnahmen investierten, während sie sich in einem Wettlauf um die besten Modelle befänden. Es müsse eine staatliche Aufsicht geben, "denn sonst wird es nicht passieren", sagte Ladish.