Sicherheitsdienstleister untersuchen, wie Cyberkriminelle ChatGPT & Co. nutzen. Dabei stellt sich heraus, dass sie große Sprachmodelle zwar einsetzen, deren Möglichkeiten jedoch eher für überbewertet und überflüssig halten. Gefährlich ist die Kombination aus Kriminellen und ChatGPT aber trotzdem.

Vor genau einem Jahr wurde der Chatbot ChatGPT veröffentlicht und hat praktisch aus dem Stegreif großen Wirbel verursacht. Die Möglichkeiten des großen Sprachmodells (Large Language Model: LLM) sind tatsächlich enorm, unter anderem durch seine Vielseitigkeit. So kann ChatGPT auch Code schreiben oder verbessern. Von Anfang an wurde daher befürchtet, dass die KI auch genutzt werden könnte, um Malware zu generieren.

Dafür setzen kriminelle Hacker ChatGPT aber bisher kaum ein, wie zwei Sicherheitsunternehmen in getrennten Untersuchungen herausgefunden haben. Kriminelle Experten hielten das Modell sogar eher für überbewertet oder gar überflüssig, schreibt Sophos in einem aktuellen Bericht. Zu einem ähnlichen Ergebnis war zuvor schon Trend Micro in einer Untersuchung gekommen.

Um einen Überblick über den kriminellen KI-Einsatz zu bekommen, haben die Sicherheitsdienstleister Chats in Darknet-Foren ausgewertet, in denen Cyberkriminelle über ChatGPT & Co. diskutieren. Sophos stellte fest, dass KI dort kein heißes Thema ist. In zwei Foren fanden die Experten des Unternehmens gerade mal rund 100 Beiträge dazu, während es fast 1000 zu Kryptowährungen gab.

Profis haben Bedenken

Sie vermuten unter anderem, dass viele Cyberkriminelle die generative KI noch als in den Kinderschuhen steckend ansehen. Diskussionen darüber in Darknet-Foren seien zudem nicht so lukrativ wie in sozialen Netzen, wo man damit große Aufmerksamkeit gewinnen könne.

02:39 min

Politik 27.11.23

Experte erklärt KI-"Training" So konnte das Scholz-Video als Fake entlarvt werden

Viele Kriminelle fürchteten auch, durch den KI-Einsatz Spuren zu hinterlassen, die Antivirus-Programme entdecken könnten, so Sophos. Ebenso könnte ihnen Software auf die Schliche kommen, die Endgeräte in Netzwerken in Echtzeit überwacht (Endpoint Detection and Response: EDR).

Die Einwände gegen KI haben Hand und Fuß. Bei den Foren-Mitgliedern handelt sich zwar oft um Verbrecher, aber unter ihnen sind sehr fähige Hacker, die die komplizierte neue Technik einzuschätzen wissen. Wie Trend Micro und Sophos feststellen konnten, nutzen sie ChatGPT & Co. daher so gut wie gar nicht zur Generierung von Malware.

Code verbessern und Social Engineering

Stattdessen setzen sie große Sprachmodelle wie andere Entwickler überwiegend dazu ein, um ihren Code zu verbessern. Kriminelle verwenden ChatGPT außerdem gerne für sogenanntes Social Engineering, um ihre Spam- und Phishing-Kampagnen erfolgreicher zu gestalten. Dazu benötigen sie unter anderem täuschend echt geschriebene E-Mails, die Nutzer dazu verleiten, verseuchte Anhänge zu öffnen oder auf gefährliche Links zu klicken.

Man solle sich keine Hoffnung machen, eine Phishing-Mail anhand von Sprachfehlern zu erkennen, schrieb schon im Frühjahr Cameron Camp vom Sicherheitsunternehmen ESET. Experte. Die KI beherrsche eine Muttersprache wahrscheinlich besser, als Nutzer dies tun.

Jailbreaks sind ein großes Thema

Diverse Filter sollen verhindern, dass ChatGPT schädliche, illegale oder unangemessene Fragen beantwortet, die Kriminelle natürlich besonders interessieren. Dabei könnte es sich auch um die Planung eines Verbrechens in der realen Welt handeln.

Daher ist ein großes Thema in den Darknet-Foren, wie man diese Schranken überwindet. Gefragt sind speziell sogenannte Jailbreaks, die praktisch freien Zugang gewähren. Berühmt-berüchtigt ist seit frühen ChatGPT-Tagen DAN, was für "Do Anything Now" ("Tu jetzt alles") steht. Der Code wird ständig angepasst, es ist eine Art Katz-und-Maus-Spiel zwischen den ChatGPT-Entwicklern und Jailbreakern.

Noch häufiger würden in den Darknet-Foren gehackte ChatGPT-Konten zum Verkauf angeboten, schreibt Sophos. Dies sei wenig überraschend. Unklar sei jedoch, welche Zielgruppe diese Konten ansprächen und was Käufer damit anstellen könnten. Möglicherweise griffen sie auf frühere Abfragen zu, um vertrauliche Informationen zu erhalten, mutmaßen die Experten. Die Käufer könnten den Zugriff auch nutzen, um ihre eigenen Abfragen durchzuführen oder die Wiederverwendung von Passwörtern zu überprüfen.

Kriminelle LLMs bisher vor allem heiße Luft

Besonders interessant finden die Sicherheitsexperten, dass in den Foren auch verbrecherische Modelle angeboten wurden und werden. Die bekanntesten sind WormGPT und FraudGPT.

WormGPT wurde im Juni dieses Jahres veröffentlicht und basierte angeblich auf dem Modell GPTJ. Der Chatbot kostete 100 Euro pro Monat oder 550 Euro jährlich. Im August stellte ihn der Entwickler allerdings schon wieder ein - angeblich wegen der großen medialen Aufmerksamkeit.

Er schrieb aber auch: "Letztendlich ist WormGPT nichts anderes als ein uneingeschränktes ChatGPT. Jeder im Internet kann eine bekannte Jailbreak-Technik anwenden und die gleichen, wenn nicht sogar bessere Ergebnisse erzielen." Etliche Foren-Mitglieder vermuteten Betrug, schreibt Sophos.

Ähnlich verhält es sich mit FraudGPT. Außerdem wird an den Fähigkeiten des Modells gezweifelt. So habe ein Mitglied im Chat gefragt, ob es tatsächlich Malware erzeugen könne, die Antivirus-Software nicht entdecken kann. Er erhielt eine klare Antwort.

Jede Malware wird einmal erkannt

Nein, das sei unmöglich, heißt es darin. LLMs seien dazu schlicht nicht in der Lage. Sie könnten Code weder übersetzen noch über die Sprache hinaus, in der er geschrieben wurde, "verstehen". Ebenso gäbe es so etwas wie Malware, die nicht entdeckt werden kann, nicht, so der Verfasser. Früher oder später fliege jeder Schadcode auf.

Zweifel an Echtheit und/oder Leistungsfähigkeit gibt es auch bei allen anderen bisher bekannt gewordenen kriminellen Chatbots. Trend Micro schreibt dazu, man glaube trotz aller Kontroversen, dass WormGPT höchstwahrscheinlich das einzige Beispiel für ein tatsächlich benutzerdefiniertes LLM gewesen sei.

Erfahrene Kriminelle warten ab, Scriptkiddies feiern

Für versierte Cyberkriminelle gäbe es keinen Bedarf, "ein separates LLM wie ChatGPT zu entwickeln, da ChatGPT bereits gut genug für ihre Bedürfnisse funktioniert", so das Resümee von Trend Micro. Sie nutzten KI auf die gleiche Weise wie legitime Programmierer. Auch Sophos fand bei ihnen kaum Hinweise darauf, mithilfe von KI Malware zu generieren. Lediglich für einzelne Angriffswerkzeuge werde sie eingesetzt. Dies könne sich in Zukunft aber ändern.

Ein Bonus für erfahrene Cyberkriminelle sei, dass sie ihren Code jetzt ohne großen Aufwand verbessern und Malware auch in Computersprachen schreiben könnten, die sie nicht so gut beherrschen. Sophos stellte zudem fest, dass sie mit KI-Hilfe auch alltägliche Programmieraufgaben erledigen oder ihre Foren verbessern.

Beide Sicherheitsunternehmen sehen das Problem, dass durch den KI-Einsatz die Einstiegshürde, ein krimineller Hacker zu werden, niedriger gesetzt wurde. Jeder mit einem gebrochenen moralischen Kompass könne jetzt ohne Programmierkenntnisse mit der Entwicklung von Malware beginnen, so Trend Micro.