Social Engineering war von Anfang an ein Grundpfeiler der Cyberkriminalität. Anders als früher nutzen Cyberkriminelle heute jedoch KI für ihre Betrugsmaschen. Sie erstellen Phishing-Mails sowie Dialoge in mehreren Sprachen, wodurch einige der wichtigsten Faktoren eliminiert werden, anhand derer bisher Scamming-Versuche erkannt wurden.
KI-gestütztes Social Engineering bedeutet allerdings nicht nur eine Verbesserung von Grammatik und Syntax in Phishing-Mails. Durch gutes „Prompt Engineering“ sind Bedrohungsakteure immer häufiger in der Lage, den Sprachduktus von bestimmten Personen oder Institutionen fehlerfrei zu imitieren. Das bedeutet, dass die E-Mail nicht nur gut lesbar ist, sondern auch einer authentischen E-Mail zum Verwechseln ähnlich sieht. Banknachrichten, News und Social-Media-Posts sowie gestohlene Kommunikationsdaten können zudem als Trainingsmaterial verwendet werden, um sinnvolle Zusammenhänge zu erschließen und sogenannte „Spear Phishing“-Mails zu generieren.
Aus diesem Grund ist es äußerst wichtig, wie die NIS2-Richtlinie bereits fordert, auch die Supply Chain in die Cyberrisikobetrachtung miteinzubeziehen: Wenn Hacker Zugriff auf E-Mail-Konten von Geschäftspartnern erlangen und relevante Konversationen herausfiltern, ist es im Anschluss für sie ein Leichtes, dem Empfänger eine entsprechend authentisch wirkende bösartige Phishing-E-Mail zukommen zu lassen. Was Cyberakteure früher in mühevoller Arbeit selbst erstellen mussten, wird nun durch die KI automatisiert. Dadurch sind Spear-Phishing-Mails nicht mehr nur aufgrund ihrer Qualität, sondern aufgrund ihrer Häufigkeit ein Problem.
Diese neue KI-gestützte Präzision beschränkt sich allerdings nicht nur auf Texte: KI kann auch Stimmen und Bilder generieren. Audio- und Video-Deepfakes, welche CEOs oder andere vertrauenswürdige Personen nachahmen, wurden bereits zur Autorisierung betrügerischer Transaktionen eingesetzt. Dabei ist es wichtig zu verstehen, dass das Erzeugen von Video- und Tonaufnahmen ein verhältnismäßig einfacher Prozess ist, der im digitalen Untergrund zahlreich bereits als Dienstleistung angeboten wird.
Die Umrechnung eines Deepfakes in eine Video-Echtzeitsimulation – also einer direkten Interaktion mit anderen Personen – ist dagegen noch schwer. Zwar generieren einige Tools bereits sehr gute Deepfakes in Echtzeit – wer die Person jedoch im echten Leben kennt, durchschaut in der Regel die Fälschung. Dennoch wird deutlich, dass Ton- und Videoübertragungen keine Sicherheit mehr bei der Identifikation bieten. Im Untergrund gibt es bereits eine ganze Reihe von Angeboten, die solche „Know Your Customer“ (KYC)-Systeme, die beispielsweise zur Eröffnung von Bankkonten dienen, überlisten.
Aber auch Privatpersonen stehen im Visier der Cyberkriminellen. Dabei nutzen sie gezielt die menschliche Tendenz aus, private Informationen online zu teilen. Gerade jüngere Generationen veröffentlichen gerne persönliche Videos und Audioclips in den sozialen Medien und liefern Cyberkriminellen somit unwissentlich das Rohmaterial, das sie für ihre Deepfake-Modelle benötigen. Im so genannten „virtuellen Kidnapping“ werden derartige Artefakte – vor allem Stimmaufnahmen – von Cyberkriminellen zweckentfremdet. So können sie die Entführung eines Kindes glaubwürdig vortäuschen und dessen Eltern erpressen, indem sie beispielsweise beim Telefonat mit ihnen im Hintergrund die Stimme des angeblich entführten Kindes ertönen lassen.
Damit LLMs nicht zu solch bösartigen Zwecken genutzt werden können, statten Hersteller diese in der Regel mit einigen Sicherheitsmaßnahmen aus. Das hält Hacker jedoch nicht unbedingt auf. Mithilfe von „Jailbreaks“ ist es etwa möglich, die integrierten Einschränkungen von LLMs zu umgehen. Dies gelingt wiederum durch geschicktes Prompt Engineering. Dabei ist mittlerweile ein eigenes „Jailbreak-as a Service“-Portfolio im Darknet entstanden. So ist es auch technisch unbedarften Cyberkriminellen möglich, ein manipuliertes LLM zu mieten.
In der Praxis sieht das so aus: Der „Mieter“ erhält vom Anbieter Zugriff auf eine gewöhnlich erscheinende LLM-Eingabemaske, die jedoch durch einen adaptiven Prompt im Hintergrund bereits aufgeschlossen ist. Beispiele für solche Tools, welche die eingebetteten ethischen Richtlinien von legitimen KI-Modellen umgehen, sind etwa „EscapeGPT“ und „LoopGPT“.
Derzeit nutzt der Cyber-Untergrund kompromittierte LLMs in erster Linie zur Optimierung bestehender Prozesse – beispielsweise bei der Erstellung bösartiger Inhalte. Die KI ermöglicht dabei eine Skalierung und Abkürzung langwieriger Prozesse und macht Angriffe somit effizienter. Allerdings kann sie noch keine neuen Methoden entwickeln, sondern nur bereits bestehende anpassen. Dieser Fakt wird insbesondere im Bereich der Exploit-Entwicklung deutlich.
Um Sicherheitslücken im Softwarecode zu finden, wird bereits seit längerer Zeit KI in entsprechend trainierten Modellen eingesetzt. Exploits, also die Ausnutzung solcher Lücken, enthalten wiederum kleine Softwaremodule. Da KI in der Lage ist, Softwarecodes zu generieren, sollte es theoretisch möglich sein, beide Schritte – Schwachstellen-Scanning und Malware-Code-Generierung – zu vereinen. Eine solche KI-gestützte automatisierte Zero-Day-Maschine wäre für Cyberkriminelle ein willkommenes Werkzeug.
Die Realität sieht jedoch anders aus. Zwar kann die KI die einzelnen Prozesse unterstützen, aber eigenständig Exploits entwickeln? Dazu ist sie (noch) nicht in der Lage. Hierfür benötigt sie die Anleitung von Menschen, beispielsweise in Form der Dokumentation einer Schwachstelle oder der Aufforderung, Code für bestimmte Zwecke zu generieren. Noch weiter entfernt scheint die Erfindung neuer Geschäftsmodelle oder Angriffswege zu sein. KI ist lediglich in der Lage, die menschliche Kreativität anzukurbeln – was aber im Kontext von Bedrohungsakteuren böse Folgen haben kann.
Auch wenn kriminelle Aktivitäten bereits auf vielfältige Art und Weise durch KI unterstützt werden, gibt es einige Limitierungen. Möchte ein Bedrohungsakteur beispielsweise große Datenmengen durch eine KI analysieren lassen, benötigt er dafür sehr leistungsfähige Programme und Systeme. Die Kosten für weitgehende Data Analytics würden den Gewinn dementsprechend deutlich schmälern, was insbesondere finanziell motivierte Cyberkriminelle abschrecken kann.
Doch auch hierfür könnte es bald eine Lösung geben. Agentic AI verspricht kleinere KI-Assistenten, die autonom arbeiten können. Ein „Blackhat“-Angriffsszenario wäre beispielsweise das Einschleusen eines solchen Agenten auf ein Opfersystem. Dieser würde vor Ort die Daten analysieren und nur noch relevante Inhalte an den Täter zurückschicken. Ein zweiter Agent könnte das Netzwerk analysieren und Vorschläge geben, welches Geschäftsmodell der Cyberkriminellen am vielversprechendsten ist. Ein dritter KI-Agent ist wiederum auf die Umsetzung dieses Modells programmiert. Der „Hacker“ hat also einen Baukasten von verschiedenen Agenten zur Verfügung und verschickt daraus nur die nötigen Programme – Auswahl und Versenden der KI-Assistenten kann wiederum durch einen weiteren Agenten übernommen werden. Erste Proof-of-Concept-Erfolge weisen darauf hin, dass eine solche Welt nicht mehr weit entfernt ist.
Bösartige KI schafft eine neue Dimension der Cyberkriminalität. Dank KI-gestützten Social-Engineering-Angriffen, Deepfakes und maßgeschneiderter Malware sind Betrugsmaschen heute ausgeklügelter und schwieriger zu identifizieren als je zuvor. Unternehmen und Privatpersonen müssen lernen, sich gegen diese Bedrohungen zu wappnen. Gleichzeitig stehen Politik und Cybersicherheitsbranche vor der Herausforderung, effektive Schutzmechanismen zu entwickeln, ohne Innovationen zu behindern. Wachsamkeit, technische Sicherheitsmaßnahmen und internationale Kooperation sind dabei essenzielle Elemente – denn in einer digitalen, vernetzten Welt, in der Täuschung perfektioniert wird, ist kritisches Denken die letzte Verteidigungslinie.
Richard Werner
ist Security Advisor bei Trend Micro.
Der Begriff „Agent" wird oft unscharf verwendet, aber es kristallisieren sich Funktionstypen heraus, die verschiedene…
Die jüngsten internationalen Maßnahmen gegen NoName057(16) werden ihre Aktivitäten wahrscheinlich nicht dauerhaft beenden, sagt Rafa…
Vasi Philomin wechselt von Amazon, wo er die KI-Produktstrategie von Amazon Web Services (AWS) verantwortete.
Laut Lündendonk verändert die Cloud ihr Geschäftsmodell. Kompetenzen in der Softwareentwicklung stehen auf dem Prüfstand.
Forschende des KIT haben untersucht, wie selbstfahrende Kleinbusse den Öffentlichen Nahverkehr stärken könnten.
Was wäre, wenn Brücken selbst melden könnten, wann und wo sie Reparaturbedarf haben?