Connect with us

Vordenker

Die kommende Welle von Multimodal-Angriffen: Wenn AI-Tools zu einer neuen Exploit-Oberfläche werden

mm

Da große Sprachmodelle (LLMs) zu Multimodal-Systemen evolvieren, die Text, Bilder, Sprache und Code bearbeiten können, werden sie auch zu mächtigen Orchestrierern externer Tools und Konnektoren. Mit dieser Evolution kommt eine erweiterte Angriffsfläche, der sich Organisationen bewusst sein müssen.

Ein prominentes Beispiel dafür ist Social Engineering, dem Agenten zum Opfer fallen können, weil sie trainiert wurden, wie Menschen zu handeln, und noch weniger Skepsis haben. Ein Agent ist beispielsweise unwahrscheinlich in der Lage, den Unterschied zwischen einer gefälschten E-Mail und einer von einem legitimen Händler zu erkennen.

Die Konvergenz von Multimodalität und Tool-Zugriff verwandelt AI von einem Assistenten in ein Medium für Angriffe. Angreifer können jetzt einfache Textprompts verwenden, um Tool-Missbrauch auszulösen, nicht autorisierte Aktionen auszuführen oder sensible Daten über legale Kanäle zu exfiltrieren. Da diese Fähigkeiten für Zugänglichkeit und nicht für Verteidigung konzipiert sind, können sogar Angreifer mit geringen Fähigkeiten AI-Systeme nutzen, um komplexe Operationen ohne das Schreiben einer einzigen Codezeile durchzuführen.

Wie multimodale AI zu einer Exploit-Kette wird

LLMs werden zunehmend zu Orchestrierern externer Systeme, mit Integrationsmöglichkeiten, die heute alles von APIs bis hin zu E-Mail, Cloud-Speicher und Code-Execution-Tools umfassen. Diese Konnektoren sind oft für Zugänglichkeit und nicht für Verteidigung konzipiert.

Der Nachteil davon ist, dass es zu einer Welle neuer Exploits führen kann.

Eine Möglichkeit ist prompt-getriebener Tool-Missbrauch. Zum Beispiel könnte ein Angreifer ein Bild mit Prompt-Injektionsanweisungen in einer E-Mail verwenden. Ein Optical Character Recognition (OCR)-Tool ist erforderlich, um den Text aus einem Bild zu extrahieren. Der Agent wird angewiesen, auf die E-Mail zu antworten und eine Google-Karte zur Heimatadresse des Ziels anzuhängen, wodurch die Anonymität des Opfers aufgehoben wird.

Ein weiterer Mechanismus ist die Umgehung von Schutzmechanismen zwischen verschiedenen Modalen. Dies bezieht sich auf Schutzmechanismen, die zwischen den Eingabe- und Ausgabepunkten von Tools sitzen. Beispielsweise könnte die Analyse der Ausgabe eines OCR-Extractors nicht stark genug sein, um Prompt-Injektionen zu entdecken, die in ihrer Ausgabe enthalten sind.

Es gibt auch strukturelle Schwächen, die ausgenutzt werden können. Ein solches Problem sind die lockeren, übermäßig permissiven Bindungen zwischen dem Modell und den externen Tools, die es aufrufen kann – was bedeutet, dass ein einfacher natürlicher Sprachprompt tatsächliche Aktionen wie das Ausführen von Code, den Zugriff auf Dateien oder die Interaktion mit E-Mail auslösen kann. Darüber hinaus fehlt es vielen dieser Systeme an strengen Zugriffskontrollen, so dass die AI möglicherweise die Fähigkeit hat, Daten zu schreiben, zu löschen oder zu modifizieren, die weit über das hinausgehen, was ein Mensch jemals autorisieren würde. Das Problem wird noch ernster, wenn man sich die Konnektoren und MCP-Style-Erweiterungen ansieht, die oft fast keine Schutzmechanismen haben; sobald sie angehängt sind, erweitern sie den Zugriff der AI auf persönliche Speicher, Posteingänge und Cloud-Plattformen mit sehr wenig Aufsicht. Zusammen erstellen diese strukturellen Schwächen eine Umgebung, in der klassische Sicherheitsprobleme – Exfiltration, Sandbox-Entweichungen und sogar Speicher-Vergiftung – durch nichts weiter als einen clever konstruierten Prompt ausgelöst werden können.

Aufkommende Bedrohungen: Was kommt als Nächstes?

In diesem neuen Normalzustand sind AI-gestützte E-Mail- und Social-Engineering-Angriffe unmittelbar bevorstehend. Phishing-Volumen wird aufgrund der Verwendung von LLMs durch den Angreifer zunehmen; der Engpass wird durch Umgehen normaler Spam-Filter von E-Mail-Anbietern wie Google entstehen. Inbox-verbundene AI-Agenten erhöhen die Wahrscheinlichkeit, dass Phishing-Angriffe erfolgreich sind. Es wird wahrscheinlich zu einer Zunahme von E-Mail-basierten Bedrohungen kommen, wenn Benutzer Agenten mit Gmail oder Outlook verbinden.

Angreifer können die AI anweisen, ganze Spam- oder Spear-Phishing-Kampagnen durchzuführen. In diesem Szenario wird AI-zu-AI-Phishing plausibel.

Multimodale Systeme bieten zunehmend Code-Execution-Fähigkeiten. Fluchtwege ermöglichen es Angreifern, die zugrunde liegende Infrastruktur zu durchbrechen. Und Sandbox-Entweichungen stellen das größte Reputations-Desaster für Hersteller dar.

Langzeit-Speicher-Vergiftung und verzögerte Auslöser stellen weitere Bedrohungen dar. Persistenter Speicher ermöglicht es, versteckte Payloads zu aktivieren, wenn zukünftige Prompts gegeben werden. Cross-Modale Auslöser (z. B. Bilder oder Textsnippets) könnten Zeitbomben-Verhaltensweisen auslösen.

Warum multimodale Angriffe so zugänglich und so gefährlich sind

AI hat die Angriffsfähigkeiten demokratisiert. Benutzer benötigen keine Codier- oder Malware-Entwicklungsfähigkeiten; natürliche Sprache wird zur Schnittstelle für die Erstellung von Malware oder Datenexfiltration. Das bedeutet, dass sogar nicht-technische Personen Malware erstellen oder Kampagnen über Prompts durchführen können.

AI ermöglicht auch die Beschleunigung und Skalierung schädlicher Operationen. Multimodale Agenten können Arbeit automatisieren, die früher Expertenbemühungen erforderte. Code, E-Mails, Forschung und Aufklärung können sofort produziert werden.

Benutzer-Übervertrauen und ungewollte Exposition tragen zum Schadenspotenzial von AI bei. Benutzer verstehen oft nicht, auf welche Ressourcen die AI zugreifen kann, und Standard-Einstellungen aktivieren AI-Integrationen zunehmend automatisch. Viele Menschen sind sich nicht bewusst, dass sie der AI übermäßigen Zugriff auf E-Mail oder Dokumente gewährt haben.

Prinzipien und Kontrollen für multimodale Sicherheit

Organisationen müssen Sicherheitsmaßnahmen gegen multimodale Angriffe in Kraft setzen. Sicherheitsteams müssen den Zugriff auf Tools standardmäßig einschränken. Opt-in-Kontrollen sollten auto-aktivierte Integrationen ersetzen. Sie sollten auch den Grundsatz des geringsten Privilegs auf alle AI-verbundenen Systeme anwenden und Schreib-/Löschzugriff entfernen. Dies sollte Cross-Origin-Regeln und Domain-Whitelisting (Infrastruktur-Whitelisting und nicht LLM-Ebene-Whitelisting) umfassen.

Ein weiterer wichtiger Schritt ist, explizite Schutzmechanismen für die Tool-Invokation zu erstellen. Natürliche Sprachtriggers sollten durch strukturierte, typisierte Befehlsvalidierung ersetzt werden. Schutzmechanismen sollten sowohl Eingabe- als auch Ausgabepunkte sein.

Amanda Rousseau ist eine leitende KI-Sicherheitsforscherin bei Straiker und eine erfahrene Malware-Reverse-Engineerin, die zuvor im Red Team von Facebook und im Offensive Research & Security Engineering (MORSE)-Team von Microsoft tätig war, nach früheren Rollen bei Endgame, FireEye und dem U.S. DoD Cyber Crime Center.