KI-Agenten: Bedrohungen verstehen und überwinden

Besonders im Hinblick auf den KI-Systemen, die möglichst autonom Aufgaben ausführen und Entscheidungen treffen sollen, wird der Datenschutz und die Identitätssicherung zukünftig eine immer größere Rolle spielen. Laut Gartner werden Kriminelle mithilfe KI-Agenten bis 2027 in der Lage sein, die benötigte Zeit zur Kompromittierung von Nutzerkonten um 50 Prozent zu verkürzen.

Bedrohung durch Retrieval-Augmented Generation

Insbesondere in Kombination mit Large Language Models (LLMs) und dem Zugriff auf externe Datenbanken mittels Retrieval-Augmented Generation (RAG) eröffnen KI-Assistenten beeindruckende neue Möglichkeiten. RAG kombiniert die Leistungsfähigkeit von LLMs mit der Möglichkeit, bei der Nutzung auf unternehmensspezifische Ressourcen zuzugreifen. Dazu können zum etwa aktuelle Finanzkennzahlen, Informationen zu Kunden und Arbeitnehmern oder technische Details aus der Entwicklung gehören – sensible Daten also, die bei unbefugtem Zugriff zu einem enormen Reputationsschaden oder gar dem Bankrott führen können.

Dieses Sicherheitsrisiko ist besonders relevant, wenn es darum geht, sicherzustellen, dass nur autorisierte Benutzer auf bestimmte Informationen zugreifen können. Hier kommt  Fine-Grained Authorization (FGA) ins Spiel. Mit FGA können Entwickler detaillierte Zugriffskontrollen für jede einzelne Information definieren und so verhindern, dass Benutzer auf Daten zugreifen, die sie nicht einsehen dürfen. Dies ist besonders wichtig in Anwendungen, die auf RAG-Architekturen basieren, bei denen zusätzliche Informationen – etwa unternehmensinterne Datenquellen – abgerufen werden, um die Antworten des KI-Modells zu verfeinern.

Rolle von Fine-Grained Authorization (FGA)

FGA bietet eine fortschrittliche Lösung, um diese Art von Bedrohungen zu adressieren. Sie ermöglicht es, sehr spezifische Berechtigungen für jeden Benutzer festzulegen, je nachdem, auf welche Daten er zugreifen und welche Aktionen er ausführen soll. FGA hilft Entwicklern somit, komplexe Autorisierungsentscheidungen für unterschiedliche Anwendungen zu definieren und flexibel anzupassen, und Administratoren erhalten eine zentrale Anlaufstelle, die alle Berechtigungen im Unternehmen vereinheitlicht. Unser Autorisierungssystem Okta FGA zum Beispiel basiert auf OpenFGA und ermöglicht es Entwicklern, Zugriffskontrollen flexibel und sicher zu definieren.

Durch die Implementierung solcher Lösungen können Unternehmen sicherstellen, dass ihre KI-gestützten Anwendungen nur autorisierten Benutzern den Zugang zu bestimmten Informationen gewähren und so das Risiko der Offenlegung sensibler Daten minimieren. In einer Welt, in der Datenschutz und Compliance zunehmend an Bedeutung gewinnen, ist es entscheidend, solche Sicherheitslösungen zu integrieren.

Risiko “Excessive Agency“

KI-Agenten, die zunehmend beim autonomen Fahren, im Finanzhandel oder Lieferkettenmanagement eingesetzt werden, stellen eine besondere Herausforderung dar. KI-Agenten sind in der Lage, komplexe Aufgaben autonom zu erledigen und Entscheidungen in Echtzeit zu treffen. Doch diese Entscheidungsfreiheit kann auch ausgenutzt werden, wenn die Systeme nicht richtig konzipiert sind. Ein Beispiel hierfür ist „Excessive Agency“, also das Phänomen übermäßiger Handlungsfreiheit, bei der ein KI-Agent unautorisierte Aktionen durchführen kann, die eigentlich nicht in seinem Aufgabenbereich liegen sollten. Dies kann zu einer ungewollten Ausweitung von Privilegien oder zum Fremdzugriff auf geschützte Daten führen.

Hier müssen Entwickler sicherstellen, dass KI-Agenten nur in den festgelegten Rahmenbedingungen agieren und keine unbefugten Handlungen ausführen. Zudem sollte die Identitätsauthentifizierung eine zentrale Rolle spielen: Jede Aktion, die der Agent ausführt, muss klar einem autorisierten Benutzer zugeordnet werden, um Missbrauch zu vermeiden.

Minimal erforderlicher Datenzugriff

Der Schutz vor Identitätsbedrohungen in KI-Anwendungen erfordert mehr als nur die Implementierung grundlegender Sicherheitsmaßnahmen. Es ist notwendig, dass Unternehmen ihre Anwendungen so gestalten, dass sie nur die minimal erforderlichen Daten verwenden und keine unnötigen Informationen in ihre Modelle einfließen lassen. Wenn personenbezogene Daten nicht unbedingt erforderlich sind, sollten diese anonymisiert oder gelöscht werden, bevor sie in das System aufgenommen werden.

Darüber hinaus ist es entscheidend, dass die Anwendungen nicht übermäßige Rechte erhalten. KI-gestützte Anwendungen sollten nicht automatisch die volle Kontrolle über alle Daten und Funktionen haben, sondern nur im Rahmen der Berechtigungen, die den Nutzern zugewiesen sind. Technologien wie OAuth 2.0 können dabei helfen, die Zugriffsrechte präzise zu steuern und so potenzielle Sicherheitslücken zu schließen.