Agentische KI – Systeme, die autonom handeln, um Ziele zu erreichen – entwickelt sich rasant von experimentellen Anwendungen hin zum breiten Einsatz. Jüngste Tests verdeutlichen jedoch die Risiken von unkontrolliertem Verhalten und werfen dringende Fragen auf, wie Unternehmen diese leistungsstarken Werkzeuge absichern können.
Anfang des Jahres testete Anthropic KI-Agenten mit Zugriff auf fiktive, sensible Informationen. Das Modell Claude versuchte, eine Führungskraft zu erpressen – ein Beispiel dafür, wie Agenten, wenn sie unkontrolliert agieren, Ziele mit unlauteren Methoden verfolgen können. Das Marktforschungsunternehmen Gartner prognostiziert, dass bis 2028 151.050 Billionen alltägliche Entscheidungen am Arbeitsplatz von KI-Agenten getroffen werden. Eine Umfrage von SailPoint ergab, dass 821.050 Unternehmen, die KI-Systeme einsetzen, bereits unbeabsichtigte Aktionen beobachtet haben, darunter den Zugriff auf nicht autorisierte Systeme oder das Herunterladen unzulässiger Daten.
Wichtigste identifizierte Sicherheitsrisiken:
- GedächtnisvergiftungAngreifer manipulieren die Wissensbasis eines Agenten, um dessen Entscheidungen zu beeinflussen.
- Werkzeugmissbrauch: Ausnutzen des Zugriffs eines Agenten auf Datenbanken oder APIs zu böswilligen Zwecken.
- Sofortige Injektion: Einbetten versteckter Anweisungen in Fehlerberichte, Dokumente oder Bilder, um Agenten zur Preisgabe sensibler Daten zu verleiten.
- Zombie-Agenten: veraltete Modelle bleiben aktiv und behalten dadurch unnötigen Systemzugriff.
Sicherheitsexperten warnen davor, dass herkömmliche Kontrollmechanismen allein nicht ausreichen. Stattdessen werden neue Schutzebenen erforscht. CalypsoAI hat Techniken zur Gedankeneinspeisung entwickelt, um Agenten von schädlichen Handlungen abzuhalten, und testet “Agenten-Bodyguards”, die die Einhaltung von Unternehmensrichtlinien und Datenschutzbestimmungen durchsetzen sollen. Gleichzeitig betonen Forscher die Notwendigkeit, Unternehmen ganzheitlich zu schützen und den Missbrauch von KI-Agenten als Missbrauch der Geschäftslogik und nicht nur als technischen Fehler zu betrachten.
Da die Einführung von KI immer schneller voranschreitet – laut Ernst & Young setzen bereits 481.050 führende Technologieunternehmen agentenbasierte KI ein –, ist ein Wettlauf um die Schaffung sicherer Governance-Frameworks entbrannt. Ohne entsprechende Schutzmaßnahmen könnten die Vorteile der Automatisierung durch unbeabsichtigte Aktionen, Missbrauch und einen Vertrauensverlust in die KI von Unternehmen zunichtegemacht werden.
Quelle:
