Google DeepMind revolutioniert KI-Sicherheit mit neuem Abwehrsystem CaMeL
Pierre Baum
Google DeepMind revolutioniert KI-Sicherheit mit neuem Abwehrsystem CaMeL
Google DeepMind stellt neues Abwehrsystem CaMeL gegen Prompt-Injection-Angriffe auf KI vor
Seit 2022 stellen sogenannte Prompt-Injection-Angriffe Entwickler vor große Herausforderungen. Mit dem neuen System CaMeL (Context-Aware Model Execution Language) will Google DeepMind digitale Assistenten sicherer machen – ohne ihre Funktionalität einzuschränken.
Das Prinzip von CaMeL besteht darin, Sprachmodelle als potenziell unsichere Komponenten innerhalb einer geschützten Softwarearchitektur zu behandeln. Dazu teilt das System Aufgaben zwischen zwei KI-Instanzen auf: einem „privilegierten Sprachmodell“ und einem „isolierten Sprachmodell". Während das privilegierte Modell auf Basis vordefinierter Werte Code generiert, verarbeitet das isolierte Modell Daten zu strukturierten Ausgaben – jedoch ohne Zugriff auf Werkzeuge oder Speicher.
Nutzeranfragen werden in kontrollierte Schritte umgewandelt und in einer sicheren Laufzeitumgebung ausgeführt. Diese Methode überwacht den Datenfluss und blockiert schädliche Aktionen. Tests zeigen, dass CaMeL hohe Nutzerfreundlichkeit bewahrt und gleichzeitig Angriffe abwehrt, die bisher als unlösbar galten.
Ein zentraler Vorteil liegt im Schutz vor internen Bedrohungen und manipulierten Tools, die auf Datendiebstahl abzielen. Allerdings müssen Anwender weiterhin eigene Sicherheitsrichtlinien definieren und pflegen, um CaMeL effektiv einzusetzen.
Mit CaMeL geht Google DeepMind einen wichtigen Schritt hin zu sichereren KI-Systemen. Durch die Isolierung riskanter Komponenten und strenge Datenkontrollen bietet das System eine Grundlage für vertrauenswürdige digitale Assistenten. Entscheidend bleibt jedoch, dass Entwickler die Sicherheitsregeln aktiv verwalten, um den Schutz langfristig aufrechtzuerhalten.
