heise+ | So schützt Google seine KI-Agenten vor Prompt Injections – ein Interview

Vor einigen Jahren war es noch relativ leicht, ein Large Language Model (LLM) auszutricksen, um etwa über gesperrte Themen zu sprechen oder Informationen zu leaken, die das Modell zum Training verwendet hat. Dazu reichte es, die Nachricht in einer anderen Sprache zu verfassen oder dem KI-Modell eine herzzerreißende Geschichte über die eigene verstorbene Oma aufzutischen, die jeden Abend über ihre ehemalige Fabrikarbeit zur Herstellung von Napalm erzählte.

Solche Angriffe nennen sich Prompt Injections, namentlich inspiriert von dem bereits bekannten Konzept der Sicherheitslücke SQL Injection. Mittlerweile gehen solche Angriffe über Übersetzungen von Prompts in andere Sprachen hinaus und erfordern clevere Setups wie versteckte Kalendereinladungen in Mails, die KI-Agenten beim E-Mail-Zusammenfassen austricksen.

Wir haben in München mit Viviana Sutedjo über Prompt Injections gesprochen. Sie ist Software-Ingenieurin im Bereich Cybersicherheit und kümmert sich bei Google um die KI-Sicherheit.