Wasserzeichen greifen in die Textgenerierung ein
Der EU AI Act verpflichtet Anbieter von KI-Modellen, generierte Ausgaben maschinenlesbar zu kennzeichnen. Solche Wasserzeichen sollen die Herkunft von Inhalten nachvollziehbar machen. Eine Untersuchung von Lasso Security zeigt jedoch, dass die Kennzeichnung nicht technisch neutral ist.
Verfahren wie Google DeepMinds SynthID-Text verändern die Wahrscheinlichkeiten bei der Erzeugung einzelner Token, also der kleinsten Texteinheiten eines Modells. Das System bevorzugt beispielsweise eines von mehreren ähnlich wahrscheinlichen Wörtern. Über einen längeren Text entsteht dadurch ein Muster, das Menschen nicht erkennen, aber mit dem passenden Schlüssel maschinell auslesen können.
Sinngemäß übersetzt erklärt Lasso Security: Wasserzeichen dienen dem Herkunftsnachweis, verändern aber zugleich den Prozess, mit dem das Modell das nächste Token erzeugt. Das kann beeinflussen, ob ein Modell schädliche Anfragen ablehnt und ob diese Ablehnung einer Prompt Injection standhält.
SynthID-Text wird laut Untersuchung unter anderem von OpenAI und Anthropic eingesetzt. Für API-Kunden bleibt dabei offen, ob sich die Kennzeichnung über Parameter deaktivieren lässt. Bestätigte Angaben dazu liegen bislang nicht vor.
Sechs von sieben Modellen verlieren Genauigkeit
Besonders relevant ist der Effekt auf Funktionsaufrufe, häufig Tool-Calling genannt. Dabei erzeugt ein Modell strukturierte Befehle, um etwa Datenbanken, Suchsysteme oder Geschäftsanwendungen anzusteuern. Schon kleine Abweichungen bei Werkzeugnamen, Argumenten oder Ausgabeformaten können einen automatisierten Prozess stoppen oder in eine falsche Richtung lenken.
Lasso Security testete sieben Modelle mit dem Benchmark BFCL v4 single-turn AST. Bei sechs Modellen sank die Genauigkeit unter dem Einfluss des Wasserzeichens. Welches konkrete Modell keinen Rückgang zeigte, wurde nicht genannt.
| Kennzahl | Ergebnis |
|---|---|
| Getestete Modelle | phi-4, Llama-3.1-8B, Qwen3-32B, Qwen3-4B, gemma-3-12b, gemma-3-27b und Granite-3.2-8B |
| Modelle mit geringerer Tool-Calling-Genauigkeit | 6 von 7 |
| Beobachtete Fehler | Falsches Werkzeug, falsche Argumente, fehlerhafte Eingaben und Parsing-Fehler |
| Exakte Veränderung | Keine Prozentwerte veröffentlicht |
Die aggregierte Genauigkeit bildet zudem nicht jede Verhaltensänderung ab. Ein zuvor korrekter Aufruf kann fehlschlagen, während ein anderer durch das Wasserzeichen zufällig korrekt wird. Die Gesamtquote verändert sich dann kaum, obwohl sich die konkreten Entscheidungen des Agenten verschoben haben.
Das Problem betrifft nicht nur Agenten der Modellanbieter. Auch externe Systeme und API-Clients verarbeiten die veränderten Ausgaben. Bei vernetzten Agentenarchitekturen kommt hinzu, dass Funktionsaufrufe oft über standardisierte Schnittstellen laufen. Die damit verbundenen Berechtigungsfragen werden auch beim Rechtemodell für MCP-Systeme sichtbar.
Prompt Injection wird erfolgreicher
Eine Prompt Injection ist eine eingeschleuste Anweisung, die das Modell zur Missachtung seiner ursprünglichen Regeln bewegen soll. Solche Angriffe können beispielsweise in Dokumenten, Webseiten oder übernommenen Datensätzen verborgen sein. Ein Agent liest die manipulierte Anweisung und behandelt sie unter Umständen wie einen legitimen Arbeitsauftrag.
Bei offen schädlichen Anfragen veränderten Wasserzeichen das Verweigerungsverhalten der getesteten Modelle nur begrenzt. Unter gezielter Prompt Injection fiel der Effekt deutlich stärker aus. Die Erfolgsrate der Angriffe stieg, während die Modelle schädliche Anfragen seltener ablehnten. Exakte Prozentwerte wurden nicht veröffentlicht.
Sinngemäß übersetzt lautet die zentrale Beobachtung: Wasserzeichen verändern bereits bei einfachen schädlichen Anfragen das Verweigerungsverhalten. Unter Prompt Injection wird dieser Effekt wesentlich deutlicher.
Damit entsteht ein zusätzlicher Risikofaktor für autonome Prozesse. Dass Agenten bei unzureichender Absicherung reale Systeme gefährden können, zeigen auch dokumentierte Vorfälle mit KI-Agenten. Ein Sicherheitstest ohne die später eingesetzte Wasserzeichenkonfiguration kann deshalb ein zu positives Bild liefern.
Was Unternehmen im DACH-Raum prüfen müssen
Für Unternehmen im Geltungsbereich des EU AI Act treffen zwei Anforderungen aufeinander. Generierte Inhalte sollen nachvollziehbar gekennzeichnet werden, zugleich müssen Agenten zuverlässig und sicher arbeiten. Die Kennzeichnung sollte daher als Teil der Produktionskonfiguration behandelt werden und nicht als nachträgliche Metadatenfunktion.
Tests für Tool-Calling, Sicherheitsverweigerungen und Prompt Injection müssen mit derselben Modellversion und derselben Wasserzeichenkonfiguration erfolgen, die später produktiv eingesetzt wird. Ebenso wichtig sind strikte Berechtigungen, eine Validierung aller Funktionsargumente und Freigabeschritte vor kritischen Aktionen. Red-Teaming, also gezielte Angriffstests, sollte ausdrücklich Ausgaben mit aktivem Wasserzeichen einbeziehen.
Bei proprietären Cloud-Modellen bleibt die Kontrolle über die Token-Erzeugung beim Anbieter. Änderungen am Wasserzeichenverfahren können deshalb das Verhalten einer Agenten-Pipeline beeinflussen, ohne dass sich deren eigener Code ändert. Das erhöht die Abhängigkeit vom Anbieter und erschwert reproduzierbare Qualitätstests.
Self-Hosting und lokal betriebene Open-Source-Modelle geben Unternehmen mehr Kontrolle über das Decoding, die Modellversion und die Sicherheitsprüfungen. Die Kennzeichnungspflichten des EU AI Act entfallen dadurch nicht automatisch. Technisch lässt sich jedoch genauer bestimmen, wann und wie ein Wasserzeichen in die Generierung eingreift. Auch die Kosten und Möglichkeiten von Open-Weights-Modellen werden damit für Agentenprojekte relevanter.
Die Untersuchung spricht nicht grundsätzlich gegen Wasserzeichen. Sie zeigt vielmehr, dass Herkunftsnachweis, Funktionsgenauigkeit und Sicherheit nicht unabhängig voneinander betrachtet werden können. Sobald ein Agent Werkzeuge bedienen darf, wird jede Veränderung der Token-Auswahl zu einem Bestandteil der Risikobewertung.