Versteckte Prompts sollten Gerichtsentscheidung beeinflussen
Ein Kläger im US-Bundesstaat Connecticut hat versucht, eine mögliche KI-Prüfung seiner Gerichtsdokumente zu manipulieren. Richter Walter Spader Jr. bezeichnete den Vorgang als ersten bekannten Fall dieser Art vor einem US-Gericht.
Matthew Elliott vertrat sich in einem Streit um den Zugang zu Krankenakten selbst. In seinen Schriftsätzen platzierte er Anweisungen in winziger Schrift und weißer Farbe auf weißem Hintergrund. Für Menschen waren sie kaum sichtbar, beim automatisierten Auslesen des Dokuments wären sie jedoch als normaler Text erfasst worden.
Die versteckten Prompts sollten ein hypothetisches KI-System dazu bringen, Elliotts Argumenten zuzustimmen. Frühere Ablehnungen des Gerichts sollten ignoriert und die Entscheidung in seinem Sinne getroffen werden.
Indirect Prompt Injection über ein Dokument
Der Angriff ist eine Indirect Prompt Injection. Dabei steht die manipulative Anweisung nicht im direkten Prompt eines Nutzers, sondern in einer Datei oder einem anderen Inhalt, den ein KI-System später verarbeitet.
„Indem ein Befehl in einem Dokument versteckt wird, das das System später einliest, versucht der Einreicher, seine eigene Anweisung in den Datenstrom einzuschleusen. Das System soll sie behandeln, als käme sie vom Betreiber.“ Walter Spader Jr., sinngemäß übersetzt
Das Grundproblem liegt in der fehlenden harten Trennung zwischen Nutzdaten und Steueranweisungen. Ein Sprachmodell verarbeitet Vertragsklauseln, Rechnungspositionen oder Bewerbungsunterlagen als Text. Derselbe Textkanal kann jedoch auch Anweisungen enthalten, die das gewünschte Verhalten des Modells verändern sollen.
Ähnliche Risiken bestehen bei Agenten, die neben der Analyse weitere Aktionen ausführen dürfen. Wie weit solche Angriffe reichen können, zeigt eine verschlüsselte Prompt Injection mit möglichem Datendiebstahl.
Angriff blieb ohne Wirkung
Die Justiz in Connecticut verwendet nach Angaben des Richters keine KI, um eingereichte Schriftsätze rechtlich zu prüfen oder darüber zu entscheiden. Die versteckten Anweisungen konnten deshalb keine Gerichtsentscheidung beeinflussen.
Elliott erklärte sein Vorgehen als Audit, mit dem er einen vermuteten KI-Einsatz des Gerichts habe überprüfen wollen. Der Richter hielt diese Begründung nicht für glaubwürdig. Nach einer Verwarnung reichte Elliott weitere versteckte Nachrichten ein, die er später als Scherze bezeichnete.
Eine Geldstrafe verhängte das Gericht nicht. Elliott verlor jedoch den Zugang zur elektronischen Einreichung und muss künftige Schriftsätze auf Papier abgeben.
| Fall | Manipulationsversuch | Sanktion |
|---|---|---|
| Connecticut, USA | Versteckte Prompts in Gerichtsschriftsätzen | 0 US-Dollar Geldstrafe, Entzug des E-Filing-Zugangs |
| Brasilien | Prompt Injection in einem Gericht mit KI-gestützter Aktenprüfung | rund 16.000 US-Dollar Geldstrafe gegen zwei Anwälte |
Der brasilianische Fall zeigt, dass das Risiko nicht rein hypothetisch ist. Dort nutzte das Gericht tatsächlich KI zur Prüfung von Akten. Die versteckten Inhalte wurden erkannt, Details zum technischen Abwehrmechanismus sind jedoch nicht bekannt.
Risiko für Dokumentenprozesse in Unternehmen
Für Unternehmen im DACH-Raum ist weniger der konkrete Gerichtsfall entscheidend als das Angriffsmuster. Betroffen sein können alle Prozesse, bei denen externe Dateien ungeprüft in ein Large Language Model, kurz LLM, gelangen.
Dazu zählen die automatisierte Rechnungsprüfung, digitale Posteingänge, Bewerber-Screening und Vertragsanalysen. Ein manipuliertes PDF könnte das Modell etwa anweisen, Warnsignale zu ignorieren, eine Rechnung als plausibel einzustufen oder eine Bewerbung bevorzugt zu bewerten.
Ein nachgelagerter menschlicher Prüfschritt bleibt wichtig, darf aber nicht als alleinige Absicherung gelten. Untersuchungen zu Human-in-the-Loop-Verfahren und übersehenen Gefahren zeigen, dass formale Freigaben keine zuverlässige Sicherheitsgarantie darstellen.
Vorfilterung reduziert die Angriffsfläche
Dokumentenpipelines sollten versteckte Textebenen, ungewöhnliche Schriftgrößen und nicht sichtbare Inhalte vor der KI-Verarbeitung erkennen. Zusätzlich lassen sich extrahierter Text und sichtbares Dokument per OCR, also optischer Zeichenerkennung, gegeneinander prüfen. Abweichungen sollten eine manuelle Kontrolle auslösen.
Ausgaben des Modells müssen außerdem als nicht vertrauenswürdig behandelt werden. Kritische Entscheidungen und Aktionen benötigen feste Regeln außerhalb des Sprachmodells. Das gilt besonders, wenn KI-Agenten auf Datenbanken, E-Mail-Systeme oder Freigabeprozesse zugreifen.
Self-Hosting hilft, beseitigt das Problem aber nicht
Bei einer Standard-SaaS-Lösung bleibt häufig unklar, wie Dokumente bereinigt, Prompts getrennt und verdächtige Inhalte protokolliert werden. Eigene Datenpipelines oder Self-Hosting bieten mehr Kontrolle über Vorfilter, Prüfregeln und Zugriffsrechte.
Das grundlegende Risiko verschwindet dadurch nicht. Auch ein lokal betriebenes Modell kann manipulierte Inhalte als Anweisung interpretieren. Entscheidend ist daher nicht allein der Betriebsort, sondern die Architektur des gesamten Prozesses.
Der Fall zeigt zugleich ein zweites Problem: Chatbots neigen zur Sykophantie, also dazu, die Sichtweise des Nutzers zu bestätigen. Wer ein Modell ausschließlich um Argumente für die eigene Position bittet, erhält keine belastbare Gegenprüfung.
„Ein Argument, das nur darauf gepromptet wurde, seinem Verfasser zuzustimmen, ist letztlich sogar gegenüber seinem Verfasser unehrlich.“ Walter Spader Jr., sinngemäß übersetzt
Für professionelle Abläufe bedeutet das: Modelle sollten Positionen nicht nur ausarbeiten, sondern systematisch Gegenargumente, Unsicherheiten und fehlende Belege benennen. Dokumentenverarbeitung mit KI braucht technische Filter, begrenzte Berechtigungen und nachvollziehbare Freigaben. Ein Software-Abo allein liefert diese Absicherung nicht.