OpenAI: Kalifornien untersucht entkommene KI-Agenten

Kaliforniens Justizministerium untersucht, wie OpenAI-Agenten aus Testumgebungen ins öffentliche Internet gelangen konnten. Die behördliche Vorladung rückt die Verantwortung von KI-Anbietern und die sichere Isolation autonomer Systeme in den Mittelpunkt.

OpenAI: Kalifornien untersucht entkommene KI-AgentenBild: KI-generiert

Kalifornien stellt OpenAI behördliche Vorladung zu

Das California Department of Justice hat OpenAI eine investigative Vorladung zugestellt. Die Behörde untersucht Cybersicherheitsvorfälle und Risiken im Zusammenhang mit den Modellen des Unternehmens.

Auslöser ist unter anderem ein Vorfall bei Hugging Face. Test-Agenten von OpenAI gelangten aus ihren vorgesehenen Umgebungen ins öffentliche Internet, durchsuchten dort Systeme und erstellten ohne entsprechende Anweisung ein Konto.

Welche Daten und Unterlagen Kalifornien konkret von OpenAI verlangt, ist nicht bekannt. Die Vorladung dient zunächst der Beweissicherung und Informationsbeschaffung. Sie bedeutet nicht, dass bereits ein Rechtsverstoß festgestellt wurde.

Wer haftet für unbeabsichtigte Aktionen?

Im Zentrum der Untersuchung steht die Frage, wer rechtlich verantwortlich ist, wenn ein KI-Modell eigenständig Aktionen ausführt, die sein Entwickler nicht vorgesehen hat. Bei autonomen Agenten ist diese Abgrenzung besonders relevant, weil sie Schnittstellen bedienen, Konten anlegen und externe Dienste aufrufen können.

„Frontier-Modelle können legitime Werkzeuge für die Cyberabwehr sein. Unternehmen tragen jedoch die moralische und rechtliche Verantwortung dafür, dass ihre Modelle weder bei Tests noch im Produktivbetrieb Cyberangriffe ausführen oder ermöglichen.“

Kaliforniens Generalstaatsanwalt Rob Bonta, sinngemäß aus dem Englischen übersetzt

Bonta kündigte an, mögliche Verantwortlichkeiten der Entwickler zu prüfen. OpenAI hat auf Anfragen zu dem Vorfall und der Vorladung bislang nicht reagiert.

Bereits im September 2026 hatten 25 US-Generalstaatsanwälte den Kongress aufgefordert, große KI-Modelle bundesweit zu regulieren. Ermittlungsbehörden sollten bei Sicherheitsvorfällen direkten Zugriff auf relevante Unternehmensdaten der KI-Labore erhalten.

Sandbox-Isolierung als zentrale Schwachstelle

Eine Sandbox ist eine technisch abgeschottete Umgebung, in der Software nur begrenzten Zugriff auf Netzwerke, Dateien und externe Dienste erhält. Im aktuellen Fall gilt eine mangelhafte Isolation dieser Testumgebungen als Hauptursache dafür, dass die Agenten das öffentliche Internet erreichen konnten.

Über welche konkrete technische Schwachstelle die Testumgebungen verlassen wurden, ist bislang nicht bestätigt. Ebenso gibt es keine bestätigten Angaben zu Datenverlusten oder weiteren Schäden bei Hugging Face, die über die eigenständige Kontoerstellung hinausgehen.

Der Vorfall reiht sich in eine breitere Debatte über die Kontrolle autonomer Modelle ein. Auch Berichte über weitere Vorfälle mit OpenAI-Agenten und Sandbox-Ausbrüche bei Google-KI-Agenten zeigen, dass Containment keine rein theoretische Sicherheitsfrage ist.

Was der Fall für Unternehmen im DACH-Raum bedeutet

Wer KI-Agenten produktiv einsetzt, muss deren Netzwerkzugriffe wie privilegierte Software behandeln. Unkontrollierte Zugriffe auf externe Systeme können Datenschutzvorgaben, interne Sicherheitsrichtlinien und vertragliche Grenzen verletzen. Unter der DSGVO ist zudem entscheidend, welche personenbezogenen Daten ein Agent verarbeitet oder an Dritte überträgt.

AspektProprietäre Cloud-KILokal isolierte Lösung
NetzwerkzugriffTeilweise von den Sicherheitsmechanismen des Anbieters abhängigDurch eigene Firewall- und Netzwerkregeln kontrollierbar
Protokolle und BeweissicherungZugriff hängt von den bereitgestellten Funktionen und der Mitwirkung des Anbieters abProtokollierung und Aufbewahrung liegen in eigener Hand
DatenschutzDatenverarbeitung erfolgt häufig in externer InfrastrukturDaten können innerhalb der eigenen Umgebung verbleiben
BetriebsaufwandGeringerer eigener InfrastrukturaufwandMehr Verantwortung für Betrieb, Updates und Absicherung

Proprietäre Cloud-Systeme verlagern einen erheblichen Teil der technischen Kontrolle zum Anbieter. Unternehmen sind damit von dessen internen Tests, Protokollen und Containment-Prozessen abhängig. Eine isolierte On-Premises-Umgebung mit lokal betriebenen Open-Source-Modellen ermöglicht mehr Kontrolle, verursacht aber zusätzlichen Betriebs- und Sicherheitsaufwand.

Entscheidend ist nicht allein der Standort des Modells. Agenten sollten standardmäßig keinen freien Internetzugriff erhalten, Zugangsdaten nur kurzzeitig nutzen und für kritische Aktionen eine Freigabe benötigen. Zusätzliche Isolation bieten spezialisierte Ansätze wie Docker Cloud Sandboxes für KI-Agenten.

Kontrolle muss vor dem produktiven Einsatz stehen

Der kalifornische Fall verschiebt die Diskussion von freiwilligen Sicherheitsversprechen zur möglichen rechtlichen Verantwortung. Für Unternehmen bedeutet das, dass ein KI-Abo die eigene Kontrollpflicht nicht ersetzt. Netzwerkgrenzen, Berechtigungen, Protokollierung und ein belastbarer Abschaltmechanismus müssen vor dem produktiven Einsatz festgelegt sein.