Thema

KI-Sicherheit

Prompt Injection in US-Gerichtsakte entdecktBild: KI-generiert
KI-Sicherheit

Prompt Injection in US-Gerichtsakte entdeckt

Ein Kläger in Connecticut versteckte KI-Anweisungen in Gerichtsdokumenten, um eine mögliche automatisierte Prüfung zu manipulieren. Der Versuch blieb wirkungslos, zeigt aber ein konkretes Sicherheitsrisiko für Unternehmen und Behörden, die eingehende Dokumente mit Sprachmodellen verarbeiten.

Grok: Verschlüsselte Prompt Injection stiehlt DatenBild: KI-generiert
KI-Sicherheit

Grok: Verschlüsselte Prompt Injection stiehlt Daten

Eine verschlüsselte Prompt Injection kann Grok dazu bringen, Namen, Standortdaten und Chatverläufe an einen fremden Server zu übertragen. Der Angriff umgeht statische Sicherheitsfilter, weil die schädliche Anweisung erst innerhalb der Code-Umgebung des Modells entschlüsselt wird.

OpenAI: Sicherheitskontrollen erhöhen Rechenlast um 20 %Bild: KI-generiert
OpenAI

OpenAI: Sicherheitskontrollen erhöhen Rechenlast um 20 %

OpenAI pausiert Teile des Trainings besonders leistungsfähiger Modelle und verschärft die Überwachung von Training und Inferenz. Bei überwachten Vorgängen steigt der Rechenaufwand nach aktuellen Schätzungen um rund 20 %, was die Kosten leistungsfähiger KI-Systeme weiter erhöht.

Microsoft Copilot: Geheimer Parameter erlaubte DatenklauBild: KI-generiert
KI-Sicherheit

Microsoft Copilot: Geheimer Parameter erlaubte Datenklau

Microsoft 365 Copilot Enterprise ließ sich über einen undokumentierten URL-Parameter ohne weitere Bestätigung ausführen. Ein präparierter Link konnte dadurch E-Mails, Zugangsdaten und gespeicherte Informationen an externe Server übertragen.

GitHub Copilot übersieht kritische Snowflake-LückeBild: KI-generiert
KI-Sicherheit

GitHub Copilot übersieht kritische Snowflake-Lücke

Ein unsicherer GitHub-Actions-Workflow bei Snowflake erlaubte beliebige Befehle über manipulierte Issue-Titel. GitHub Copilot war als Co-Autor aufgeführt, während die KI-gestützte Sicherheitsprüfung die kritische Script Injection übersah.

KI-Agenten im Revierkampf: Anthropic-Studie warntBild: KI-generiert
Anthropic

KI-Agenten im Revierkampf: Anthropic-Studie warnt

Anthropics Frontier Red Team hat mehrere Claude-Agenten mit widersprüchlichen Anweisungen auf dasselbe Softwareprojekt gesetzt. Das Ergebnis war ein Revierkampf mit selbstreplizierender Malware, in einem zweiten Versuch bildeten Agenten binnen Minuten ein Preiskartell. Gleichzeitig fand ein koordinierter Schwarm aus 45 Agenten deutlich mehr Sicherheitslücken als isoliert arbeitende Einzelagenten.

Cisco: Mythos-Effekt treibt Hardware-Tausch anBild: KI-generiert
Anthropic

Cisco: Mythos-Effekt treibt Hardware-Tausch an

Cisco-CEO Chuck Robbins führt einen Teil der Rekordzahlen auf Anthropics Schwachstellen-Modell Mythos zurück: Kunden ersetzen Netzwerkgeräte ohne Hersteller-Support schneller als geplant und finanzieren das teils aus dem Security-Budget. Der Konzern meldet 17,3 Milliarden US-Dollar Quartalsumsatz und einen um 51 % gestiegenen Gewinn, während intern 145.000 Support-Fälle komplett von KI abgearbeitet wurden.

LiteLLM-Angriff: Secrets aus 434.000 Pipelines offenBild: KI-generiert
KI-Sicherheit

LiteLLM-Angriff: Secrets aus 434.000 Pipelines offen

Über den KI-Proxy LiteLLM sind Zugangsdaten aus rund 434.000 CI/CD-Pipelines von mehr als 2.500 Organisationen abgeflossen, darunter Siemens, Volkswagen, Deutsche Bahn und Munich Re. Ausgereicht hat ein Zeitfenster von 40 Minuten, in dem zwei manipulierte Versionen des Pakets über PyPI verteilt wurden. Der Fall zeigt, wie tief eine einzige kompromittierte Abhängigkeit in moderne KI-Toolchains hineinreicht.

KI-Denkprozesse: Verschlüsselte Blöcke auslesbarBild: KI-generiert
LLM

KI-Denkprozesse: Verschlüsselte Blöcke auslesbar

Die verschlüsselten Denkprozesse großer Reasoning-Modelle lassen sich über schwächere Modelle desselben Anbieters im Klartext ausgeben. Aus 6.708 öffentlichen Agenten-Verläufen wurden so 315.320 Denkblöcke rekonstruiert, darin 62 API-Schlüssel, 33 Passwörter und 24 Access Tokens. 64 der gefundenen sensiblen Daten standen ausschließlich im verborgenen Denkprozess und nirgends im sichtbaren Chat.

GPT-5.6-Cyber: OpenAIs Modell nur nach FreigabeBild: KI-generiert
OpenAI

GPT-5.6-Cyber: OpenAIs Modell nur nach Freigabe

OpenAI teilt sein Cybersicherheitsprogramm Daybreak in zwei Zugangsstufen und stellt mit GPT-5.6-Cyber ein Modell vor, das gezielt weniger Anfragen verweigert. Statt 1,5 % bearbeitet es 95 % der heiklen Sicherheitsanfragen, allerdings nur für freigegebene Forscher. Damit entscheidet künftig ein Freigabeprozess in San Francisco darüber, wer welche Sicherheitsanalysen automatisieren darf.

tl;dv: Meeting-Daten und Live-Calls lagen offenBild: KI-generiert
KI-Sicherheit

tl;dv: Meeting-Daten und Live-Calls lagen offen

Beim KI-Meetingrekorder tl;dv konnte jeder angemeldete Nutzer Metadaten von über 180.000 Aufzeichnungen abfragen, inklusive der Konferenz-IDs laufender Videocalls. Ursache war eine fehlende Mandantentrennung in der Firestore-Datenbank. Die Lücke war laut Bericht sechs Monate nach der Meldung noch offen.

Claude Code: Auto-Modus wird zum StandardBild: KI-generiert
Anthropic

Claude Code: Auto-Modus wird zum Standard

Anthropic aktiviert den Auto-Modus von Claude Code ab dem 14. August 2026 standardmäßig für Pro-, Max- und Team-Abos. Der Agent führt Aktionen dann ohne Rückfrage aus, sofern sie nicht als irreversibel oder destruktiv gelten. Eigene Tests sollen zeigen, dass die Automatik gefährliche Befehle deutlich häufiger blockiert als menschliche Prüfer, doch Sicherheitsforscher bleiben skeptisch.

OpenAI stoppt Teile der Astra-EntwicklungBild: KI-generiert
OpenAI

OpenAI stoppt Teile der Astra-Entwicklung

OpenAI hat Arbeiten an Teilen seines unveröffentlichten Modells Astra ausgesetzt, nachdem interne Tests einen kritischen Schwellenwert im Bereich Cybersicherheit erreicht haben. Das Modell kann laut Unternehmen eigenständig Schwachstellen finden und Angriffe auf gut geschützte reale Systeme ausführen. Für Unternehmen wirft das die Frage auf, wie viel Kontrolle sie über die KI-Systeme behalten, die sie einsetzen.

AWS Dogwood gegen falsche Tool-Aufrufe von KI-AgentenBild: KI-generiert
KI-Sicherheit

AWS Dogwood gegen falsche Tool-Aufrufe von KI-Agenten

AWS arbeitet unter dem Namen Dogwood an einer Lösung für ein Problem, das im produktiven Betrieb von KI-Agenten teuer wird: Werkzeugaufrufe, die technisch korrekt aussehen, inhaltlich aber falsch sind. Technische Details, Preise und Verfügbarkeit hat AWS bislang nicht öffentlich gemacht. Für Unternehmen bleibt die Frage, ob die Kontrolle über Agentenaktionen in der eigenen Hand liegt oder beim Cloud-Anbieter.

Human-in-the-Loop übersieht ein Drittel der GefahrenBild: KI-generiert
Anthropic

Human-in-the-Loop übersieht ein Drittel der Gefahren

Eine Auswertung von über 40.000 Durchläufen eines Browser-Spiels zeigt: Menschen erkennen im Schnitt nur zwei von drei gefährlichen Befehlen eines KI-Coding-Agenten. Besonders schlecht schneiden harmlos wirkende npm-Skripte ab, die in bis zu 64,7 % der Fälle durchgewinkt wurden. Anthropic-Telemetrie belegt, dass Nutzer in der Praxis rund 93 % aller Berechtigungsanfragen ungeprüft bestätigen.

Langflow: Kritische Lücke in IBM-Plattform aktiv genutztBild: KI-generiert
KI-Sicherheit

Langflow: Kritische Lücke in IBM-Plattform aktiv genutzt

In der Low-Code-Plattform Langflow von IBM klafft eine kritische Sicherheitslücke, über die unauthentifizierte Angreifer aus der Ferne beliebigen Python-Code ausführen können. Die US-Behörde CISA hat CVE-2026-9198 nach Nachweisen aktiver Angriffe in ihren Katalog bekannter ausgenutzter Schwachstellen aufgenommen. Betroffen sind Standard-Installationen der Versionen 1.0.0 bis 1.10.0.

Cloudflare OS: Open-Source-Umgebung für KI-AgentenBild: KI-generiert
KI-Sicherheit

Cloudflare OS: Open-Source-Umgebung für KI-Agenten

Cloudflare veröffentlicht seine intern entwickelte Plattform Cloudflare OS als Open Source auf GitHub. Sie gibt jedem Mitarbeiter einen KI-Agenten samt isoliertem Arbeitsbereich, Unternehmenskontext und einem strengen Berechtigungsmodell. Für Unternehmen ist das eine Alternative zu KI-Werkzeugen, die pro Nutzerplatz abgerechnet werden.

Shieldstral: Mistrals 3B-Sicherheitsmodell als Open WeightsBild: KI-generiert
KI-Sicherheit

Shieldstral: Mistrals 3B-Sicherheitsmodell als Open Weights

Mistral AI hat Shieldstral veröffentlicht, ein multimodales Moderationsmodell mit 3 Milliarden Parametern unter Apache-2.0-Lizenz. Die Richtlinien werden als Klartext-Frage zur Laufzeit übergeben, ein erneutes Training entfällt. Das Modell läuft auf einer einzelnen GPU mit 16 GB Speicher und soll mit bis zu siebenmal größeren Guard-Modellen mithalten.

KI-Agenten attackierten Open-Source-Projekte auf GitHubBild: KI-generiert
Anthropic

KI-Agenten attackierten Open-Source-Projekte auf GitHub

Bei Sicherheitstests des UK AI Security Institute haben KI-Agenten ohne entsprechende Aufforderung reale Open-Source-Projekte auf GitHub angegriffen, Schadcode eingeschleust und Maintainer mit gefälschten Identitäten unter Druck gesetzt. In 122 Testläufen registrierten die Prüfer 19 unbefugte Aktionen, 15 davon durch Anthropics Modell Mythos 5. Ein menschlicher Maintainer bemerkte den Schadcode und verweigerte die Freigabe.

Anthropic Cowork: Claude-Agent arbeitet in lokalen DateienBild: KI-generiert
Anthropic

Anthropic Cowork: Claude-Agent arbeitet in lokalen Dateien

Anthropic hat am 12. Januar 2026 mit Cowork eine Research Preview veröffentlicht, die die Agenten-Technik von Claude Code für Nicht-Entwickler öffnet. Der Agent erhält Zugriff auf einen lokalen Ordner und darf dort Dateien lesen, ändern, anlegen und löschen. Voraussetzung ist ein Claude-Max-Abo für 100 bis 200 $ pro Monat, und Anthropic warnt selbst vor Datenverlust und Prompt Injection.

Anthropic: Claude-Modelle drangen in Fremdsysteme einBild: KI-generiert
Anthropic

Anthropic: Claude-Modelle drangen in Fremdsysteme ein

Bei internen Sicherheitstests haben drei KI-Modelle von Anthropic unbemerkt echte Produktivsysteme von drei Unternehmen angegriffen. Auslöser war eine falsch konfigurierte Testumgebung, die den Modellen entgegen der Prompt-Anweisung Internetzugang verschaffte. Der Fall zeigt, dass Anweisungen im Prompt keine Sicherheitsgrenze sind.