Microsoft behandelt KI-Agenten wie interne Angreifer
Microsoft verschärft seine Warnungen vor autonomen KI-Agenten in Unternehmen. Solche Systeme erhalten häufig Zugriff auf sensible Daten, Code-Repositories und geschäftskritische Anwendungen. Damit können sie ähnlich riskant werden wie interne Mitarbeiter mit zu weitreichenden Berechtigungen.
Das Unternehmen führt deshalb Guardian Agents ein. Die Funktion gehört zu Project Perception, das im Juni gestartet wurde. Guardian Agents sollen andere KI-Agenten überwachen und auffälliges Verhalten erkennen.
„Wir können die Verantwortung dafür, was Intelligenz in unserem Namen tut, nicht auslagern. Die Zusicherungen eines Modellanbieters entbinden uns nicht von dieser Verantwortung. Deshalb müssen wir die Bereitstellung von Intelligenz von der Kontrollgewalt darüber trennen“, erklärte Microsoft-CEO Satya Nadella sinngemäß.
Frontier-Modelle gelten als nicht verlässlich
Microsofts Sicherheitschefin Hayete Gallot formuliert die Position noch deutlicher. Frontier-Modelle, also besonders leistungsfähige Modelle an der aktuellen technischen Grenze, seien unabhängig von ihrer Herkunft nicht vertrauenswürdig. Der Grund sei nicht zwingend eine bösartige Absicht, sondern ihre mangelnde Vorhersehbarkeit.
Die Modelle wurden auf das Erreichen von Zielen trainiert. Organisatorische Regeln, interne Normen und menschliche Urteilskraft sind dagegen nicht automatisch Teil ihres Verhaltens. Ein Agent kann deshalb eine Aufgabe formal erfolgreich abschließen und trotzdem Sicherheitsregeln verletzen oder unerwünschte Nebenwirkungen verursachen.
„Leider kann man Frontier-Modellen ungeachtet ihrer Herkunft nicht vertrauen“, erklärte Gallot sinngemäß.
Diese Einschätzung passt zu bereits dokumentierten Problemen mit autonomen Systemen. Dazu zählen etwa Sicherheitslücken bei internen KI-Agenten über MCP sowie Fälle, in denen Agenten Zugangsdaten offenlegten.
Guardian Agents ergänzen Project Perception
Project Perception bestand zum Start aus drei Agenten-Klassen. Ein Red Team simulierte Angriffe, ein Blue Team sollte Schwachstellen erkennen und bewerten, und ein Green Team war für deren Behebung vorgesehen. Genaue technische Details zur Zusammenarbeit dieser Teams nennt Microsoft bislang nicht.
| Funktion oder Plattform | Umfang | Aufgabe |
|---|---|---|
| Project Perception | Drei ursprüngliche Agenten-Klassen | Angriffe simulieren, Schwachstellen erkennen und beheben |
| Guardian Agents | Teil von Project Perception | Eingesetzte KI-Agenten überwachen |
| Microsoft Defender | Bis zu 60 Agenten-Typen | Am Arbeitsplatz verwendete Agenten erkennen |
| Open Agent Safety Platform | Mehr als 100 unterstützende Technologieunternehmen | Agenten isolieren, überwachen und hardwarebasiert stoppen |
Microsoft Defender soll künftig bis zu 60 Typen sogenannter Schatten-Agenten erkennen. Gemeint sind Werkzeuge wie Claude Code, Codex oder OpenClaw, die Mitarbeiter ohne zentrale Freigabe in Arbeitsabläufe einbinden. Nach welchen Kriterien Defender diese Agenten identifiziert oder blockiert, bleibt offen.
Ergänzend führt Microsoft dynamische Berechtigungen ein. Zugriffe sollen abhängig von Aufgabe und Risiko angepasst werden. Bei kritischen Aktionen kann eine menschliche Freigabe vorgeschrieben werden, was als Human in the Loop bezeichnet wird.
Hardwarebasierter Notausschalter für Agenten
Microsoft gehört außerdem zu den Gründungsmitgliedern der Open Agent Safety Platform von Nvidia. Die Plattform soll Agenten in isolierten Umgebungen ausführen, ihr Verhalten überwachen und sie bei Bedarf über hardwarebasierte Mechanismen stoppen. Mehr als 100 Technologieunternehmen unterstützen die Initiative.
Parallel wurden Surface Laptop Ultra PCs mit Nvidia-Chips angekündigt. Sie sollen Kontrollfunktionen für lokale Agenten direkt in die Geräte integrieren. Damit verlagert sich ein Teil der Absicherung von der reinen Cloud-Ebene auf die Hardware.
Der Ansatz folgt demselben Grundgedanken wie die Absicherung von KI-Agenten durch Zugriffskontrolllisten. Ein Agent erhält nicht pauschal alle Rechte, sondern nur die für eine konkrete Aufgabe notwendigen Zugriffe.
Microsoft verkauft Kontrolle über ein selbst geschaffenes Risiko
Die Position ist geschäftlich widersprüchlich. Microsoft investiert in OpenAI und Anthropic, betreibt eine eigene Modellentwicklung und verdient an der Cloud-Nutzung leistungsfähiger KI-Systeme. Gleichzeitig positioniert sich das Unternehmen als Kontrollinstanz, die Agenten dieser Anbieter überwachen soll.
Die grundsätzliche Forderung nach einer Trennung von Modell und Aufsicht ist dennoch nachvollziehbar. Eine Sicherheitskontrolle sollte nicht ausschließlich vom Anbieter des überwachten Systems abhängen. Vollständig unabhängig ist Microsoft aufgrund seiner eigenen Interessen im KI-Markt allerdings ebenfalls nicht.
Zu Preisen und Lizenzmodellen für Guardian Agents sowie die erweiterten Defender-Funktionen liegen keine Angaben vor. Für Unternehmen besteht damit das Risiko, dass auf bestehende Modell-, Cloud- und Softwarekosten weitere Sicherheitsabonnements folgen.
Konsequenzen für Unternehmen im DACH-Raum
Für Unternehmen in Deutschland, Österreich und der Schweiz betrifft die Warnung vor allem Datenschutz, Haftung und interne Zugriffsregeln. Wer Agenten mit ERP-Systemen, Kundendaten oder Entwicklungsumgebungen verbindet, bleibt für deren Aktionen verantwortlich. Zusicherungen eines Modellanbieters ersetzen keine eigene Risikoanalyse.
Besonders relevant sind Schatten-Agenten. Technisch versierte Mitarbeiter können leistungsfähige Werkzeuge in wenigen Minuten mit internen Datenquellen verbinden. Ohne Inventarisierung, Protokollierung und klare Betriebsvereinbarungen bleibt häufig unklar, welche Daten verarbeitet werden und welche Aktionen ein Agent ausführen darf.
Proprietäre Cloud-Agenten führen dabei zu einem strukturellen Kostenproblem. Das schwer einsehbare Modell benötigt zusätzliche Überwachung, Berechtigungsverwaltung und Notfallmechanismen. Diese Kontrollen werden anschließend häufig als weitere Cloud- oder SaaS-Produkte verkauft.
Selbst gehostete Open-Source-Modelle können eine Alternative sein, wenn Datensouveränität und technische Kontrolle wichtiger sind als maximaler Modellkomfort. Sie sind jedoch nicht automatisch sicher. Auch dort bleiben isolierte Ausführungsumgebungen, minimale Berechtigungen, Protokollierung und menschliche Freigaben für kritische Vorgänge erforderlich.
Für klar definierte Geschäftsprozesse können zudem deterministische Eigenentwicklungen sinnvoll sein. Sie arbeiten nach festgelegten Regeln und begrenzen den Handlungsspielraum des Modells. Der zentrale Punkt bleibt unabhängig vom Anbieter gleich: Ein KI-Agent sollte nie mehr Rechte erhalten, als für die jeweilige Aufgabe zwingend notwendig sind.