OpenAI überarbeitet das Prompt-Caching für GPT-6
OpenAI hat das Prompt-Caching der GPT-6-Modellfamilie erweitert. Wiederverwendbare Input-Tokens erhalten innerhalb eines Zeitfensters von 30 Minuten einen Rabatt von bis zu 90 %. Voraussetzung ist, dass mehrere Anfragen denselben Anfang, den sogenannten Prompt-Präfix, verwenden.
Das ist vor allem für langlebige KI-Agenten relevant. Solche Systeme senden wiederholt umfangreiche Systemanweisungen, Tool-Definitionen und bisherigen Kontext an das Modell. Werden diese Teile aus dem Cache bedient, muss OpenAI sie nicht bei jeder Anfrage vollständig neu verarbeiten.
Der maximale Rabatt bedeutet allerdings nicht, dass die gesamte API-Rechnung um 90 % fällt. Er gilt nur für berechtigte, gecachte Input-Tokens. Absolute Basispreise für GPT-6 nennt OpenAI in diesem Zusammenhang nicht. Einen Überblick über die grundsätzliche Preisentwicklung liefert auch der Beitrag zu den API-Preisen von GPT-6 Sol und Luna.
Dashboard und Diagnosewerkzeug zeigen Cache-Probleme
Ein neues Prompt Caching Dashboard stellt die Cache-Trefferquote im Zeitverlauf dar. Diese Kennzahl zeigt, welcher Anteil der Eingabe aus dem Cache geliefert wurde. Zusätzlich lässt sich die Zusammensetzung aus gecachten und frisch verarbeiteten Tokens vergleichen.
Für unerwartete Cache-Fehlschläge führt OpenAI ein Diagnosewerkzeug ein. Es vergleicht eine Anfrage mit einer vorherigen Antwort und zeigt, ob Änderungen am Modell, an Tools, Einstellungen oder Eingaben die Wiederverwendung verhindert haben. Außerdem schätzt das Werkzeug, wie viele Tokens von der Abweichung betroffen sind.
Damit wird Prompt-Caching von einer schwer sichtbaren Optimierung zu einer messbaren Betriebskennzahl. Für größere Anwendungen ist das relevant, weil bereits kleine Veränderungen an Prompts oder Tool-Schemata erhebliche Kosten verursachen können.
Explizite Breakpoints und anpassbarer Denkaufwand
Entwickler können nun explizite Cache-Breakpoints setzen. Sie legen fest, bis zu welcher Stelle ein Prompt als stabiler Präfix wiederverwendet werden soll. Häufig wechselnde Inhalte lassen sich dadurch ans Ende verschieben, ohne den stabilen Kontext jedes Mal neu zu verarbeiten.
Bei GPT-6 kann außerdem der Reasoning Effort, also der vom Modell eingesetzte Denkaufwand, zwischen Antworten angepasst werden. Eine Änderung über configuration_update macht den vorhandenen Cache nicht ungültig. Komplexe Aufgaben können somit mehr Rechenaufwand erhalten, während einfache Folgefragen günstiger verarbeitet werden.
OpenAI empfiehlt zudem, Tool-Definitionen und deren Reihenfolge stabil zu halten. Welche Werkzeuge tatsächlich verfügbar sind, sollte über allowed_tools oder tool_choice gesteuert werden. Das Entfernen und erneute Einfügen kompletter Definitionen würde dagegen die Cache-Nutzung beeinträchtigen.
Cache vor der ersten Anfrage vorbereiten
Mit Cache-Prewarming lässt sich bekannter Kontext bereits vor der ersten Nutzeranfrage laden. Dazu gehören Systemanweisungen, Tool-Definitionen oder Referenzmaterial. Die Verarbeitung findet damit außerhalb der eigentlichen Wartezeit statt, was die Latenz der ersten Antwort senken kann.
Dieses Vorladen ist besonders für Agenten mit umfangreichen, aber weitgehend statischen Arbeitsanweisungen interessant. Ob vergleichbare Funktionen für lokale Open-Source-Modelle oder Self-Hosting-Systeme standardisiert werden, geht aus der Ankündigung nicht hervor.
Erste Anwender melden deutliche Einsparungen
OpenAI nennt mehrere Anwenderbeispiele. Die Ergebnisse sind nicht ohne Weiteres auf andere Architekturen übertragbar, zeigen aber den möglichen Einfluss einer höheren Cache-Trefferquote.
| Anwender | Gemeldete Veränderung | Auswirkung |
|---|---|---|
| GitHub Copilot | Über 50 % weniger Prompt-Tokens mit frischer Verarbeitung | Gemessen über Milliarden Anfragen gegenüber der vorherigen Ausgangsbasis |
| Strawberry Browser | Cache-Trefferquote um wenige Prozentpunkte erhöht | 20 % niedrigere Kosten |
| Manus | Von rund 85 % auf konstant über 90 % Cache-Trefferquote | Niedrigere Inferenzkosten im Produktivbetrieb |
| Wordsmith | Von 83 % auf 91 % Cache-Trefferquote | Rund zwei Drittel weniger Cache-Schreibvorgänge und 36 % niedrigere Inferenzkosten |
„Für langlebige Agenten wie Manus ist zuverlässiges Caching grundlegend für die Wirtschaftlichkeit.“
Die Zahlen verdeutlichen, dass nicht nur der Listenpreis eines Modells zählt. Prompt-Struktur, Kontextlänge und Cache-Trefferquote beeinflussen die realen Betriebskosten ebenfalls. Ähnliche Optimierungen verfolgt der Ansatz von AWS Strands zur Senkung des Tokenverbrauchs.
Eigenentwicklungen werden wirtschaftlich interessanter
Für Unternehmen im DACH-Raum können die Änderungen die Kalkulation eigener KI-Agenten verbessern. Wiederkehrende Systemanweisungen, Unternehmensrichtlinien und Tool-Schemata machen häufig einen erheblichen Teil des Kontexts aus. Werden diese Inhalte zuverlässig wiederverwendet, sinken laufende API-Kosten und Antwortzeiten.
Das stärkt Eigenentwicklungen gegenüber fertigen SaaS-Produkten, deren Preise oft mit hohen Modellkosten begründet werden. Eine maßgeschneiderte Anwendung kann bei stabilen Abläufen und hoher Auslastung wirtschaftlicher werden. Dafür entstehen jedoch eigener Entwicklungsaufwand sowie Kosten für Überwachung, Fehleranalyse und Betrieb.
Auch die Anbieterabhängigkeit verschwindet nicht. Breakpoints, Diagnosefunktionen und Prewarming sind eng mit OpenAIs proprietärer API verbunden. Wer diese Funktionen tief in die eigene Architektur integriert, senkt kurzfristig die Kosten, erhöht aber möglicherweise den Aufwand für einen späteren Modellwechsel.