Aiven senkt KI-Kosten mit einem eigenen LLM-Gateway
Der finnische Open-Source-Dienstleister Aiven hat seine interne KI-Infrastruktur neu organisiert. Statt sämtliche Aufgaben über proprietäre Modelle von OpenAI oder Anthropic abzuwickeln, führt das Unternehmen einen Großteil der Arbeit mit selbst gehosteten Open-Weight-Modellen aus.
Open-Weight bedeutet, dass die trainierten Modellgewichte verfügbar sind und das Modell auf eigener oder gemieteter Infrastruktur betrieben werden kann. Bei besonders intensiven Nutzern sanken die Ausgaben nach Angaben von Aiven um rund 80 %.
| Bereich | Umsetzung bei Aiven |
|---|---|
| Gemeldete Einsparung | Rund 80 % bei internen Heavy-Usern |
| Ausführung | Überwiegend Open-Weight-Modelle |
| Planung kritischer Aufgaben | Proprietäre Frontier-Modelle |
| Infrastruktur | Selbst gehostete Modelle auf gemieteten GPUs |
| Gateway-Basis | Open-Source-Framework LiteLLM |
Gateway verteilt Aufgaben auf unterschiedliche Modelle
Das interne LLM-Gateway basiert auf LiteLLM. Aiven ergänzte das Framework um Funktionen für Budgetierung und Zugriffsverwaltung. Beschäftigte können dadurch unterschiedliche Modelle verwenden, ohne jede Anwendung einzeln an die jeweilige Schnittstelle anbinden zu müssen.
Zum Modellportfolio gehören Llama von Meta, Qwen von Alibaba Cloud, DeepSeek, Mistral Medium 3.5, Devstral und Gemma von Google. Das Gateway schafft damit eine Abstraktionsschicht zwischen Anwendungen und Modellen. Ein Wechsel des Anbieters oder Modells wird einfacher, weil die Geschäftslogik nicht vollständig neu gebaut werden muss.
Dieser Ansatz ähnelt dem Modell-Routing zur Senkung von Codex-Kosten bei LegalOn. Auch die starke Nutzung von Open-Weight-Modellen in Vercels KI-Gateway zeigt, dass Unternehmen nicht mehr jede Aufgabe an das teuerste verfügbare Modell schicken müssen.
Sinngemäß erklärt Aivens Strategiechef Ville Lehto: Der Großteil der eigentlichen Arbeit werde mit Open-Weight-Modellen erledigt. Proprietäre Frontier-Modelle kämen vor allem bei der Planung besonders kritischer Schritte zum Einsatz.
Frontier-Modelle bleiben Teil der Architektur
Aiven ersetzt proprietäre Spitzenmodelle nicht vollständig. Das Unternehmen nutzt sie weiterhin für anspruchsvolle Planungsschritte. Die anschließende Ausführung übernehmen überwiegend günstigere, selbst betriebene Modelle.
Damit entsteht eine hybride Architektur. Leistungsfähige externe Modelle werden gezielt dort eingesetzt, wo ihre Fähigkeiten den höheren Preis rechtfertigen. Wiederkehrende und klar definierte Aufgaben laufen dagegen auf kontrollierbarer Infrastruktur.
Entscheidend ist allerdings nicht allein der Preis pro Token. Für einen belastbaren Vergleich müssen Unternehmen auch die Kosten pro erfolgreich erledigter Aufgabe betrachten. Aiven veröffentlicht bislang keine detaillierten Qualitätsmessungen für die eingesetzten Modelle.
80 % Einsparung sind keine vollständige Kostenrechnung
Die genannte Reduktion bezieht sich auf interne Heavy-User. Absolute Beträge nennt Aiven nicht. Auch die Kosten für gemietete GPUs, Betrieb, Überwachung und Wartung werden nicht aufgeschlüsselt.
Damit lässt sich aus der Zahl keine allgemeine Wirtschaftlichkeitsrechnung für andere Unternehmen ableiten. Der Ansatz zeigt aber, dass hohe API-Ausgaben nicht zwangsläufig dauerhaft akzeptiert werden müssen. Besonders bei großen, planbaren Arbeitslasten kann Self-Hosting wirtschaftlich werden.
Der eigene Betrieb bringt zugleich Verantwortung mit sich. Updates, Zugriffsschutz und die verwendeten Open-Source-Komponenten müssen kontrolliert werden. Welche Folgen unzureichend abgesicherte Abhängigkeiten haben können, zeigte der Supply-Chain-Angriff auf LiteLLM 1.107.0.
Aiven will das Gateway als Dienst anbieten
Aiven plant, das entwickelte Gateway künftig Geschäftskunden bereitzustellen. Es soll den Modellwechsel, die Budgetkontrolle und den Zugriff auf verschiedene KI-Systeme vereinfachen. Konkrete Preise, ein Starttermin und das spätere Abrechnungsmodell sind noch nicht bekannt.
Das Unternehmen kommt ursprünglich aus dem Betrieb gemanagter Open-Source-Datenbanken und erweitert sein Angebot in Richtung Machine Learning und KI-Infrastruktur. Zu seinen Kunden gehören unter anderem Conrad, Dojo, Sophos und Avaya.
Relevanz für Unternehmen im DACH-Raum
Für Unternehmen im DACH-Raum ist vor allem die Kombination aus europäischem Anbieter, freier Modellwahl und selbst kontrollierbarer Infrastruktur interessant. Ein europäisch gehostetes Gateway kann Datenschutz- und Compliance-Prozesse erleichtern. Die DSGVO-Konformität hängt dennoch von Hosting-Standort, Verträgen, Protokollierung und den verarbeiteten Daten ab.
Strategisch reduziert ein solches Gateway die Abhängigkeit von einzelnen KI-APIs. Modelle lassen sich nach Kosten, Qualität und Datenschutzanforderungen auswählen. Das ist keine kostenlose Alternative zum SaaS-Bezug, aber eine belastbare Option für Unternehmen, deren Token-Verbrauch groß genug ist, um eigenen Betriebsaufwand zu rechtfertigen.