TorchTPU soll PyTorch von Nvidia-Hardware lösen
Google hat TorchTPU als Open-Source-Projekt veröffentlicht. Damit sollen sich Anwendungen auf Basis von PyTorch auf Googles Tensor Processing Units, kurz TPUs, ausführen lassen. TPUs sind speziell für maschinelles Lernen entwickelte Beschleuniger.
PyTorch ist ein Open-Source-Framework zum Entwickeln, Trainieren und Ausführen von KI-Modellen. Nach bestimmten Schätzungen basieren rund 85 % der KI-Anwendungen darauf. Weil das Framework historisch stark auf Nvidia-GPUs ausgerichtet wurde, profitieren diese bislang von einem erheblichen Vorteil im Software-Ökosystem.
Laut Google soll für den Wechsel bestehender PyTorch-Anwendungen auf TPUs eine Konfigurationsänderung genügen. Der eigentliche Anwendungscode müsse nicht neu geschrieben werden.
Wie vollständig dieses Versprechen bei komplexen Modellen eingehalten wird, ist bislang offen. Unabhängige Vergleiche zur Kompatibilität, Stabilität und zum notwendigen Anpassungsaufwand liegen nicht vor.
Amazon verfolgt mit TorchNeuron denselben Ansatz
Amazon hatte kurz zuvor TorchNeuron veröffentlicht. Die Open-Source-Erweiterung soll PyTorch-Anwendungen ohne Umschreiben des Codes auf die eigenen Trainium-Chips und damit auf AWS bringen. Eine technische Einordnung bietet der Artikel zu AWS TorchNeuron und PyTorch auf Trainium.
Amazon will zusätzlich Code in das zentrale PyTorch-Projekt einbringen. Damit sollen einzelne Funktionen schrittweise von Nvidia-spezifischen Komponenten entkoppelt werden. Das Ziel ist ein Framework, das unterschiedliche Hardware-Plattformen möglichst gleichberechtigt unterstützt.
| Anbieter | Projekt | Zielhardware | Cloud-Bindung |
|---|---|---|---|
| TorchTPU | Google TPUs | Google Cloud | |
| Amazon | TorchNeuron | AWS Trainium | AWS |
| Nvidia | Bestehendes PyTorch-Ökosystem | Nvidia-GPUs | Bei mehreren Cloud-Anbietern und im Eigenbetrieb verfügbar |
Google bindet wichtige KI-Werkzeuge ein
Google hat bei TorchTPU unter anderem mit Meta, Hugging Face, Inferact und RadixArk zusammengearbeitet. Inferact entwickelt die Inferenzsoftware vLLM, RadixArk steht hinter SGLang. Beide Werkzeuge spielen beim effizienten Betrieb großer Sprachmodelle eine wichtige Rolle.
Ergänzend stellt Google die TPU agent suite bereit. Sie soll Migrationen unterstützen und Fehler bei der Umstellung auf TPUs erkennen. Außerdem wurde LiteRT aktualisiert, Googles Laufzeitumgebung für KI-Anwendungen auf Smartphones, Notebooks und eingebetteten Geräten.
| Jahr oder Anteil | Bedeutung |
|---|---|
| 2016 | Meta, damals Facebook, entwickelt PyTorch |
| 2022 | Übergabe des Projekts an die Linux Foundation |
| 85 % | Geschätzter Anteil der KI-Anwendungen, die PyTorch nutzen |
Mehr Auswahl, aber kein Ende des Vendor-Lock-in
Für Unternehmen, die eigene KI-Modelle trainieren oder betreiben, kann die Entwicklung den Wettbewerb bei Rechenleistung verschärfen. Eine einfachere Portierung schafft zumindest technisch die Möglichkeit, Nvidia-GPUs gegen TPUs oder Trainium zu testen. Das kann bei knapper Hardware und hohen Infrastrukturkosten relevant werden.
Ob daraus tatsächlich niedrigere Kosten entstehen, lässt sich derzeit nicht belastbar beurteilen. Es fehlen direkte Benchmarks und Preisvergleiche für identische Modelle, Trainingsläufe und Inferenzlasten. Dass alternative Chips verfügbar sind, sagt noch nichts über die Gesamtkosten einschließlich Migration, Betrieb und Optimierung aus.
Auch der Lock-in verschwindet nicht automatisch. Wer auf TPUs oder Trainium wechselt, reduziert zwar die Abhängigkeit von Nvidia, bindet die Infrastruktur aber enger an Google Cloud oder AWS. Gerade für Unternehmen im DACH-Raum bleiben deshalb Datenstandort, Vertragsgestaltung, Wechselkosten und technische Rückfalloptionen entscheidend.
Open Source betrifft bei TorchTPU und TorchNeuron die Integrationssoftware, nicht die Beschleuniger selbst. Proprietäre Cloud-Chips bleiben unter Kontrolle des jeweiligen Hyperscalers. Eine breitere Auswahl bei Modellen und Infrastruktur zeigt sich bereits bei Open-Weight-Modellen in KI-Gateways, doch echte Unabhängigkeit setzt portable Software und alternative Betriebswege voraus.
Der praktische Test entscheidet
Google und Amazon greifen Nvidia nicht nur über eigene Chips an, sondern über die Entwicklerschnittstelle. Wenn bestehende PyTorch-Projekte tatsächlich mit kleinen Änderungen migriert werden können, sinkt eine der wichtigsten Wechselbarrieren.
Für IT-Abteilungen bedeutet das zunächst mehr Prüfaufwand, aber auch eine bessere Verhandlungsposition. Sinnvoll sind begrenzte Tests mit realen Modellen, einschließlich Kostenmessung, Fehlersuche und Rückmigration. Erst diese Ergebnisse zeigen, ob TorchTPU und TorchNeuron echte Alternativen oder lediglich neue Wege in die nächste Cloud-Abhängigkeit sind.