AMDKI ChipsSelf-Hosting

AMD Threadripper Halo: Lokale KI mit 576 GB HBM

AMD bringt mit Threadripper Halo eine Workstation für lokale KI-Modelle mit bis zu vier Instinct MI350P und 576 GB HBM3e auf den Markt. Das System soll ab 2027 Modelle mit mehr als einer Billion Parametern ohne Cloud ausführen, verlangt aber ein hohes Budget und eine belastbare Stromversorgung.

AMD Threadripper Halo: Lokale KI mit 576 GB HBMBild: KI-generiert

AMD bringt Instinct-Beschleuniger an den Arbeitsplatz

AMD hat auf der IFA 2026 in Berlin die KI-Workstation Threadripper Halo angekündigt. Das flüssigkeitsgekühlte System richtet sich an Forschungseinrichtungen und Unternehmen, die große KI-Modelle lokal betreiben wollen. Die Markteinführung ist für 2027 vorgesehen, ein genaues Datum und regionale Verfügbarkeiten stehen noch nicht fest.

Im Zentrum steht ein Threadripper PRO 9995WX mit 96 Rechenkernen. Dazu kommen bis zu 2 TB DDR5-Arbeitsspeicher und maximal vier Instinct MI350P als PCIe-Erweiterungskarten. Auf der IFA zeigte AMD allerdings nur Systeme mit zwei Beschleunigern.

In der maximalen Konfiguration stehen 576 GB schneller GPU-Speicher bereit. Damit verschiebt AMD lokale KI von kompakten Modellen in die Klasse großer Frontier-Modelle.

Vier MI350P liefern 576 GB HBM3e

Jede Instinct MI350P besitzt 144 GB HBM3e. Dabei handelt es sich um besonders breit angebundenen Speicher für Hochleistungsbeschleuniger. Pro Karte nennt AMD eine Bandbreite von 4 TB/s und eine Rechenleistung von bis zu 4,6 PFLOPS bei FP4, also Berechnungen mit 4-Bit-Zahlen.

Mit vier Karten erreicht Threadripper Halo 576 GB HBM3e und eine aggregierte Speicherbandbreite von 16 TB/s. Dadurch sollen Modelle mit mehr als einer Billion Parametern vollständig im GPU-Speicher laufen können. Voraussetzung ist eine entsprechend kompakte FP4-Darstellung.

MerkmalThreadripper Halo
ProzessorThreadripper PRO 9995WX mit 96 Kernen
KI-BeschleunigerBis zu 4 Instinct MI350P
HBM3e pro GPU144 GB
HBM3e insgesamtBis zu 576 GB
Speicherbandbreite4 TB/s pro GPU, maximal 16 TB/s
FP4-RechenleistungBis zu 4,6 PFLOPS pro GPU
DDR5-ArbeitsspeicherBis zu 2 TB
GesamtspeicherBis zu 2,6 TB
MarkteinführungFür 2027 angekündigt

2,8 Billionen Parameter durch Offloading

Reicht der GPU-Speicher nicht aus, können Teile eines Modells in den DDR5-Arbeitsspeicher ausgelagert werden. Dieses Offloading vergrößert die nutzbare Modellklasse, reduziert aber typischerweise die Geschwindigkeit. AMD nennt Open-Weights-Modelle wie Kimi K3 von Moonshot.AI mit 2,8 Billionen Parametern als mögliches Einsatzszenario.

Open Weights bedeutet, dass die Modellgewichte verfügbar sind. Das ist nicht automatisch mit vollständig quelloffener Software gleichzusetzen. Für lokale Projekte existieren bereits deutlich kleinere Alternativen, etwa die lokal ausführbaren IBM Granite 4.2 Modelle oder Qwen 3.8 27B.

AMD positioniert das System gegen Nvidia DGX Station

Der direkte Wettbewerber ist Nvidias DGX Station. Diese kombiniert eine B300-GPU mit 252 GB Speicher und eine Grace-CPU mit 72 Kernen. AMD beansprucht für Threadripper Halo bis zu 3,4-mal mehr Gesamtspeicher und mehr als die doppelte Speicherbandbreite.

MerkmalAMD Threadripper HaloNvidia DGX Station
CPU96 Kerne72 Kerne
GPU-SpeicherBis zu 576 GB HBM3e252 GB
Zusätzlicher ArbeitsspeicherBis zu 2 TB DDR5496 GB LPDDR5x
PreisNicht offiziell genanntRund 100.000 US-Dollar

Offen bleibt, ob die PCIe-Anbindung zwischen Prozessor und vier GPUs im praktischen Betrieb zum Engpass wird. Das betrifft vor allem Tensor-Parallelismus, bei dem ein Modell über mehrere Beschleuniger verteilt wird. Belastbare Werte lassen sich erst mit Seriengeräten ermitteln.

Preis und Leistungsaufnahme bleiben kritische Punkte

AMD hat noch keinen Verkaufspreis veröffentlicht. Eine Schätzung sieht die vollständig ausgestattete Workstation zwischen 100.000 und 150.000 US-Dollar. Diese Spanne ist nicht bestätigt und kann je nach Speicherbestückung sowie regionalem Markt abweichen.

Auch die Stromversorgung dürfte die Einsatzplanung beeinflussen. Eine MI350P ist mit bis zu 600 W spezifiziert. Für Threadripper Halo wird eine Begrenzung auf 450 W oder möglicherweise 300 W pro Karte erwartet, AMD hat die konkrete Umsetzung aber noch nicht erläutert.

Bei vier GPUs kommen Prozessor, Arbeitsspeicher, Kühlung und weitere Komponenten hinzu. Vor einer Beschaffung müssen daher Stromanschluss, Absicherung, Abwärme und Geräuschentwicklung geprüft werden. Gerade in gewöhnlichen Bürogebäuden kann dafür ein technischer Umbau erforderlich sein.

Lokale KI als Alternative zu API-Abrechnung

Für Unternehmen im DACH-Raum liegt der wichtigste Vorteil in der Datenhoheit. Modelle und Eingabedaten können im eigenen Rechenzentrum verbleiben, was Projekte mit Geschäftsgeheimnissen, Forschungsdaten oder strengen Datenschutzvorgaben erleichtert. Die auf der Berliner IFA erfolgte Vorstellung unterstreicht zwar die Bedeutung des europäischen Marktes, eine konkrete Verfügbarkeit für Deutschland, Österreich und die Schweiz ist aber noch nicht bestätigt.

Die sechsstellige Investition lohnt sich nicht automatisch. Bei dauerhaft hoher Auslastung kann eigene Hardware jedoch besser kalkulierbar sein als wiederkehrende Cloud-Gebühren und nutzungsabhängige API-Kosten. Vergleichbare Wirtschaftlichkeitsrechnungen stellt auch der angekündigte KI-Cluster von Nutanix in den Mittelpunkt.

Threadripper Halo reduziert zudem die Abhängigkeit von Nvidia und einzelnen Cloud-Anbietern. Dafür übernimmt das Unternehmen Betrieb, Wartung, Modellbereitstellung und Kapazitätsplanung selbst. Die entscheidende Rechnung umfasst deshalb nicht nur den Kaufpreis, sondern auch Strom, Kühlung, Personal und die tatsächlich erreichbare Auslastung.