llm-d 1.0 startet und optimiert Open-Source-KI-Inferenz für Produktionsumgebungen
Das llm-d-Projekt, eine gemeinschaftliche Initiative, die nun von der Cloud Native Computing Foundation (CNCF) verwaltet wird, hat die Veröffentlichung von llm-d 1.0 bekannt gegeben. Dieser bedeutende Meilenstein zielt darauf ab, Organisationen eine offene, kosteneffiziente Lösung für die Bereitstellung und Skalierung von Large Language Model (LLM)-Inferenz über moderne Infrastrukturen hinweg zu bieten und damit die wachsenden Herausforderungen und Kosten für den Betrieb von KI im Produktionsmaßstab zu bewältigen.
Wichtige Innovationen in llm-d 1.0
llm-d 1.0 führt mehrere Kernfunktionen ein, die darauf ausgelegt sind, die Anforderungen moderner KI-Workloads, insbesondere agentenbasierter KI, zu erfüllen. Dazu gehören:
- Multi-Tenant-Quality-of-Service: Eine prioritäts- und fairnessbewusste Flusskontrolle stellt sicher, dass latenzempfindliche Anfragen und bursty Agent-Workloads Ressourcen gemeinsam nutzen können, ohne sich gegenseitig negativ zu beeinflussen.
- Zero-Downtime-Operationen: Funktionen wie Router-Hochverfügbarkeit mit Hot-Standby und Rolling-Updates sowie koordinierte Rollouts für Prefill/Decode-Replikate ermöglichen einen kontinuierlichen Betrieb während Upgrades und Wartungsarbeiten.
- Eine stabile Grundlage: Eine v1-Konfigurations-API und ein gehärteter Request-Pfad, validiert über verschiedene Clouds und Beschleuniger hinweg, bieten eine zuverlässige Version für die Standardisierung.
- Agentenbewusstes Serving: Sitzungsbewusste Weiterleitung hält den Konversationskontext lokalisiert, während die Turn-Priority-Scheduling- und native Responses-API-Statusunterstützung Agenten hilft, den Kontext wiederzuverwenden und Neuberechnungen zu reduzieren.
Diese Fortschritte bauen auf bestehenden Funktionen wie Hardware-Heterogenität, Prefix-Cache und lastabhängiger Weiterleitung, KV-Cache-Offloading sowie disaggregiertem Prefill/Decode auf und unterstützen mehrere Modellserver, darunter vLLM und SGLang.
Bewältigung der Herausforderungen der Produktions-KI
Da Organisationen KI zunehmend von der Experimentierphase in die Produktion überführen, werden die operativen Herausforderungen der Inferenz im großen Maßstab offensichtlich. Agentenbasierte KI-Workloads, die durch kontinuierlichen Kontextzugriff und unvorhersehbare Aktivitätsspitzen gekennzeichnet sind, belasten die Infrastruktur auf einzigartige Weise. Die Verwaltung dieses Kontexts kann ressourcenintensiver sein als der eigentliche Generierungsprozess, was Latenz, Durchsatz, Speichereffizienz und Infrastrukturkosten für den Return on Investment (ROI) von KI entscheidend macht.
llm-d 1.0 wurde entwickelt, um diese Probleme durch intelligente verteilte Inferenz zu lösen, mit dem Ziel, die Leistung zu verbessern, den Durchsatz zu erhöhen und eine bessere Kontrolle über die Wirtschaftlichkeit des KI-Servings zu bieten. Das Projekt, das 2025 von Red Hat, IBM, Google Cloud, CoreWeave und NVIDIA gegründet wurde, zählt nun über 500 Mitwirkende aus mehr als 25 Organisationen.
Ökosystem-Dynamik und reale Auswirkungen
Das llm-d-Ökosystem verzeichnet ein erhebliches Wachstum, wobei frühe Anwender messbare Vorteile berichten. IBM Research untersuchte beispielsweise Quantenfehlerkorrektur-Hardware mit Open-Frontier-Modellen und llm-d und erzielte 11,5-mal niedrigere Inferenzkosten im Vergleich zu einer rein proprietären Lösung, mit einer Prefix-Cache-Trefferquote von etwa 98 % und durchschnittlichen Serving-Kosten von etwa 0,11 US-Dollar pro Million Tokens.
In einer weiteren Demonstration ermöglichte llm-d die Bereitstellung von GLM 5.2, einem Modell mit 753 Milliarden Parametern, auf NVIDIA GPUs. Diese Konfiguration bediente bis zu 3.000 gleichzeitige Coding-Agenten und lieferte Spitzenwerte von über 6,6 Millionen Ausgabetokens pro Minute, wobei die Kosten schätzungsweise 5- bis 10-mal niedriger waren als bei vergleichbaren kommerziellen API-Preisen, insbesondere für input-lastige agentenbasierte Workloads.
Branchenführer wie Chris Aniszczyk (CTO, CNCF), Brian Stevens (SVP und AI CTO, Red Hat) und Priya Nagpurkar (VP, AI Native Systems, IBM Research) haben ihre starke Unterstützung geäußert und die Rolle von llm-d bei der Reifung von Open-Source-Inferenz für die Produktion und der Bewältigung der operativen Komplexität von agentenbasierter KI hervorgehoben. Google Cloud integriert llm-d 1.0 in Google Kubernetes Engine, und CoreWeave bietet Unterstützung auf seinem Kubernetes Service. NVIDIA bringt llm-d zu NVIDIA Vera Rubin, und AMD ermöglicht verteilte Hochleistungs-Inferenz auf AMD Instinct™ GPUs.
