Emulation
KI-Infrastruktur validieren und optimieren
Keysight Technologies hat heute den Keysight AI Inference Builder (KAI Inference Builder) vorgestellt, eine Emulations- und Analyseplattform, die darauf ausgelegt ist, inferenzoptimierte KI-Infrastrukturen in großem Maßstab zu validieren. Keysight wird die Lösung auf der NVIDIA GTC vorstellen und dabei den Einsatz in den KI-Factory-Simulationsumgebungen von Nvidia DSX Air demonstrieren, um die Infrastruktur, Architekturen und Leistung von KI-Rechenzentren zu modellieren und zu optimieren.
Da sich der Schwerpunkt der KI-Branche vom Training von LLMs (Large Language Models) auf deren Einsatz verlagert, ist die Optimierung der Inferenz zu einem entscheidenden Faktor für den ROI geworden. Das Inferenzverhalten ist jedoch äußerst dynamisch und schwer nachzubilden. Herkömmliche Testmethoden wie die Erzeugung synthetischen Datenverkehrs oder GPU-Benchmarks können das latenzempfindliche Verhalten von KI-Inferenz-Workloads über Rechen-, Netzwerk-, Speicher-, Speicher- und Sicherheitsschichten hinweg nicht genau reproduzieren.
KAI Inference Builder schließt diese Lücke, indem es realistische Inferenz-Workload-Muster nachbildet und branchenspezifische Nutzungsmuster modelliert, um den Einsatz von KI-Infrastrukturen, Anwendungen und Rechenzentren zu validieren. Die Plattform bietet KI-Cloud-Anbietern, Hardware-Anbietern und Anwendungsentwicklern eine skalierbare Lösung zur Messung, Validierung und Optimierung der Inferenzleistung unter realen Bedingungen.
Zu den wichtigsten Vorteilen des KAI Inference Builder gehören:
- Entwickelt für das Zeitalter der Inferenz: Als Teil des KAI-Portfolios (Keysight Artificial Intelligence) emuliert der KAI Inference Builder KI-Inferenz-Workloads in großem Maßstab und validiert Full-Stack-Bereitstellungen unter realistischen Bedingungen, um Leistung, Skalierbarkeit und Sicherheit zu optimieren.
- Branchen- und anwendungsspezifisches Benchmarking: Anstelle allgemeiner Emulationen simuliert der KAI Inference Builder branchenspezifische Nutzungsmuster und LLM-Architekturen für KI-Modelle, wie sie in der Finanzbranche, im Gesundheitswesen und anderen Branchen zum Einsatz kommen. So können Unternehmen das Verhalten von Infrastruktur und Anwendungen in verschiedenen Arten von KI-Rechenzentren modellieren und analysieren.
- End-to-End-Validierung und -Optimierung: Der KAI Inference Builder bewertet Inferenz-Workflows von der Benutzeranfrage bis zur Modellantwort und hilft Teams dabei, kostspielige Nachbesserungen zu vermeiden, indem er Engpässe in den Bereichen Rechenleistung, Netzwerk und Sicherheit frühzeitig identifiziert und behebt.
- Isolierung von Subsystemen und präzise Ursachenanalyse: Der KAI Inference Builder ermöglicht auch eine reine Client-Emulation, mit der sich feststellen lässt, wo im gesamten KI-Infrastruktur-Stack unter Last Leistungsengpässe auftreten. So lassen sich gezielte Optimierungen vornehmen, die eine Überdimensionierung reduzieren, Kosten senken und die Gesamteffizienz steigern.
- NVIDIA DSX Air-Integration und Live-Demo auf der GTC: Keysight wird auf der NVIDIA GTC die schlüsselfertige Integration von KAI Inference Builder mit NVIDIA Air vorstellen, die realistische Inferenz-Workloads in der gesamten Simulationsumgebung des Rechenzentrums von NVIDIA generiert, sodass Betreiber die Inferenz-Infrastruktur vor dem Einsatz physischer Geräte validieren können.
Ram Periakaruppan, Vice President und General Manager für die Network Test & Security Solutions bei Keysight: „Inferenz ist der Schlüssel zur Realisierung des ROI von KI. Das kann jedoch schwierig sein, wenn die Systemressourcen nicht hinsichtlich Kapazität und Leistung optimiert sind. KAI Inference Builder bietet Transparenz über die reale Inferenzleistung über den gesamten Stack hinweg und ermöglicht es Kunden, Implementierungen zu validieren und zu optimieren, noch bevor die Hardware in das Rack kommt. Die Präsentation dieser Funktion auf der NVIDIA GTC unter Verwendung der NVIDIA Air-Plattform zeigt, wie Unternehmen den Weg zur Produktion beschleunigen und gleichzeitig Risiken und Kosten reduzieren können.“
Amit Katz, VP of Networking bei NVIDIA: „Da KI-Rechenzentren ein bisher unerreichtes Ausmaß erreichen, hat sich die Validierung vor der Implementierung von einer Best Practice zu einer geschäftskritischen Anforderung entwickelt. Die Integration von KAI Inference Builder mit NVIDIA DSX Air bietet die notwendige Umgebung, um Leistungsschwankungen zu beseitigen, und ermöglicht es den Partnern und Kunden der NVIDIA AI Factory, reale Inferenz-Workloads zu simulieren und Engpässe präventiv zu beheben, sodass optimierte KI-Dienste schnell auf den Markt kommen.“
71034 Böblingen
DEUTSCHLAND
keysight.com
aktuelle Newsletter
