JFrog optimiert KI-Modell-Bereitstellung mit NVIDIA NIM Microservices
JFrog gibt die allgemeine Verfügbarkeit seiner Integration mit NVIDIA NIM Microservices, Teil der NVIDIA AI Enterprise Software-Plattform, bekannt.
Die JFrog-Plattform ist eine einheitliche, durchgängige und sichere DevSecOps und MLOps Lösung mit nativer NVIDIA NIM-Integration. Sie ermöglicht die schnelle Bereitstellung von GPU-optimierten, vorab genehmigten Machine Learning-Modellen (ML) und großen Sprachmodellen (LLMs) für die Produktion – bei gleichzeitiger Sicherheit auf Unternehmensniveau sowie erhöhter Transparenz und Verwaltungskontrolle. Ihre einheitliche Infrastruktur ermöglicht es Entwicklern, KI-gestützte Anwendungen effizienter und sicherer als bisher zu entwickeln und bereitzustellen.
Lösung mit nativer NVIDIA NIM-Integration
„Immer weiter steigt die Nachfrage nach sicheren und effizienten KI-Implementierungen an. Viele Unternehmen wollen ihre KI-Strategien bis 2025 ausbauen. Allerdings gibt es oft Schwierigkeiten, die KI-Implementierungen in die Produktion zu überführen – aufgrund der erheblichen sicherheitstechnischen Herausforderungen“, so Gal Marder, Chief Strategy Officer bei JFrog. „KI-gestützte Anwendungen abzusichern, bereitzustellen und zu verwalten ist von Natur aus eine komplexe Angelegenheit. Die Bedenken hinsichtlich der Sicherheit von Open Source-KI-Modellen und -Plattformen nehmen zu. Es freut uns, dank der Kooperation mit NVIDIA, nun eine einfach zu implementierende End-to-End-Lösung anbieten zu können, die es Unternehmen ermöglicht, die Bereitstellung ihrer KI/ML-Modelle zu beschleunigen und dabei auf Unternehmensniveau sowohl Sicherheit und Compliance als auch Provenance gewährleistet.“
Mit dem Anstieg der Nachfrage nach KI in Softwareanwendungen sehen sich Datenwissenschaftler und ML-Ingenieure, wenn sie ihre Enterprise-ML-Modellbereitstellungen zu skalieren suchen, vor große Herausforderungen gestellt. Die Komplexität der Integration von KI-Workflows in bestehende Softwareentwicklungsprozesse – in Verbindung mit einem fragmentierten Asset Management, mit Sicherheitsschwachstellen und Compliance-Problemen – kann zu langwierigen, kostspieligen Bereitstellungszyklen führen, KI-Initiativen nicht selten auch gänzlich scheitern lassen. Laut IDC werden 65 Prozent aller Unternehmen bis 2028 DevOps-Tools einsetzen, die MLOps-, LLMOps-, DataOps-, CloudOps- und DevOps-Funktionen kombinieren, um ihren Weg zur KI-Wertschöpfung in Softwareentwicklungsprozessen zu optimieren.
„Die Verbreitung von Open Source-MLOps-Plattformen hat KI für Entwickler aller Qualifikationsstufen zugänglicher gemacht. Schnell können sie nun erstaunliche KI-Anwendungen erstellen. Der Prozess muss jedoch sicher und in Übereinstimmung mit den sich schnell entwickelnden staatlichen Vorgaben erfolgen“, so Jim Mercer, Program Vice President, Software Development, DevOps & DevSecOps von IDC. „Da Unternehmen ihre generativen KI-Implementierungen skalieren, ist ein zentrales Repository mit vorab genehmigten, vollständig konformen und leistungsoptimierten Modellen, aus dem Entwickler auswählen und schnell Implementierungen vornehmen können – dies alles, während es ein hohes Maß an Transparenz, Nachverfolgbarkeit und Kontrolle durch die Nutzung bestehender DevSecOps-Workflows beibehaltet – sehr überzeugend.“
Sicherheits- und Verwaltungskontrolle auf Unternehmensniveau
Die JFrog-Integration mit NVIDIA NIM ermöglicht es Unternehmen, die neuesten LLMs – einschließlich Metas Llama 3 und Mistral AI – nahtlos zu implementieren und zu verwalten. Gleichzeitig hält sie eine Sicherheits- und Verwaltungskontrolle auf Unternehmensniveau für die gesamte Software-Lieferkette bereit. JFrog Artifactory – das Herzstück der JFrog-Plattform – bietet eine einzige Lösung für das Hosting und die nahtlose Verwaltung aller Software-Artefakte, Binärdateien, Pakete, ML-Modelle, LLMs, Container-Images und Komponenten während des gesamten Software-Entwicklungszyklus. Durch die Integration von NVIDIA NIM in die JFrog-Plattform können Entwickler einfach auf NVIDIA NGC zugreifen – ein Hub für GPU-optimierte Deep Learning-, ML- und HPC-Modelle. Kunden erhalten so eine einzige Source of Truth für ihre Software-Modelle und -Tools, während sie gleichzeitig die besten DevSecOps-Praktiken von Unternehmen nutzen können, um im Hinblick auf ihre Software-Lieferkette Transparenz, Governance und Kontrolle zu erhalten.
Das Update der JFrog-Plattform bietet KI-Entwicklern und DevSecOps-Teams mehrere Vorteile, darunter:
- Vereinheitlichte ML & DevOps Workflows: Datenwissenschaftler und ML-Ingenieure können jetzt Modelle mit den JFrog DevSecOps-Softwareentwicklungs-Workflows, die sie bereits kennen und denen sie vertrauen, versionieren, sichern und bereitstellen. Dadurch entfällt die Notwendigkeit für Teams, separate ML-Tools zu verwenden. JFrog Curation gewährleistet automatische Compliance-Prüfungen, Audit-Trails und Governance der ML-Modelle.
- End-to-End-Sicherheit & Integrität: Implementieren Sie kontinuierliche Sicherheitsscans über Container, KI-Modelle und Abhängigkeiten hinweg. So erhalten Sie kontextbezogene Einblicke, über NIM-Microservices hinweg, um Schwachstellen zu identifizieren. Hinzu kommt eine intelligente Bedrohungserkennung, die sich auf echte Risiken und proaktiven Schutz vor kompromittierten KI-Modellen und Paketen konzentriert.
- Außergewöhnliche Model-Performance und Skalierbarkeit: Optimierte KI-Anwendungsperformance, unter Ausnutzung der beschleunigten Computing-Infrastruktur von NVIDIA, die niedrige Latenzzeiten und hohe Durchsatzraten für die skalierbare Bereitstellung von LLMs in großen Produktionsumgebungen mit sich bringt. Einfaches Bündeln von ML-Modellen mit Abhängigkeiten, um externe Anforderungen zu reduzieren und bestehende Workflows für einen nahtlosen KI-Einsatz auszunutzen. Darüber hinaus bietet die JFrog-Plattform flexible Bereitstellungsoptionen für erhöhte Skalierbarkeit – einschließlich selbst gehosteter, Multi-Cloud- und Air-Gap-Bereitstellungen.
„Performance und Sicherheit sind entscheidend für erfolgreiche KI-Bereitstellungen in Unternehmen“, so Pat Lee, Vice President für Enterprise Strategic Partnerships bei NVIDIA. „Mit NVIDIA NIM, das direkt in die JFrog-Plattform integriert ist, können Entwickler die Einführung von KI mit einer einheitlichen, durchgängigen Lösung für die Erstellung, Bereitstellung und Verwaltung von KI-Agenten im Produktionsmaßstab beschleunigen.“
