KI-Service für jeden (Entwickler)
Cloudservice bringt Speed für Entwickler
Gute Nachrichten für die vier Millionen KI-Entwickler auf der Plattform Hugging Face: Sie erhalten jetzt einen einfachen Zugang zu einigen der beliebtesten KI-Modelle. Die neuen Inference-as-a-Service-Funktionen ermöglichen den schnellen Einsatz von wichtigen Sprachmodellen wie der Llama-3-Familie und den Mistral-Modellen, die mit der Optimierung von NVIDIA NIM-Microservices auf der NVIDIA DGX Cloud laufen.
Der heute auf der SIGGRAPH-Konferenz angekündigte Service hilft Entwicklern, mit den Open-Source-KI-Modellen auf Hugging Face schnell Prototypen zu erstellen und sie in der Produktion einzusetzen. Nutzer des Enterprise Hub können die serverlose Inferenz für mehr Flexibilität, minimalen Infrastruktur-Overhead und optimierte Leistung mit NVIDIA NIM nutzen.
Dieser neue Service ergänzt den KI-Trainingsservice Train on DGX Cloud, der bereits auf Hugging Face verfügbar ist. Diese Trainings- und Inferenz-Tools bieten den Entwicklern auf Hugging Face neue Möglichkeiten zum Experimentieren, Testen und Bereitstellen der aktueller Modelle.
Die Benutzer können mit nur wenigen Klicks loslegen. Zudem beschleunigt NVIDIA NIM die damit genutzten Modelle erheblich. Ein Beispiel: Die 70-Milliarden-Parameter-Version von Llama 3 liefert mit NIM einen bis zu fünfmal höheren Durchsatz als eine Standardimplementierung auf NVIDIA H100 Tensor Core GPU-unterstützten Systemen.
Quelle: NVIDIA
