Nvidia meldet Durchbrüche im Sprachverständnis durch KI

KI-Systeme werden gesprächiger

Der GPU-Hersteller Nvidia gab heute Durchbrüche im Bereich des Sprachverständnisses durch KI-Systeme bekannt. Damit soll es für Unternehmen künftig möglich werden, in der Kommunikation mit Kunden auch eine Echtzeit-Gesprächs-KI zu verwenden. Die Durchbrüche: Das KI-Modell BERT-Large wurde erstmals in weniger als einer Stunde trainiert, die Dauer für eine Schlussfolgerung (Inferenz) des KI-Systems mit 2,2 Millisekunden deutlich unter die kritische Marke von 10 Millisekunden gedrückt und das bisher größte KI-Modell für die Spracherkennung mit 8,3 Mrd. Parametern erfolgreich trainiert.

  • Gesprächs-KI verbessert Anwendungen in vielen Bereichen wie Einzelhandel, Kundendienst, Automobilindustrie und Bankwesen.

„Unsere KI-Plattform ist die erste, die eines der fortschrittlichsten KI-Sprachmodelle - BERT - in weniger als einer Stunde trainiertund eine vollständige KI-Inferenz in etwas mehr als 2 Millisekunden erstellt“, meldete Bryan Catanzaro, Chef der angewandten Deep-Learning-Forschung bei Nvidia stolz in einer eigens anberaumten Telefonkonferenz mit Journalisten. „Dieses Leistungsniveau ermöglicht es Entwicklern, modernste Technologien Spracherkennung für umfangreiche Anwendungen zu nutzen, die sie Hunderten von Millionen Verbrauchern weltweit zur Verfügung stellen können.“ Die Rede ist beispielsweise von Chatbots in CRM-Systemen. Man komme dem Ziel „einer wirklich gesprächigen KI näher“.

Zu den frühen Anwendern der Leistungsverbesserungen zählen Microsoft und einige Startups, die die Plattform von Nvidia nutzen, um intuitive, schnell reagierende sprachbasierte Dienste für ihre Kunden zu entwickeln, wie etwa für die Suchmaschine Bing. Bislang war es für Chatbots, intelligente persönliche Assistenten und Suchmaschinen jedoch äußerst schwierig, mit einem wirklich Verständnis der Sprache zu arbeiten, da dafür extrem große KI-Modelle notwendig sind, die bisher nicht in Echtzeit schlussfolgern konnten.

Laut Catanzaro wurde dieses Problem jetzt aus dem Weg geräumt, indem Nvidias KI-Plattform wichtige Optimierungen erhielt, die jetzt die Geschwindigkeitsrekorde beim KI-Training und als auch bei den Inferenzen (Schlussfolgerungen) ermöglichten.

Außerdem ist das bislang weltweit größte Sprachmodell entwickelt worden, das erfolgreich trainiert werden konnte – auch wenn diese Training immer noch Wochen dauert. Dieses Modell basiert auf Transformers, dem für die „Bidirektionale Encoder-Darstellungen von Transformern“ (BERT) verwendeten Technologiebaustein, und einer wachsenden Anzahl anderer KI-Modelle für die Spracherkennung. Dieses benutzerdefinierte Modell mit 8,3 Mrd. Parametern ist laut Catanzaro 24-mal so groß wie BERT-Large; Nvidias Implementierung von BERT ist übrigens eine optimierte Version des beliebten Hugging Face-Repos.

Highspeed bei Training und Inferenz

Das Ausführen von BERT-Large – eines der weltweit fortschrittlichsten KI-Sprachmodelle – durch einen DGX Superpod unter Verwendung von 92 DGX-2-Systemen mit insgesamt 1.472 V100-GPUs verkürzte die typische Trainingszeit für BERT-Large von mehreren Tagen auf nur noch 53 Minuten. Darüber hinaus gelang es den Entwicklern laut Catanzaro, BERT-Large innerhalb von 2,8 Tagen auf einem einzigen DGX-2-System zu schulen, was er als Beweis für die Skalierbarkeit der GPUs für Konversations-KI anführte.

Man habe es geschafft, so Catanzaro weiter, mit T4-GPUs, auf denen die Inferenz-Bibliothek TensorRT ausgeführt wird, in nur 2,2 Millisekunden eine Inferenz auf den „Stanford Question Answering Dataset“ (SQuAD) auf BERT-Basis durchzuführen. Damit dauerte die Schlussfolgerung des trainierten KI-Systems deutlich weniger als die 10 Millisekunden, die für viele Echtzeitanwendungen kritisch sind.

Microsoft nutzt die neue Nvidia-Technologie bereits auf der Azure KI-Plattform für Bing, um BERT auszuführen und genauere Suchergebnisse zu erzielen. In enger Zusammenarbeit mit Nvidia habe die Ableitung des beliebten natürlichen Sprachmodells BERT mithilfe von GPUs weiter optimiert, die Teil der Azure-KI-Infrastruktur sind, sagte Rangan Majumder, Group Program Manager bei Microsoft Bing. Dies habe zu der größten Verbesserung der Suchqualität im letzten Jahr geführt. „Mit Azure und den Nvidia-GPUs konnten wir die Latenz halbieren und den Durchsatz bei Inferenzen verfünffachen, verglichen mit einer CPU-basierten Plattform,“ zieht Majumder zufrieden eine Zwischenbilanz.

Training und Antwortzeiten deutlich verkürzt

Auch Startups aus dem Inception-Programm des GPU-Herstellers nutzen dessen KI-Plattform, darunter Clinc, Passage AI und Recordsure. Sie entwickeln damit KI-Dienste für Banken, Automobilhersteller, Einzelhändler, Gesundheitsdienstleister sowie Reise- und Hotelunternehmen. Clinc beispielsweise hat bereits GPU-fähige Konversations-KI für mehr als 30 Millionen Menschen weltweit verfügbar gemacht. Zu den Kunden zählen Autohersteller, Gesundheitsorganisationen und Finanzinstitute wie Barclays, USAA und die größte türkische Bank, Isbank – ein langjähiger AS/400-Anwender.

Allen Verbesserungen bei der Gesprächs-KI zum Trotz wird es laut Bryan Catanzaro noch auf lange Sicht notwendig bleiben, dass Menschen die Sprachaufzeichnungen mithören, um Spracherkennungssysteme wie Alexa oder Siri zu verbessern. Denn das Training der KI-Systeme und die Verbesserung der verwendeten Modelle werde ebenso wie die Auswahl der optimalen Trainingsdaten auf Dauer eine Aufgabe von KI-Experten und Data Scientists bleiben.

Folgende Software-Optimierungen für Gesprächs-KI stellt Nvidia ab sofort für Entwickler bereit:

• Github BERT-Trainingscode mit PyTorch

• NGC-Modellskripte und Check-Points für TensorFlow

TensorRT-optimiertes BERT-Beispiel auf GitHub

Schnellerer Transformer: C ++-API, TensorRT-Plugin und TensorFlow OP

MXNet Gluon-NLP mit AMP-Unterstützung für BERT (Training und Inferenz)

• Tensor-optimiertes BERT-Modell: Jupyter notebook on AI Hub

Megatron-LM: PyTorch-Code zum Trainieren massiver Transformer-Modelle.

Nvidia ist übrigens auch Partner der IBM, die die GPU Tesla V100 als Accelerator in ihren Power-Systemen verbaut. Außerdem ist Nvidia Gründungsmitglied der Open Power Foundation.

Bildquelle: Nvidia

©2019Alle Rechte bei MEDIENHAUS Verlag GmbH

Unsere Website verwendet Cookies, um Ihnen den bestmöglichen Service zu bieten. Durch die weitere Nutzung der Seite stimmen Sie der Verwendung zu. Weitere Infos finden Sie in unserer Datenschutzerklärung.

ok