Schnelleres Machine Learning

KI-Hardware im Aufschwung

Viele der großen Digitalunternehmen aus den USA arbeiten an speziellen KI-Prozessoren und auch zahlreiche Startups beackern diesen neuen Markt.

Mehrere Prozessoren aufeinander gestapelt

Spezialchips beschleunigen Deep Learning und KI

Ohne Rechenleistung kein Deep Learning, auf diese Formel lässt sich die Entwicklung der KI seit 2012 bringen. Die genutzten Prozessor-Cluster sind immer größer geworden. Der Einsatz von speziellen Prozessoren, in erster Linie Grafik-Chips, hat überhaupt erst die enormen Fortschritte im Bereich der neuronalen Netze und des Deep Learning möglich gemacht. Da ist es natürlich naheliegend, auf überflüssige Funktionen zu verzichten und spezielle KI-Hardware zu entwickeln.

Die Entwicklung der KI-Prozessoren verläuft entlang der Konkurrenz zwischen Google und NVIDIA, also der Entscheidung zwischen TPUs (Tensor Processing Units) und GPUs (Graphics Processing Units). NVDIA hat seine Grafikbeschleuniger in den letzten Jahren stärker an die Leistungserwartungen von Deep Learning angepasst. Der Grund: Die notwendigen Rechenoperationen sind vergleichsweise einfach und mit denen für die Darstellung von Grafiken verwandt. Da war es für NVIDIA nur ein kleiner Schritt, die Leistung der GPUs zu erhöhen und somit das Deep Learning zu beschleunigen.

Doch gemessen an dem, was von einer GPU tatsächlich genutzt wird, findet sich trotzdem noch Overhead. Deshalb sind Google sowie eine Vielzahl anderer Unternehmen auf die Idee gekommen, KI- Prozessoren zu entwickeln. Sie kombinieren Recheneinheiten für die notwendigen Tensor-Berechnungen (Vektoren und Matrizen) mit mehr Speicherplatz. Damit erreichen die Hersteller deutlich größere Rechengeschwindigkeit.

Google TPU 3.0: Achtmal die Rechenleistung des Vorgängers

Vor kurzem hat Google seine TPUs in der Version 3.0 vorgestellt. Dabei handelt es sich allerdings nicht um einen einzelnen Chip, sondern um eine größere Recheneinheit („Pod“) aus 64 TPU-Devices, die jeweils aus vier Prozessoren mit je zwei Kernen bestehen. Sie sind optimal an das Maschine-Learning-Toolset TensorFlow angepasst, dass von Google eingesetzt wird. Die Leistung liegt bei ungefähr 100 PetaFLOPS, etwa achtmal so viel wie die vorherige Version der TPUs.

Das sind fantastische Zahlen, die allerdings nicht alleine stehen. Die Open-AI-Foundation hat die Entwicklung der Rechenleistung in KI-Projekten untersucht. Das Ergebnis in Kurzform: Zwischen 2012 und 2017 stieg sie um den Faktor 300.000, hat sich also etwa alle dreieinhalb Monate verdoppelt. Vorher war der Gewinn an Rechenleistung überschaubar, denn vor 2012 wurden GPUs noch nicht weithin eingesetzt. Diese enorme Entwicklung geht allerdings nicht nur auf das Konto von speziellen KI-Prozessoren.

Parallel dazu gab es laut der Stiftung drei weitere Entwicklungen, die als Beschleuniger für die Abläufe in neuronalen Netzen wirken. Zum einen schufen zahlreiche Forscher Innovationen im Bereich der Algorithmen. Die eingesetzten neuronalen Netzwerke und die Trainings-Mechanismen haben sich deutlich verbessert, sodass allein hierdurch eine Beschleunigung entsteht. Weitere Verbesserungen entstanden durch den geschickten Einsatz von Daten. So gibt es inzwischen erprobte Datasets für das Training von Neuronetzen sowie interaktive Lernumgebungen für autonomes Fahren oder Robotik.

Für KI genutzte Rechenleistung verzehnfacht sich pro Jahr

Solche Verbesserungen auf der Software-Seite haben einen großen Anteil an der Entwicklung. Darüber hinaus ist es üblich, massiv parallele Infrastrukturen einzusetzen. Vor allem die IT-Riesen Google, Facebook, Amazon und Microsoft nutzen ganze Cluster aus GPS oder TPUs. Aus diesem Grunde hat die Open-AI-Foundation die in Projekten genutzte Gesamtrechenleistung untersucht und festgestellt: Sie verzehnfacht sich pro Jahr.

Doch bei KI-Hardware ist noch Luft nach oben, gemessen an der Anzahl der Startups und Unternehmen in diesem Bereich. So hat die New York Times Anfang des Jahres alle Unternehmen gezählt, die in irgendeiner Form an KI-Chips arbeiten und ist auf 45 gekommen. Einige konzentrieren sich dabei auf SOCs (System on Chip) mit integrierter Neuronetz-Hardware, beispielsweise Apple. Solche Systeme eignen sich in erster Linie für das Ausführen von kleineren, vortrainierten Modellen auf einfache Hardware, etwa einem Smartphone.

Wer wie KI-Investor und Ex-NVIDIA-Mitarbeiter James Wang strengere Kriterien anlegt, kommt auf 22 Unternehmen, die an spezialisierter, GPU/TPU-Hardware für Deep Learning arbeiten. Dazu gehören neben den bekannten großen Namen eine Vielzahl unterschiedlicher Startups. Interessant an dieser Liste: Mehr als die Hälfte der Unternehmen kommt aus den USA, auf Platz zwei folgt mit fünf Unternehmen China - eine Folge der bisher schon massiven Investitionen, die durch das kürzlich beschlossene KI-Programm noch anwachsen werden.

Viele Startups arbeiten KI-Prozessoren

Es gibt also genug Konkurrenz, trotzdem ist NVIDIA Marktführer. Das liegt nicht nur an den Leistungen seiner neuen Volta GPUs, sondern auch an der Produktstrategie. Google produziert die CPUs im Wesentlichen für eigene Zwecke und bietet ihre Nutzung über die Cloud an. NVIDIA dagegen versteht sich eher als klassischer Hardwareproduzent, dessen Beschleuniger von jedem gekauft und eingesetzt werden können.

Mit dieser Strategie ist das Unternehmen in der Vergangenheit bereits recht gut gefahren: Gab es vor 20 Jahren noch ein gutes Dutzend Hersteller von Grafikchips, so ist das Feld inzwischen auf drei geschrumpft. Neben NVIDIA konnten sich gerade noch AMD und Intel behaupten. Nun werden allerdings die Karten neu gemischt, bei KI-Beschleunigern herrscht eine recht große Konkurrenz. Darunter finden sich neben AMD, Intel und Google auch einige Startups, die sich der Entwicklung generell nutzbarer KI-Chips verschrieben haben.

Das britische Startup Graphcore gehört zu den am besten finanzierten KI-Startups außerhalb der USA und Chinas. Es ist in inzwischen drei Runden mit insgesamt 110 Millionen US-Dollar finanziert worden, unter anderem von den bekannten Investoren Sequoia Capital, Atomico und Robert Bosch Ventures. Der neue Chip mit der Bezeichnung „Intelligence Processing Unit (IPU)“ soll noch im Laufe des Jahres 2018 erscheinen.

Groq ist eine Neugründung von Jonathan Ross und anderen ehemaligen Mitgliedern des TPU-Entwicklerteams von Google. Es befindet sich (fast noch) im Stealth-Modus, sodass nur wenig bekannt ist. Eines lässt sich jedoch schon sagen: Groq will besser sein als Google. Auch über Cerebras Systems, das Startup der ehemaligen AMD-Mitarbeiter Gary Lauterbach und Andrew Feldman, ist noch im nicht viel bekannt, konnte aber schon drei Finanzierungsrunden mit insgesamt 112 Millionen US-Dollar abschließen. Zu den Investoren gehört unter anderem das VC-Urgestein Benchmark.

Bildquelle: Thinkstock

©2018Alle Rechte bei MEDIENHAUS Verlag GmbH

Unsere Website verwendet Cookies, um Ihnen den bestmöglichen Service zu bieten. Durch die weitere Nutzung der Seite stimmen Sie der Verwendung zu. Weitere Infos finden Sie in unserer Datenschutzerklärung.

ok