13.02.2017 Muster in großen Datenströmen erfassen und analysieren

Wie funktioniert Anomalie-Erkennung?

Von: Christian Glatschke*

Als automatisierte Anomalie-Erkennung bzw. Incident-Erkennung bezeichnet man einen Vorgang, der Verhaltensmuster innerhalb enormer Datenmengen, basierend auf Machine Learning, erfasst und identifiziert. Aus diesen Mustern kann im Anschluss ein zu erwartendes Normalverhalten abgeleitet werden. Dieser Prozess ist keineswegs trivial und erfordert eine komplexe Herangehensweise.

Es hat sich mittlerweile, nicht nur im Onlinehandel, zu einem wirtschaftlichen Gebot entwickelt, Muster in großen Datenströmen zu erfassen und zu analysieren, um daraus wiederum Anomalien abzuleiten, die auf unerwartete Verhaltensmuster hinweisen.

Die unterschiedlichen, zu messenden Metriken variieren sehr stark zwischen den diversen Anwendungsfällen und Geschäftsfeldern. Beinahe jedes Unternehmen hat hierbei eigene Key-Performance-Indikatoren entwickelt. Die Herausforderung ist nun für die große Anzahl der Indikatoren, das zu erwartende Normalverhalten zu bestimmen.

Je nach Unternehmensgröße oder Anwendungsfall kann es notwendig sein, Hunderte, Tausende oder in manchen Fällen Millionen von Metriken zu erfassen, um ableiten zu können, wie deren Verhaltensmuster sich aktuell im Vergleich zu historischen oder in Zukunft zu erwartenden Mustern darstellen.

Die Herausforderung liegt darin, den Datenströmen die jeweils passenden Datenmodelle und Algorithmen entgegenzustellen, da sich Muster im Zeitverlauf verändern können. Werden die richtigen Algorithmen eingesetzt, so können Unternehmen auch sehr subtile Anomalien erkenne - wie beispielsweise wenn sich Daten über einen längeren Zeitraum hinweg schleichend zu einem oberen oder unteren Schwellenwert entwickeln. Im Gegensatz dazu können falsch angewandte Datenmodelle oder Algorithmen zu einer Reihe von Fehlalarmen führen. Die Folge sind große Mengen an nicht identifizierten Anomalien, die wiederum zu beträchtlichen Geschäftsverlusten und zu Unzufriedenheit bei Kunden führen können.

Verschiedene Abläufe, Ebenen und Prozesse unterscheiden

Viele Prozesse in Unternehmen laufen simultan ab und bauen aufeinander auf. Sämtliche Abläufe müssen überwacht und in Echtzeit abgestimmt werden. Auf den verschiedenen Ebenen werden auch unterschiedliche Prozesse überwacht und analysiert:

  • Auf rein technischen Ebene, die die IT-Infrastrukturen umfasst, liegt das Augenmerk auf Netzwerke, Server und Kommunikation.
  • Auf der Ebene der Geschäftsanwendungen hingegen sind Ladezeiten der Webseiten, Antwortzeiten der Datenbank oder die Anwendererfahrungen von Bedeutung.
  • Und auf der reinen Geschäftsebene überwachen die Analysten Onlinebestell- und Kaufvorgänge, aufgeteilt nach Regionen oder Anwenderprofilen.

Anomalien auf einer Ebene haben dabei unweigerlich Einfluss auf alle anderen Ebenen, allerdings werden in den seltensten Fällen die Beziehungen zueinander hergestellt, wenn die Metriken nicht holistisch betrachtet und ausgewertet werden. Eben dies ist was hochskalierende Systeme zur Anomalie-Erkennung leisten können müssen.

Viele Unternehmen entscheiden sich dazu, Anomalien manuell zu erfassen. Sie nutzen entweder viele verschiedene Dashboards und erstellen täglich bzw. wöchentlich Berichte, um ungewöhnliche Ausreißer zu identifizieren. Diese Methode ist jedoch schwer skalierbar über einige Dutzende von Metriken hinaus. Zudem müssen die Analysten vorab wissen, wonach sie suchen müssen.

Oder Unternehmen setzen Überwachungssysteme ein, bei denen untere und obere Schwellenwerte vorab definiert werden müssen. Hier besteht die Herausforderung darin, die Schwellenwerte exakt zu bestimmen. Werden sie zu hoch bzw. zu niedrig gesetzt, kommt es unweigerlich zu einer erhöhten Anzahl von Fehlalarmen.

Es gibt mittlerweile jedoch auch Lösungen zur automatisierten Anomalie-Erkennung. Der Vorteil dieser ist, dass sie schnell große Mengen an Daten erfassen und diese automatisiert überwachen, analysieren und in Echtzeit aufzeigen sowie mittels Alerts Anwender informieren, wenn Ereignisse nicht normal verlaufen. Die Feinjustierung von Schwellenwerten müssen so nicht mehr manuell getätigt werden, sondern vom System mittels intelligenter Algorithmen und Machine Learning ermittelt.

*Autor Christian Glatschke ist Sales Director DACH bei Anodot.

Bildquelle: Thinkstock / iStock

Noch mehr Fachbegriffe erklärt –> in unserem IT-Lexikon

©2017 Alle Rechte bei MEDIENHAUS Verlag GmbH