Speichern und sparen mit Hybrid Storage

Auch in der Cloud-Ära und trotz neuer Speichertechnologien wie NVMe (Non-Volatile Memory Express) müssen sich Unternehmen heute immer noch zwischen schnellem Daten-Handling oder kostengünstiger Speicherung entscheiden. Hybrid Storage ist gerade dabei, sich auch in Sachen Datenspeicherung als optimale Lösung für viele Anforderungen durchzusetzen. Hybrid Storage ist ein Ansatz, welcher sowohl Cloud-native als auch lokale Ressourcen nutzt. Ziel ist es, das Beste aus beiden Welten in einer zusammenhängenden Speicherarchitektur zu kombinieren. Hybrid Storage verspricht Kosteneinsparungen, ist aber trotzdem in der Lage, die Datenbewegungen im Hintergrund sehr schnell zu bewerkstelligen.

Im Kleinen hat sich ein ähnlicher Ansatz bereits bei sogenannten Hybrid-Festplatten (SSHD) etabliert, einer Kombination aus herkömmlicher Festplatte (HDD) mit einer schnellen SSD im selben Gehäuse. Der integrierte Controller verschiebt die Daten zwischen den verschiedenen Teilen der Hardware auf der Grundlage von Regeln wie der Häufigkeit der Zugriffe oder der Zeit seit dem letzten Zugriff. Für Benutzer läuft dies automatisch im Hintergrund ab, während sie die Hybrid-Festplatte einfach als einen einheitlichen Speicher nutzen.

Wie bei Hybrid-Festplatten, aber im großen Stil

Im größeren Stil – bei Hybrid-Storage – bedeutet dies, kostengünstigen, aber langsamen S3-Objektspeicher mit schnellem, aber teurem lokalem GP2-Speicher zu kombinieren. GP2 ist der Standard-EBS-Volume-Typ für Amazon EC2-Instances. Diese, auf SSDs gesicherten Volumes eignen sich für eine breite Palette von Transaktionsarbeitslasten, einschließlich Entwicklungs- bzw. Testumgebungen, interaktive Anwendungen mit niedriger Latenz und Boot-Volumes.

Benutzer können ihre Daten einfach in eine Tabelle schreiben und müssen sich nicht darum kümmern, alte Daten nach S3 zu verschieben, ihre Anwendung zu ändern, um andere Zugriffsmuster zu nutzen. Dies erfolgt alles automatisiert auf einer Managed-Database-Plattform. Dieser Ansatz soll wirtschaftlicher sein, indem Unternehmen einen Teil der Kosten für das Hinzufügen und die Wartung von lokalem Speicher in die Cloud verlagern. Die Unternehmen greifen dann auf S3-Ressourcen zurück, wenn sie diese benötigen, was eine flexible Skalierbarkeit bietet. Der Objectstorage dient dabei für langfristige, selten genutzte Daten, während die lokalen Speicher für häufiger genutzte Daten oder unerwartete Nachfragespitzen zur Verfügung steht. Theoretisch kann man diese logic sogar auf eine Kombination von On-Premise-Infrastruktur und Cloud Storage erweitern.

Schnelle Datenanalysen auf S3-Preisniveau

Eines der häufig diskutierten Probleme bei Hybrid Storage ist, dass es bei falscher Architektur sowohl teuer als auch langsam sein kann. Dies gilt sowohl für die Hardware vor Ort als auch für unerwartete Cloud-Kosten. Eine elegante Lösung ist eine Managed Database im Rahmen eines modernen Data-Stacks für End-to-End-Analytik, um Datenanalysen mit SSD-Speichergeschwindigkeiten zu nutzen – auf dem Preisniveau von S3.

Dies ist ein Artikel aus unserer Print-Ausgabe 4/2023. Bestellen Sie ein kostenfreies Probe-Abo.

Mit einem verwalteten Open-Source-basierten Datenbank-Management-System wie Clickhouse können Unternehmen ihre neuesten oder am häufigsten genutzten Daten automatisch direkt auf SSD verwenden, während die weniger häufig genutzten Daten automatisch auf S3 landen. Auf diese Weise lässt sich mehr als das Fünffache an Kosten einsparen. Ansätze wie dieser tragen dazu bei, die typischen Herausforderungen der Datenspeicherung auf sehr effiziente Weise dauerhaft in den Griff zu bekommen.

Bildquelle: Doublecloud