Im Gegensatz zum Data Warehouse weiß man im Data Lake zum Zeitpunkt der Erfassung noch nicht, welche Daten man hinterher genau benötigt. Entsprechend groß ist die Datenmenge und entsprechend wichtig ist eine einfache und unkomplizierte Erfassung verschiedenster Datenformate. Eine Schema-agnostische Speicherung ist zum Zeitpunkt der Erfassung also sinnvoll.
In kurzer Zeit können dadurch erhebliche Datenmengen anfallen: Der Data Lake. Er ist die sprichwörtliche Quelle späterer Analysen. Um stetig steigendem Platzbedarf gewachsen zu sein, müssen skalierbare Speicher- und Datenbanklösungen zum Einsatz kommen, die mit Ihren Anforderungen wachsen können.
Der Vorteil zum klassischen Data Warehouse: Sie können den aufwendigen Teil der Datenanalyse auf einen Zeitpunkt verschieben, an dem sie ihn tatsächlich benötigen. Sie müssen nicht heute entscheiden, welche Daten Sie in drei Monaten oder zwei Jahren benötigen, sondern können Auswertungen zielgenau nach Bedarf anfertigen.
Eine Herausforderung beim Aufbau eines Data-Lakes ist das Vermeiden eines Vendor-LockIns, also der Abhängigkeit von einem Dienstleister oder Hersteller: Die Initialkosten für das Aufsetzen des Systems sind oft überschaubar - über Zeit werden jedoch immer mehr Anforderungen gestellt und durch individuelle Erweiterungen gelöst. Je länger das System in Betrieb ist, umso höher ist auch sein Wert - sowohl in Form der darin enthaltenen Daten, als auch im Bezug auf die Arbeitsstunden, die in die Anbindung von Datenquellen und die Datenanalyse geflossen sind.
Das ist in Ordnung, so lange sie mit Ihrem Dienstleister und dem Hersteller dieser Lösung zufrieden sind. Sollte dies irgendwann nicht mehr der Fall sein, müssen Sie die Flexibilität haben mit ihrem bestehenden System zu einem anderen Anbieter wechseln zu können, um Ihre dann meist schon umfangreiche Investition abzusichern. Diese Unabhängigkeit ist nur dann gewährleistet, wenn Sie konsequent auf quelloffene Systeme wie den Komponenten des SMACK-Stack (Spark, Mesos, Akka, Cassandra und Kafka) oder den Freien Varianten der elastic-Software (z.B. ElasticSearch, Logstash, Kibana) setzen. Und auf Dienstleister, die diese implementieren - wie die ESONO AG.
Kontaktieren Sie uns für weitere Informationen zum Aufbau eines Data-Lakes, für den wir verschiedene Umsetzungskonzepte vom Mid-Range bis zum Enterprise-Segment anbieten.
2021 © ESONO AG Impressum | AGB | Datenschutzerklärung