Viele, schnelle Daten: Data Lakes und Lambda-Architektur

In Zeiten allgemeiner Vernetzung und dem Wunsch, die anfallenden Daten in vielfältiger Art und Weise nutzen zu können, besteht die Herausforderung, die Daten in einer modernen Umgebung zu sammeln und wieder bereitzustellen. Wie? Möglichst in einer flexiblen und skalierbaren Umgebung, denn die Anforderungen steigen in der Regel mit der Datenmenge. Und hier gilt: Sie kann sehr schnell wachsen und im Petabyte Bereich liegen. Daten haben dabei alle möglichen Formate und auch die zeitlichen Anforderungen nach Speicherung und dem Bereitstellen der Daten rangiert von klassischer Batchverarbeitung bis hin zu Echtzeitszenarien. Technisch werden solche Anforderungen oftmals mit Hadoop-basierten Data Lakes und einer darin integrierten Lambda-Architektur gelöst.

Schnelle und langsame Daten: Lambda-Architektur

Eine Lambda-Architektur ist eine Architektur zur Massenverarbeitung von Daten, deren Kern meist eine Datenhaltung in einem organisiertem Data Lake ist. Sie ist in der Lage, eine Echtzeitverarbeitung zu ermöglichen und bringt Durchsatz und Latenz der Daten in ein sinnvolles, den jeweiligen Anwendungsfällen angepasstes Verhältnis. Aufgebaut wird auf folgenden Ideen:

  • Daten werden fortgeschrieben
  • Veränderungen werden zu neuen Datensätzen. Diese haben zum Zeitpunkt der Veränderung Gültigkeit, die alten Daten verbleiben jedoch im Data Lake, was eine Historie über die Daten ermöglicht
  • Informationen ergeben sich aus den Aggregationen über die Daten im Data Lake
  • Es gibt eine Zugriffsschicht, die eine konsolidierte Sicht auf die Daten ermöglicht

Um zum Ziel zu kommen, wird technisch ein sogenannter Batch Layer für die Daten geringerer Geschwindigkeit und ein Speed Layer für die Daten höherer Geschwindigkeit aufgebaut. Bei letzterem führt in der Regel eine Kombination aus Messaging und Streaming in Verbindung mit einer schnellen NoSQL Datenbank zum Ziel. Typische Komponenten aus dem Hadoop Ökosystem sind hierbei Apache Storm, Kafka und Spark Streaming.

Eine Zugriffschicht dient dazu, die Daten in einer sinnvollen Art und Weise zusammenzuführen, gemeinsam auswertbar zu machen und den Konsumenten zur Verfügung zu stellen. Hier wird oftmals auch ein Zugriff über SQL ermöglicht, was wiederum den Einsatz von Hive und weiterer geeigneter SQL-on-Hadoop Varianten voraussetzt. Es ist auch die Stelle, an der ein geeignetes Governance Konzept zum Tragen kommen muss, was in natürlicher Weise zum Begriff des Data Lakes überleitet.

Organisation von Daten: Data Lake

Data Lakes sind eine moderne, einfach zu betreibende, hoch skalierbare und flexible Systeme für die Speicherung, Verarbeitung und Bereitstellung aller Arten von Daten. Sie bedienen in der Regel eine weite Bandbreite an analytischen Anwendungsfällen. Kernaufgabe des Data Lakes ist hierbei, die Daten aufzunehmen, sinnvoll abzulegen und wieder in einer geordneten Art und Weise zur Verfügung zu stellen. Da Hadoop-basierte Systeme (fast) linear und horizontal skalieren, kommen in der Regel auch Technologien aus dem Hadoop Umfeld ins Spiel,  da sie flexible und einfach skalierbare Umgebungen ermöglichen können.

Bei dem Aufbau von Data Lakes ist es besonders wichtig, auf eine sinnvolle und einfach gehaltene Organisation zu achten. Die Daten sollen ja „im See“ nicht untertauchen und verloren gehen. Ein organisierter Data Lake, auch Data Reservoir genannt, kann das gewährleisten. Hier werden typischerweise klare Prozesse und Regeln unter dem  Stichwort Sicherheit und Governance geschaffen. Genauso dient ein logisches Schichten- und Speicherkonzept, welches die Schichten der Lambda-Architektur reflektiert, dem Data Lake zu dem gewünschten Grad an Organisation und Transparenz.

Das Konzept eines Data Lakes überschneidet sich hier natürlich mit der Idee einer Lambda-Architektur. Im Grunde beleuchten beide ja auch nur verschiedene Aspekte einer Sache: Der Data Lake betrachtet das Ganze aus organisatorischer Sicht, die Lambda-Architektur aus der Sicht der unterschiedlichen Geschwindigkeitsanforderungen an die Daten.

Fazit

Wenn ich nun als Unternehmen die Anforderung habe, alle Daten, die in den Vertriebsprozessen meines Unternehmens anfallen, insbesondere auch die Interaktionen mit meinen Kunden über alle Kanäle hinweg zu sammeln und zu verarbeiten, bietet sich eine Umsetzung mit Hilfe von Data Lakes und einer Lambda-Architektur wie oben beschrieben förmlich an. Das gilt auch für die Echtzeitverarbeitung, die für Recommendation Engines besonders wichtig ist.

Der Aufbau von flexiblen und hoch skalierbaren Systemen, die in Lage sind, Daten in allen gewünschten Geschwindigkeiten aufzunehmen und bereitzustellen ist eben mit Lambda-Architekturen, die einen organisierten Data Lake zugrunde liegen haben, sinnvoll zu bewerkstelligen und wird in der Regel auch so umgesetzt. Data Lakes bedienen dabei den organisatorischen Aspekt einer sinnvollen Speicherung und Bereitstellung aller Arten von Daten, die Lambda Architektur ermöglicht es, „langsame“ Daten (Batch) und Echtzeitdaten zu verarbeiten und letztlich in der gewünschte Geschwindigkeit zur Verfügung zu stellen. Die Kombination beider Konzepte führt hierbei zum Erfolg.

SEO Day 2016

Wenn es um das Thema Suchmaschinenoptimierung und Conversion-Steigerung geht, dann ist seit 6 Jahren ein Event eine Pflichtveranstaltung: der SEO-Day in Köln. Auch dieses Jahren standen über 40 Experten auf der Bühne und berichteten über neue Suchtrends, Best Practices in Sachen SEO und interessante Use Cases, wie man seine Website für Google & Co. verbessern kann. Einer der Top-Speaker auf dem SEO-Day 2016 war unser Senior Consultant Ronny Marx, der abseits der vielen Themen aus dem Google-Kosmos mit einem etwas anderen Vortrag auftrumpfte. Im Rahmen unser neuen Marke „intomarkets“ etabliert Ronny mit seinen Kollegen in Hamburg einen Agentur-Services für Onlinehändler, die Amazon als Vertriebskanal (besser) nutzen wollen und eine umfassende Beratung zur Sichtbarkeits- und Conversion-Steigerung benötigen.

Amazon ist das nächste Google

Wer sich jetzt vielleicht fragt, was Amazon mit Suchmaschinenoptimierung zu tun hat, dem sei entgegnet, dass Amazon Google in Sachen Produktsuche bereits den Rang abgelaufen hat. Neueste Untersuchungen zeigen, dass 55% der Menschen mit einer konkreten Produktsuche direkt auf Amazon und nicht mehr auf Google mit der Recherche starten. Dieser Paradigmen-Wechsel findet schon seit 1-2 Jahren statt, aber eine ganze Branche scheint diesen Wandeln noch nicht oder kaum wahrzunehmen. Zwar ist es immer noch möglich, als Onlinehändler sich im klassischen Google-Bereich zu behaupten und seine Produkte erfolgreich zu verkaufen, aber die Frage ist eben, wie lange noch. Suchen Menschen transaktional, d.h. eine Transaktion (bestellen, kaufen, buchen usw.) als zentrale Suchintention, dann wird immer häufiger eben der Marktplatz Amazon besucht. Schließlich bieten alleine auf der deutschen Plattform zehntausende Händler über 100 Millionen Artikel zum Verkauf an und das alles auf einer Plattform mit extrem schnellen Lieferzeiten und einen Kunden-Services in Sachen Retour- Umtauschkulanz, der seines gleichen sucht. Kein Wunder also, dass Käufer gern den Weg des geringsten Widerstandes gehen und ihre Produktsuche auf Amazon effektiver und zeitsparender ausführen können.

Amazon SEO als Strategie für Onlinehändler

 

Noch beim letzten SEO-Day 2015 gab es nicht einen Vortrag zum Thema Amazon SEO. Ronny war allerdings damals bereits der erste Aussteller, der sich mit dieser Materie professionell befasst hat (u.a. mit seinem Buch „Amazon SEO Code“) und das Thema in Deutschland mit salonfähig gemacht hat. Ein Jahr später gab es bereits drei Verträge zur Thematik Amazon Optimierung und Best Practices. Einer der drei Speaker in diesem Umfeld war auch Ronny, der das Publikum nicht nur mit interessanten Zahlen und Fakten zu einem der weltweit erfolgreichsten E-Commerce-Player unterhielt. Viel mehr zeigt Ronny den Zuhörern, wie Amazon auch aus Kundensicht funktioniert und wie Händler sich am besten in Zukunft aufstellen sollten. Ein zentrales Thema war dabei die Bildoptimierung, denn die meisten Onlinehändler (auch auf Amazon) unterschätzen massiv, wie sich gute, bzw. schlechte Bilder auf die Verkaufszahlen auswirken. Wie man mit negativen Kundenbewertungen richtig umgeht und was man als Seller auf keinen Fall machen sollte, erklärte Ronny in ausgewählten Praxisbeispielen und sorgte damit für erstaunte als auch amüsierte Gesichter. Abschließend erklärte Ronny eine clevere Taktik, mit der man mittels Facebook und Instagram externen Traffic auf seine Amazon-Angebote leiten und damit den Absatz massiv steigern kann. Ein tosender Beifall und ein paar hundert begeisterte Zuhörer bescheinigten, dass das Thema Amazon SEO nicht nur unterhaltsam, sondern auch ein Wichtiges für die Zukunft ist.

Was hat Amazon mit SEVEN PRINCIPLES zu tun?

Schaut man sich nun das Leistungsportfolio von SEVEN PRINCIPLES an, so kann man sich vielleicht auf die Frage stellen, wie dort Amazon SEO hineinpasst. Ein kurzer Blick auf unseren Slogan „Enabling Your Digital Business“ macht deutlich, dass hinsichtlich E-Commerce Amazon durchaus ein entscheidender Faktor und zum Teil auch Game-Changer sein kann. Ronny ist bereits seit vielen Jahren im klassischen SEO-Bereich tätig und hier auch aktuell in Kundenprojekten von 7P unterwegs. Diese Praxiserfahrung und das Know-How in Sachen Amazon und E-Commerce bündeln wir in unserem neuen Projekt „intomarkets“, um ein neu entstehendes Geschäftsfeld von Anfang an mitzuprägen. Zudem gibt es viele große E-Commerce-Player, die Amazon nur als einen von vielen Vertriebskanälen nutzen und noch immer erfolgreich auf einen eigenen Webshop setzen. Über intomarkets ist der sprichwörtliche „Fuß in der Tür“ in Sachen E-Commerce wesentlich besser zu erreichen, da 7P auf diese Weise wesentlich „dichter“ am Kunden und potentiellen Partnern in diesem Umfeld ist.

ronny-marx-speaker-seo-day-2016

Erschließung ökonomischer Potenziale durch Einführung eines CMS

Die Anzahl der mit Unternehmensinhalten zu bespielenden Kanäle (Website, Onlineshop, soziale Kanäle, Newsletter), die Heterogenität der Rezipienten sowie die Prämissen, die an Inhalte gestellt werden (aktuell, relevant, (SEO)-optimiert, etc.), stellen hohe Anforderungen an den Content-Prozess in Unternehmen dar. Dieser Prozess der Konsolidierung, Auswahl, Bearbeitung und Präsentation von Content ist jedoch oft gekennzeichnet durch unklare Verantwortlichkeiten, lange Abstimmungsrunden und undefinierte Prozesse, wodurch viele zeitliche und personelle Ressourcen gebunden werden mit entsprechenden ökonomischen Folgen für die Gesamtorganisation. Weiterlesen

Industrie 4.0: eine Chance für den Mittelstand

Das Schlagwort Industrie 4.0 hat durch die Cebit 2016 erneut an Dynamik gewonnen und ist momentan das Thema in den Medien, auf Veranstaltungen und bei Kongressen, an dem es kein Vorbeikommen gibt. Mit der Vision einer völlig neuen Art wirtschaftlicher Produktion, die durch eine durchgängige Digitalisierung und eine stärkere innerbetriebliche sowie überbetriebliche Vernetzung geprägt ist, setzen sich immer mehr Unternehmen auseinander. Weiterlesen

Content-Targeting: Durch Big Data zu maximaler Customer Experience

„Content is King“, diese Prämisse kennen wir bereits aus dem SEO-Kontext. Jenseits von Textlänge, -qualität und -struktur, um nur einige Faktoren zu nennen, die im Rahmen der Onpage-Suchmaschinen-Optimierung relevant sind, kommt den Inhalten Ihrer Webpräsenz noch eine weitere, mindestens genauso wichtige Rolle zu, nämlich die Erzeugung digitaler Erlebnisse durch Relevanz und Personalisierung. Weiterlesen

Omnichannel-Personalisierung: So gelingt die effektive Kundenkommunikation

Der Prozess der Digitalisierung hat dazu geführt, dass sich die Konsumenten auf unterschiedlichen Endgeräten zu jeder Zeit und fast flächendeckend Informationen beschaffen und sich über Produkte und Dienstleistungen informieren können. Was sich vor Jahren noch auf den heimischen Desktop-Computer beschränkte, hat sich in rasanter Geschwindigkeit auf alle Lebensbereiche ausgeweitet. Weiterlesen

Warum IT-Projekte ohne Changemanagement scheitern

Wikipedia definiert „digitale Transformation“ als „langfristige Veränderung des Fundaments jedes Unternehmens in seiner Strategie, Struktur, Kultur und seinen Prozessen durch die Möglichkeiten und Potenziale digitaler Medien und des Internets.“ Doch was passiert, wenn man als Projektleiter genau solch ein Veränderungsprojekt in einem Unternehmen zu betreuen hat? Vor allem: Was passiert mit den Menschen? Der folgende Artikel soll das etwas näher beleuchten. Weiterlesen

Das Internet der Dinge

Das „Internet der Dinge“ ist derzeit in aller Munde. Jeden Tag hat man damit zu tun, liest in Medien darüber oder beschäftigt sich beruflich damit. Auch wenn viele denken, dass sie noch nie davon gehört haben, sind die meisten jedoch schon unbemerkt mitten drin. Überall um einen herum befinden sich Dinge, welche miteinander verknüpft sind. Aber was genau bedeutet dieses „Internet der Dinge“? Mithilfe des Internets entwickeln ganz normale Dinge ein Eigenleben. Dies bedeutet, dass die Steuerung nicht mehr durch den Menschen betrieben wird, sondern der Austausch findet mit dem Internet statt. Die Dinge kommunizieren miteinander, untereinander und sind somit in einem ständigen Austausch. Weiterlesen

Job als Juniorberater

SEVEN PRINCIPLES hinter den Kulissen: Der Job eines Juniorberaters

Gerne möchten wir Ihnen, unseren geschätzten Lesern, Einblicke in unser Unternehmen ermöglichen und Ihnen zeigen, wie unsere Berater für Ihren Erfolg arbeiten. Diese Woche lassen wir dazu Ingo Niehaus zu Wort kommen. Herr Niehaus ist bei SEVEN PRINCIPLES Juniorberater im Bereich Enterprise Information Management mit dem Schwerpunkt Business Intelligence. Seinen Bachelor und Master der Informatik mit Nebenfach Wirtschaftswissenschaften hat er im Jahr 2012 an der Universität Paderborn absolviert. Nach verschiede­nen Einsatzgebieten im Logistikumfeld ist er seit Anfang 2014 bei uns tätig. Weiterlesen

Schöne neue Mobilgerätewelt

Smartwatch, Fitness-Tracker und Health-Apps oder Google Glass – immer mehr Geräte, die Daten sammeln und zur Kommunikation verwendet werden, drängen auf den Markt oder befinden sich derzeit in der Entwicklung. Auf der IFA wurden wieder zahlreiche neue Gadgets vorgestellt. Fotos per Datenbrille oder Telefonieren mit der Uhr sind schon bald zu erschwinglichen Preisen erhältlich. Für Unternehmen bieten diese neuen Geräte zahlreiche Herausforderungen, aber auch viele Möglichkeiten, Prozesse noch weiter zu optimieren. Es wird darauf ankommen, das richtige Maß zwischen technischen Möglichkeiten und Akzeptanz unter Mitarbeitern und Kunden zu finden. Weiterlesen