Modern Data Stacks: ein dezentralisierter, “decoupled” Ansatz

In dem Maße, wie sich Unternehmen auf die Erwartungen ihrer Kunden einstellen, verändern sich auch die technologischen und analytischen Systeme, die sie antreiben. Monolithische Produkte sind dynamischen, verteilten, modularen Strukturen gewichen. Dies ist der Modern Data Stack, der eine weite Landschaft von Technologien, Frameworks und Systemen umfasst, die zudem oft durch künstliche Intelligenz und maschinelles Lernen unterstützt werden.

Der monolithische Daten-Stack war einst die De-facto-Wahl für Unternehmen. Die Möglichkeit, alles Notwendige von einem einzigen Anbieter zu erhalten, wurde oft als idealer Weg angesehen, um Business-Intelligence-Stacks zu vereinfachen und sicherzustellen, dass alle diese verschiedenen Systeme im Einklang funktionieren.

Das ist heute nicht mehr der Fall. Zukunftsorientierte Unternehmen, die sich gemeinsam mit ihren Kunden weiterentwickeln und ihre Datenkultur und -kompetenz vorantreiben müssen, können dies durch die Kombination von Flexibilität, Dezentralisierung und Self-Service in ihrem Data Stack erreichen.

Dieser Wandel wird durch einen Paradigmenwechsel hin zu Produkt-Denken und dezentraler Verantwortung vorangetrieben.

Das Denken in (Daten-)Produkten stellt sicher, dass Ergebnisse aus Business-Perspektive und die User Experience einer Lösung die treibende Kraft sind – und nicht nur die reine Bereitstellung von Daten. Das Angebot eines (Daten-)Produkts mit Dokumentation, solider Integrierbarkeit und definierter Verfügbarkeit ist ein weiterer Eckpfeiler des Konzepts, wobei die notwendige Technologie und das Fachwissen notwendig sind, um künftige Anpassungen zu bewältigen.

Damit verbunden ist eine dezentralisierte “Ownership”, also die Übernahme von Verantwortung für die Datenprodukte, bei der bestimmte Daten in den Händen von auf das Business spezialisierten Personen und Teams liegen, die gemeinsam auf ein zentrales Ziel hinarbeiten. Dieses Modell bedeutet, dass die Daten von den Teams bearbeitet werden, die ihnen am nächsten sind, und dass die Abhängigkeit von der zentralen IT-Abteilung zum Verstehen, Transformieren und Bereitstellen dieser Informationen minimiert wird. Daten werden zu einem Aktivposten, der den Fortschritt aller Beteiligten vorantreibt.

Der Schwerpunkt liegt dabei auf der Auswahl der besten Systemarchitektur und Tools für jedes spezifische Datenprodukt und jeden Workload zur Verarbeitung.

Die datengetriebene Organisation

Die Merkmale des Modern Data Stack sind von zentraler Bedeutung für datengetriebene Unternehmen, die fundierte, datengestützte Entscheidungen treffen wollen, anstatt sich ausschließlich auf ihre Intuition oder langsame manuelle Berichte zu verlassen. Diese Strategie, die sich oft bereits in größeren Unternehmen etabliert hat, ist dank der Möglichkeiten von flexiblen Data Stacks nun auch für kleinere Organisationen und einzelne Abteilungen zugänglich.

Der Wechsel zu einer datengesteuerten Strategie ist auch darauf zurückzuführen, dass viele die Beschränkungen traditioneller, monolithischer Ansätze hinter sich gelassen haben. Riesige Data Lakes, die aus universellen Systemen hervorgingen, wurden schnell zu “Datensümpfen”, da es schwierig war, einen zentralen Überblick über all diese Daten und die jeweils verbundenen Prozesse zu behalten.

Dies hat den Weg für das „Data Mesh“ geebnet, das eine dezentralisierte Organisationsstruktur fördert. Die Verwendung eines Data Mesh steigert die fachliche Relevanz und Qualität in den granularen Datenprodukten signifikant – und reduziert das Risiko eines Datensumpfes deutlich.