Data Mesh: Aufbau einer skalierbaren Informationsarchitektur

CID verfügt über entscheidende Erfahrung beim Aufbau einer modernen Informationsarchitektur, einschließlich Data Mesh. So gehen wir typischerweise vor.

Transformation

Mit zwei einführenden Aktivitäten beginnen wir die Entwicklung einer modernen, zeitgemäßen Informationsarchitektur, insbesondere eines Data Mesh.

1. Workshops

Ausführliche Workshops mit Business- und Software-Stakeholdern erläutern den Datenbedarf, der sich aus dem Business ergibt, und das moderne Konzept eines Data Mesh. Wir konzentrieren uns vor allem auf die Dringlichkeit, eine Datenkultur und -kompetenz zu fördern, die allen Beteiligten im gesamten Unternehmen zugutekommen wird.

2. Förderung von Datenkompetenz

Wir nutzen einen strukturierten Ansatz zur Beschreibung von Informationsangeboten. Dies hilft, die Datenkompetenz zu fördern, ein gemeinsames Verständnis und eine gemeinsame Semantik zu entwickeln und ein Change-Management für Datenprodukte einzuführen. Dieser Prozess unterstützt den Entwurf der neuen Datenarchitektur und die Definition der Datenprodukte und Data Marts.

Umsetzung

In der Regel bilden wir ein „Plattformteam“, das für die Einrichtung der Infrastruktur (z.B. Kubernetes, Snowflake), die Erstellung der erforderlichen Tools (Operators, Treiber) und die Unterstützung anderer Teams bei der effizienten Erstellung von Datenprodukten im Einklang mit der Governance verantwortlich ist.

Wir führen einen Datenkatalog ein oder nutzen ihn, damit Squads ihre Produkte registrieren können. Dies ermöglicht es anderen Beteiligten, Datenprodukte zu finden und zu integrieren, ihre Nutzung zu dokumentieren und die Governance-Anforderungen zu erfüllen, einschließlich der Lineage.

Die Product Owner von internen Produkten oder Dienstleistungen verantworten die Erstellung von Datenprodukten. Wenn beispielsweise ein Kunde eine Bestellung aufgibt (ein Geschäftsereignis), liefert das Datenprodukt „Bestellhistorie“ Bestelldaten gemäß der Produktspezifikation, die strenge Einschränkungen, eine konsistente Schema-Versionierung und eine reproduzierbare Datenausgabe erfordert. Solche Einschränkungen sind entscheidend, um eine semantische Präsentation und eine Self-Service-Wiederverwendung eines Datenprodukts zu ermöglichen. Die Squads decken die Entwicklung des Datenprodukts ab, was die Transformation und Speicherung der Daten, die Bereitstellung einer API und die Registrierung im Datenkatalog umfasst. Die Datenprodukte stellen Daten für die Weiterverarbeitung durch andere Produkte und Dienste bereit.

Data Marts sind Konsumenten von (mehreren) Datenprodukten, die direkt Self-Service-Analysen ermöglichen. Im Gegensatz zu Datenprodukten, die – im Vergleich – eher roh sind, befinden sich Data Marts in Datenplattformen wie Snowflake und sind für die Verwendung

Organisation und Rollen

Ein zentraler Aspekt der Data-Mesh-Entwicklung ist die Schaffung einer Datenplattform und eines Teams, das sich auf die Entwicklung von Standards, Governance und Infrastruktur konzentriert. Dieses funktionsübergreifende Expertenteam, zu dem auch CID-Experten gehören, arbeitet eng mit den Abteilungen für Legal, Compliance und IT zusammen, um ein Netzwerk zu schaffen, das auf den Säulen einer soliden Governance steht.

Bei diesem dezentralen Ansatz liegt die Verantwortung für die Erstellung und das Testen von Datenprodukten bei den Teams, die auf die jeweiligen Services ausgerichtet sind, wodurch die Verantwortung gefördert und gleichzeitig die Skalierbarkeit gewahrt wird.