Wissensgraphen: Die Macht der Verbindungen 

Das sinnvolle Organisieren und Verbinden von Informationen ist in der heutigen datengetriebenen Welt entscheidend geworden. Knowledge Graphs (Wissensgraphen) glänzen in Umgebungen, in denen Beziehungen, Flexibilität und Kontext von zentraler Bedeutung sind. Für Unternehmen, die komplexe Datenökosysteme verwalten, bieten Knowledge Graphs eine anpassungsfähige, skalierbare Lösung, die zukunftssicher und für moderne Datenanwendungsfälle optimiert ist.

Wenn Sie mit Daten arbeiten, die komplexe Beziehungen modellieren, beispielsweise in sozialen Netzwerken, Lieferketten und der biomedizinischen Forschung, sind die Beziehungen ebenso wichtig wie die einzelnen Entitäten. Die Anzahl und Art dieser Beziehungen kann von Knoten zu Knoten variieren, daher ist es sinnvoller, diese Daten in einer echten Graphdatenstruktur anstatt in einem traditionellen Datenbankformat zu speichern. Einen Kunden mit mehreren Produkten, Support-Anfragen und Serviceverläufen zu verbinden, würde in einem relationalen Datenmodell komplexen Joins erfordern. In einem Knowledge Graph hingegen werden diese Beziehungen als einfache Beziehungen gespeichert.

Dies ermöglicht eine einfachere Modellierung komplexer Daten, was die Entwicklung, Wartung und Skalierbarkeit eines Informationssystems erleichtert. Dieser Artikel führt in Knowledge Graphs, ihre Anwendungen und Herausforderungen ein. Interessiert? Dann schauen wir uns an, was diese Technologie ausmacht.

Was ist ein Wissensgraph?

Ein Wissensgraph ist eine Datenstruktur, die Informationen als Netzwerk von Entitäten und deren Verbindungen darstellt. Diese Netzwerkstruktur ermöglicht es Wissensgraphen, eine reiche und vernetzte Darstellung von Wissen zu schaffen, die leicht abfragbar und verständlich ist.

Im Gegensatz zu herkömmlichen Datenbanken, die als Tabellen mit Zeilen und Spalten strukturiert sind, ermöglichen Wissensgraphen komplexe Verknüpfungen zwischen Daten, wobei sowohl Fakten als auch deren Bedeutung erfasst werden. Diese semantische Repräsentation macht sie besonders nützlich, um anspruchsvollere Abfragen zu beantworten und intuitive Einblicke zu geben.

Schlüsselkonzepte: Entitäten, Beziehungen und Semantik

Wissensgraphen basieren auf drei Hauptkonzepten:

Entitäten und Beziehungen: Entitäten sind die Bausteine – man kann sie sich als Knoten in einem Netzwerk vorstellen. Diese Entitäten sind durch Beziehungen verbunden, die die Kanten darstellen und definieren, wie die Entitäten miteinander interagieren. Beispielsweise könnte in einem Wissensgraphen die Entität „J. R. R. Tolkien“ mit „Der Herr der Ringe“ verbunden sein.

Semantische Repräsentation: Die wahre Stärke eines Wissensgraphen liegt in der Fähigkeit, Daten semantisch darzustellen. Das bedeutet, dass er nicht nur die Verbindungen zwischen Entitäten erfasst, sondern auch den Kontext und die Bedeutung dieser Verbindungen, wodurch nuanciertere und kontextbewusste Abfragen ermöglicht werden. In unserem Beispiel könnte „J. R. R. Tolkien“ durch eine Beziehung mit der Bezeichnung „Autor von“ mit „Der Herr der Ringe“ verknüpft sein.

Graphdatenbank: Wissensgraphen stützen sich oft auf spezialisierte Graphdatenbanken, um diese vernetzten Daten zu speichern und zu verwalten. Diese Datenbanken sind für die Speicherung von Entitäten und Beziehungen optimiert und eignen sich hervorragend für Szenarien, in denen komplexe Verbindungen effizient abgefragt werden müssen.

Technologien hinter Wissensgraphen

Wissensgraphen basieren auf Technologien, die ihre reiche und vernetzte Natur unterstützen. Es gibt zwei grundlegende Gruppen von Systemen:

Kanten-zentriert: Beziehungen sind wichtiger als die Entitäten selbst, wie etwa bei Netzwerkflussproblemen, bei denen die Kapazität und der Fluss entlang der Kanten entscheidend sind. Ein prominentes Beispiel ist RDF (Resource Description Framework), ein Standardmodell für den Datenaustausch, das hilft, Aussagen über Ressourcen in Form von Subjekt-Prädikat-Objekt-Ausdrücken in einem Triple-Store zu erstellen. Beliebte Triple-Stores sind z.B. Blazegraph, Amazon Neptune und Apache Jena Fuseki.

Knoten-zentriert: Wird verwendet, wenn die Analyse der Eigenschaften oder Zentralität von Knoten im Vordergrund steht, um zu bestimmen, wie sie verbunden sind oder um Informationen zu entitätsspezifischen Fragen zu erforschen. Ein Beispiel wäre die Modellierung eines großen sozialen Netzwerkgraphen mit einem Knoten-zentrierten Ansatz. Technologien wie Neo4j, Microsoft Cosmos DB, Amazon Neptune und andere bieten die Infrastruktur, um graphbasierte Daten effizient zu speichern, abzufragen und zu verwalten.

Anwendungen von Knowledge Graphs

Knowledge Graphs haben zahlreiche Anwendungen in der realen Welt und sind unverzichtbar, wenn es darum geht, Informationen zu extrahieren. Schauen wir uns drei dieser Anwendungsfälle an:

Lieferkettenanalyse

Der Begriff Liefer-“kette“ ist nicht ganz zutreffend. Die Lieferanten von Herstellern bilden komplexe Netzwerke, die oft weltweit gespannt sind. Unternehmen nutzen Knowledge Graphs, um ihre Lieferantenbeziehungen und -Risiken zu modellieren und zu analysieren. Um möglichst schnell reagieren zu können, müssen sie die Verbindungen zwischen den verschiedenen Knotenpunkten in ihren Lieferanten-Graphen, ihren Wettbewerbern und Ereignissen in der Welt, die ihre Lieferkette beeinflussen könnten, tiefgehend verstehen.

Finanzdienstleistungen

Als Asset Manager möchten Sie Geld in Deep Learning investieren. Sie möchten jedoch nicht einfach Aktien direkt von Nvidia kaufen. Stattdessen setzen Sie auf einen Anstieg des Marktwerts bestimmter Lieferanten von Wolfram, Kupfer, Zinn, Aluminium und Gold. Nun suchen Sie nach entsprechenden Organisationen als Investitionsziele. Ein umfassender Business-Knowledge Graph könnte Ihnen diese Frage beantworten.

Vermögensverwaltung

Vermögensverwalter suchen nach neuen potenziellen Kunden. Sie haben ein neues Produkt entwickelt, das Sie einer bestimmten, wohlhabenden Zielgruppe anbieten möchten. Diese Personen sollen einer bestimmten demographischen Gruppe angehören, in einer ausgewählten Region leben und für Unternehmen in einem bestimmten Industriesektor arbeiten. Dies kann als Datenbankabfrage gegen einen Knowledge Graph gesehen werden, der all diese Verbindungen als Beziehungen in einem Graphen abbildet.

Wenn Sie bereits einen großen Kundenstamm besitzen, den Sie bestmöglich zu beraten möchten, benötigen Sie relevante Informationen zu Ihren Kunden. Zum Beispiel wäre es von Interesse, wenn ein Unternehmen, das sie besitzen, einen Börsengang plant, oder wenn sie in eine andere Stadt umziehen. Diese Ereignisse könnten Investitionsentscheidungen Ihrer Kunden direkt oder indirekt beeinflussen, und Sie sollten sich an sie wenden. Unser Knowledge Graph macht diese Aufgabe einfach und liefert die notwendigen Verbindungen zwischen Ereignisse, betroffenen Entitäten und Verbindungen zu Ihren Klienten.

Vorteile von Wissensgraphen

Im Gegensatz zu relationalen Datenbanken, die auf starren Schemata basieren, können Wissensgraphen schnell auf neue Daten und Beziehungen reagieren. Diese Flexibilität macht sie ideal für dynamische Datenumgebungen, in denen sich Informationen ständig ändern.

Aufgrund ihrer graphbasierten Natur eignen sich Wissensgraphen gut für Visualisierungen, was es Data Scientists und -Analysts erleichtert, die Verbindungen innerhalb der Daten zu erkunden und zu verstehen. Dies ist besonders wertvoll, um versteckte Muster oder Beziehungen zu entdecken, die sonst möglicherweise nicht offensichtlich wären.

Wissensgraphen glänzen bei der Beantwortung semantischer Fragen. Anstatt nur nach Schlüsselwörtern zu suchen, ermöglichen sie reiche und komplexe Abfragen wie „Zeige alle Firmen, in die Black Rock investiert ist“, wobei sowohl die Knoten (Firmen) als auch ihre Beziehungen (hat Shareholder) erfasst werden. Solch eine Abfrage wird nicht in natürlicher Sprache ausgedrückt, sondern in einer Datenbank-Abfragesprache. Dennoch können Wissensgraphen in GenAI-Systemen durch Technologien wie Semantic RAG genutzt werden, um das Wissen der KI durch Graphdaten zu erweitern.

Herausforderungen beim Aufbau und der Nutzung von Wissensgraphen

Obwohl Wissensgraphen leistungsstark sind, bringen sie auch ihre eigenen Herausforderungen mit sich.

Einen Knowledge Graph von Grund auf zu erstellen bedeutet, zu definieren, wie der Graph aussehen soll. Eine Schema-Definition muss festgelegt werden. Welche Knotentypen und Beziehungen sollen existieren und welche Eigenschaften und Wertebereiche sind erlaubt? Das sieht auf den ersten Blick einfach aus, aber wenn der Graph über einen langen Zeitraum bestehen und von mehreren sich weiterentwickelnden Quellen gespeist werden soll, müssen wir ein Schema entwickeln, das unseren Anforderungen entspricht und dennoch mit den gegebenen Daten umsetzbar ist. Außerdem ist es möglicherweise nicht schwierig, das Schema häufig zu ändern, da sich andere Systeme oder Nutzer auf unseren Graphen verlassen.

Die Erstellung eines umfassenden Wissensgraphen erfordert oft die Integration von Daten aus verschiedenen Quellen. Die Sicherstellung von Konsistenz und Genauigkeit ist eine große Herausforderung, da unterschiedliche Datensätze unterschiedliche Qualitätsstufen, widersprüchliche Informationen oder redundante Datensätze aufweisen können. Um diese Herausforderung zu bewältigen, lesen Sie bitte unsere Serie über Data Reconciliation.

Die Verwaltung und Abfrage der Daten kann mit wachsender Größe eines Wissensgraphen zunehmend anspruchsvoll werden. Im Gegensatz zu herkömmlichen Datenbanken, die für bestimmte Arten von Datenoperationen optimiert sind, erfordert das Skalieren eines Wissensgraphen auf Millionen von Knoten und Kanten eine sorgfältige Planung und Optimierung.

Die Zukunft der Wissensgraphen

Wissensgraphen verändern die Art und Weise, wie wir über Daten nachdenken und mit ihnen interagieren. Sie ermöglichen es uns, über flache, isolierte Aufzeichnungen hinauszugehen, um reiche, bedeutungsvolle Beziehungen zu schaffen, die widerspiegeln, wie wir über die reale Welt nachdenken. Von der Bereitstellung sofortiger Antworten in Suchmaschinen bis hin zur Ermöglichung unternehmensweiter Datenanalysen – ihre Anwendungen sind vielfältig und wachsen stetig.

Knowledge Graphs sind eine Möglichkeit, Daten zu speichern. Sie sind die natürliche Art, Daten zu speichern, die semantische Beziehungen nutzen, die in anderen Datenstrukturen, wie z. B. einer SQL-Tabelle, nicht effizient eingesetzt werden können. Es ist kein Widerspruch, verschiedene Systeme parallel zu verwenden. Möglicherweise ist es sinnvoll, einen großen Graphen in einer Graphdatenbank zu speichern und diese Daten mit Echtzeitdaten zu ergänzen, die aus einem Kafka-Stream gespeist werden. Diese unterschiedlichen Technologien sind für bestimmte Anwendungsfälle gedacht und werden in der Zukunft nebeneinander bestehen.

Mit dem Fortschritt von künstlicher Intelligenz und maschinellem Lernen werden Wissensgraphen eine immer wichtigere Rolle dabei spielen, Maschinen zu helfen, die Welt so zu verstehen, wie Menschen es tun. Sie repräsentieren nicht nur Daten, sondern auch die Geschichten und Verbindungen, die Informationen zum Leben erwecken – und machen sie zu einem unverzichtbaren Bestandteil der Zukunft intelligenter Systeme.

CID und Wissensgraphen

Die Expertise von CID im Bereich graphbasierter Daten beruht auf mehr als 15 Jahren Erfahrung. Wir haben riesige Unternehmensgraphen über Organisationen, Einzelpersonen und Standorte mit fast hundert Millionen Knoten und unzähligen Kanten aufgebaut. Die Graphen wuchsen im Laufe der Zeit, ebenso wie die Technologie und unser Team. Wir begannen mit RDF und wechselten zu einem knoten-zentrierten Ansatz unter Verwendung einer Neo4J-Datenbank.

Unsere Graphen integrierten mehrere Entitätsdatenbanken, die mithilfe einer komplexen Abgleichsmethodik kombiniert wurden. Wir schufen unterschiedliche Repräsentationen für verschiedene Anwendungsfälle. Die Systeme liefen vollständig automatisch 24/7 und aktualisierten ihre Datenbanken über verschiedene APIs, die kontinuierlich Daten einspeisten.

Es kam vor, dass eine Graphdatenbank nicht schnell und stabil genug war, um die hohe Last der Anfragen, die unsere Nutzer stellten, zu bewältigen. Daher entwickelten wir Leseschichten für horizontale Skalierung mithilfe einer hochoptimierten Indexierungstechnologie.

Durch den Aufbau und die Arbeit mit Wissensgraphen haben wir im Laufe der Jahre umfangreiche Kenntnisse erworben. Wir lernten viele Aspekte und entwickelten Strategien zur Vermeidung von Fehlern. Unsere Data Engineers, Data Scientists, Software Developers und DevOps Engineers wurden zu Experten im Aufbau von Unternehmenssoftwarelösungen für komplexe Graphdaten. Möchten Sie diesen Weg auch gehen? Nutzen Sie die Abkürzung und treten Sie mit uns in Kontakt, damit unser Team seine Erkenntnisse teilen und Sie bei Ihren Herausforderungen unterstützen kann.
 

Autor © 2024: Dr. Jörg Dallmeyer – www.linkedin.com/in/jörg-dallmeyer-5b3452243/