Ich bin dein Nachbar – Graphenverarbeitung mit Apache Flink

Datensätze, die inhärente Abhängigkeiten zueinander aufweisen und somit einen logischen Graphen darstellen, sind häufig anzutreffen. Die typischen Beispiele hierfür sind die Freundschaftsbeziehungen sozialer Netzwerke, die Berechnung von kürzesten Navigationspfaden oder die mathematischen Reputationsmodelle zur Bewertung von Webseiten (Page Rank). Die Verarbeitung solcher Datenstrukturen kann sich aber als äußerst komplex und ineffizient erweisen. Dieser Effekt wird sogar noch verstärkt, wenn es sich dabei um Massendaten handelt, die eine verteilte und effiziente Verarbeitung erfordern.

Es existieren verschiedene Frameworks, die die Verarbeitung von Graphen in verteilten Systemen erleichtern. Eines davon ist das alternative Verarbeitungsframework Apache Flink, das auf dem Ressourcenmanagement von Hadoop aufsetzt. Der Schwerpunkt von Flink liegt zwar auf der Verarbeitung von kontinuierlichen Datenströmen, aber es stellt mit Gelly auch eine Library zur Graphenverarbeitung zur Verfügung. Somit erlaubt Flink nicht nur die Nutzung und Orchestrierung von verteilten Recheninstanzen, sondern ermöglicht auch einen einfachen und intuitiven Umgang mit Graphenalgorithmen. Dies wird vor allem durch ein knotenbasiertes Verarbeitungsmodell erreicht, das sich an dem Programmiermodell Bulk Synchronous Parallel (BSP) orientiert.

Neben der Benutzung und den wichtigsten Konzepten von Flink zur Verarbeitung von Graphen soll vor allem anhand eines konkreten Praxisbeispiels gezeigt werden, welche Vorteile die Anwendung eines graphenbasierten Paradigmas mit sich bringt. Da der Kontakt mit graphenähnlichen Datenstrukturen häufiger ist, als es zunächst erscheinen mag, sind sowohl das Paradigma als auch das Framework nicht nur im Kontext von Massendaten interessant.

Dienstag, 28.03.2017
16:00 - 16:40
Quantum UG
Anfänger
Deutsch
Newcomer
Demo
Kottke

Kristian Kottke

iteratec GmbH

Weitere Vorträge, die Sie interessieren könnten

Domänenspezifische Sprachen: Sprich domänisch!
28.03.2017
Quantum UG
08:30 - 09:10
Markus Amshove
Microservices mit Java – OSGi ist doch die Lösung
28.03.2017
Quantum UG
11:00 - 11:40
Uwe Schulz
Microservice-Anwendungen mit Docker
28.03.2017
Quantum UG
12:00 - 12:40
Thomas Bauer
Caching mit Spring über JCache hinaus
28.03.2017
Quantum UG
13:00 - 13:40
Andreas Wirth
Kotlin-based Build Scripts: New Opportunities in Gradle 3.0
28.03.2017
Quantum UG
14:00 - 14:40
Tim Riemer