Big Data Analyse mit Scala und Spark | Das Universitätsnetzwerk

Beschreibung

Die Manipulation von Big Data, die über einen Cluster verteilt werden, mithilfe funktionaler Konzepte ist in der Industrie weit verbreitet und wohl eine der ersten weit verbreiteten industriellen Anwendungen funktionaler Ideen. Dies wird durch die Beliebtheit von MapReduce und Hadoop sowie zuletzt von Apache Spark belegt, einem schnellen, speicherinternen Framework für verteilte Sammlungen, das in Scala geschrieben wurde. In diesem Kurs werden wir sehen, wie das Paradigma der Datenparallelität mithilfe von Spark durchgehend auf den verteilten Fall erweitert werden kann. Wir werden das Programmiermodell von Spark im Detail behandeln und dabei sorgfältig verstehen, wie und wann es sich von bekannten Programmiermodellen wie parallelen Sammlungen mit gemeinsamem Speicher oder sequentiellen Scala-Sammlungen unterscheidet. Anhand von praktischen Beispielen in Spark und Scala erfahren wir, wann wichtige Probleme im Zusammenhang mit der Verteilung wie Latenz und Netzwerkkommunikation berücksichtigt werden sollten und wie sie zur Verbesserung der Leistung effektiv angegangen werden können.

Lernerfolge. Am Ende dieses Kurses können Sie:

- Daten aus dem persistenten Speicher lesen und in Apache Spark laden,
- Daten mit Spark und Scala bearbeiten,
- Algorithmen für die Datenanalyse in einem funktionalen Stil ausdrücken,
- erkennen, wie man Mischen und Neuberechnungen in Spark vermeidet,

Empfohlener Hintergrund: Sie sollten mindestens ein Jahr Programmiererfahrung haben. Kenntnisse in Java oder C # sind ideal, aber auch Erfahrung mit anderen Sprachen wie C / C ++, Python, Javascript oder Ruby ist ausreichend. Sie sollten mit der Befehlszeile vertraut sein. Dieser Kurs soll nach der parallelen Programmierung absolviert werden: https://www.coursera.org/learn/parprog1.