Big Data-Analyse: Hive, Spark SQL, DataFrames und GraphFrames

Beschreibung

Zweifellos ist es schwierig, mit großen Datenmengen zu arbeiten, aber um einen Berg zu bewegen, muss man sich mit vielen kleinen Steinen auseinandersetzen. Aber warum sich anstrengen? Mit Mapreduce und Spark können Sie das Problem teilweise lösen und so Platz für übergeordnete Tools lassen. Hören Sie auf zu kämpfen, um Ihren Big-Data-Workflow produktiv und effizient zu gestalten, und nutzen Sie die Tools, die wir Ihnen anbieten.

In diesem Kurs lernen Sie, wie Sie:
- Lagern Sie Ihre Daten effizient mit Hive, Spark SQL und Spark DataFframes.
- Arbeiten Sie mit großen Grafiken, z. B. sozialen Grafiken oder Netzwerken.
- Optimieren Sie Ihre Spark-Anwendungen für maximale Leistung.

Genau, Sie werden Ihr Wissen beherrschen in:
- Schreiben und Ausführen von Hive & Spark SQL-Abfragen;
- Begründung, wie die Abfragen in tatsächliche Ausführungsprimitive übersetzt werden (seien es MapReduce-Jobs oder Spark-Transformationen);
- Organisieren Sie Ihre Daten in Hive, um die Speicherplatznutzung und Ausführungszeiten zu optimieren.
- Erstellen von Spark DataFrames und deren einfache Erstellung von Ad-hoc-Analysejobs;
- Verarbeiten großer Diagramme mit Spark GraphFrames;
- Debuggen, Profilieren und Optimieren der Leistung von Spark-Anwendungen.

Immer noch im Zweifel? Überprüfen Sie dies heraus. Werden Sie ein Daten-Ninja, indem Sie diesen Kurs belegen!

Besonderer Dank an:
- Prof. Mikhail Roytberg, APT-Abteilung, MIPT, der der erste Gutachter des Projekts war, der Supervisor und Mentor der Hälfte des BigData-Teams. Er war derjenige, der dazu beigetragen hat, diese Show auf die Straße zu bringen.
- Oleg Sukhoroslov (PhD, Senior Researcher am IITP RAS), der seit 2008 MapReduce, Hadoop und Freunde unterrichtet. Jetzt leitet er das Infrastruktur-Team.
- Oleg Ivchenko (Doktorand APT-Abteilung, MIPT), Pavel Akhtyamov (MSc-Student an der APT-Abteilung, MIPT) und Vladimir Kuznetsov (Assistent an der PG Demidov Yaroslavl State University), Superhirn, die die für sie verwendete Infrastruktur entwickelt haben und jetzt warten praktische Aufgaben in diesem Kurs.
- Asya Roitberg, Eugene Baulin und Marina Sudarikova. Diese Leute schlafen nie, um diesen Kurs Tag und Nacht zu babysitten, um Ihre Lernerfahrung produktiv, reibungslos und aufregend zu machen.