Apache Schulungen & Inhouse-Seminare

Auf Wunsch können noch folgende Schulungen durchgeführt werden:
Hortonworks Data Platform (HDP) ist eine Open-Source-Plattform zur Unterstützung von Apache Hadoop, die eine stabile Grundlage für die Entwicklung großer Datenlösungen auf dem Apache Hadoop-Ökosystem bietet.

Einführung in die Hortonworks-Datenplattform (HDP)

• Überblick über Big Data und Apache Hadoop
• Installieren und Konfigurieren von HDP
• Einrichtung, Bereitstellung und Verwaltung von Hadoop-Clustern
• Verstehen und Konfigurieren vonYARN und MapReduce
• Überblick über Job Scheduling
• Gewährleistung der Datenintegrität
• Verstehen der Bewegung von Unternehmensdaten
• Verwendung von HDFS-Befehlen und -Diensten
• Übertragung von Daten über Flume
• Arbeiten mit Hive
• Planen von Arbeitsabläufen mit Oozie
• Erforschung von Hadoop 2.x
• Hbase-Architektur verstehen
• Überwachung von HDP2-Diensten mit Ambari
• Neue Funktionen im HDP
•  

Die 4 Module von Hadoop

Hadoop setzt sich aus "Modulen" zusammen, von denen jedes eine bestimmte Aufgabe erfüllt, die für ein Computersystem, das für die Analyse großer Datenmengen ausgelegt ist, unerlässlich ist.

1. Verteiltes Dateisystem

Die beiden wichtigsten sind das Distributed File System, das die Speicherung von Daten in einem leicht zugänglichen Format über eine große Anzahl von verknüpften Speichergeräten ermöglicht, und MapReduce, das die grundlegenden Werkzeuge zum Herumstochern in den Daten bereitstellt.
(Ein "Dateisystem" ist die Methode, die von einem Computer verwendet wird, um Daten zu speichern, damit sie gefunden und verwendet werden können. Normalerweise wird dies durch das Betriebssystem des Computers bestimmt, jedoch verwendet ein Hadoop-System sein eigenes Dateisystem, das "über" dem Dateisystem des Host-Computers liegt - d.h. es kann von jedem Computer mit jedem unterstützten Betriebssystem darauf zugegriffen werden).

2. MapReduce

MapReduce ist nach den beiden Grundoperationen benannt, die dieses Modul ausführt - Daten aus der Datenbank lesen, sie in ein für die Analyse geeignetes Format bringen (Karte) und mathematische Operationen durchführen

3. Hadoop Allgemein

Das andere Modul ist Hadoop Common, das die Werkzeuge (in Java) zur Verfügung stellt, die für die Computersysteme des Benutzers (Windows, Unix oder was auch immer) benötigt werden, um die unter dem Hadoop-Dateisystem gespeicherten Daten zu lesen.

4. YARN

Das letzte Modul ist YARN, das die Ressourcen der Systeme verwaltet, die die Daten speichern und die Analyse durchführen.
Verschiedene andere Prozeduren, Bibliotheken oder Funktionen wurden in den letzten Jahren als Teil des Hadoop-"Frameworks" betrachtet, aber Hadoop Distributed File System, Hadoop MapReduce, Hadoop Common und Hadoop YARN sind die vier wichtigsten.