Big-Data-Systeme und -Analytik

Name: Big-Data-Systeme und -Analytik
Author: Chintan Thakkar

Sie erfahren mehr über Big-Data-Verarbeitungssysteme.

Preview the first lesson free — get full access to all 4 lessons.

Kurs: On-Demand

(elektronische Musik) Willkommen bei Big Data Systems and Analytics. In diesen Lektionen lernen Sie Speichersysteme kennen entwickelt für Big Data, wie Hadoop und seine Architektur, Dazu gehören Hadoop Distributed File System, MapReduce, und verschiedene Arten von verfügbaren Knoten. Um Big Data zu verarbeiten, benötigen Sie eine zentralisierte Anwendung Damit können Sie Daten übermitteln und dann speichern in eine relationale Datenbank, aber es ist nicht möglich große Datensätze in einer relationalen Datenbank zu speichern weil die Datenbank einen Engpass entwickeln wird. Diese Anwendungen unterstützen normalerweise nur kleine Systeme die mit Big Data nicht umgehen können. Google hat dieses Problem gelöst mit dem Programmiermodell MapReduce. Der MapReduce-Algorithmus führt die folgenden Funktionen aus. Aufteilen einer großen Aufgabe in kleinere Teile. Selbständiges Ausführen kleinerer Aufträge. Integrieren von Ergebnissen in einen einzigen Datensatz. Wenn Sie ein großes Problem zu lösen haben, dann können Sie den Algorithmus in mehrere kleinere Aufgaben aufteilen, und jede Aufgabe wird unabhängig ausgeführt auf verteilter Infrastruktur. Hadoop wurde entwickelt, um den MapReduce-Algorithmus auszuführen. Hadoop-Systeme führen den MapReduce-Algorithmus aus, die den Job in mehrere kleine Aufgaben aufteilt. Es verarbeitet die Daten parallel, Das bedeutet, dass diese kleineren Aufgaben gleichzeitig ausgeführt werden damit es statistische Analysen durchführen kann auf riesige Datenmengen gleichzeitig. Weitere Vorteile der Verwendung der Hadoop-Architektur sind, dass es uns helfen kann, mit einer Situation umzugehen wo, wenn ein Knoten ausfällt, dann kümmert sich ein anderer Knoten um die Verarbeitung. Hadoop kann die Daten bis zur Größe verarbeiten von einem Petabyte parallel. Es bietet auch eine Skalierbarkeitslösung, d.h Der Knoten kann dynamisch hinzugefügt werden, um weitere Daten zu verarbeiten. Das Hadoop Distributed File System bietet Zuverlässigkeit, Skalierbarkeit und Verfügbarkeit. Daten werden systemweit repliziert zur Verarbeitung in einem verteilten Banner. Die Dateien werden in großen Blöcken verteilt und werden repliziert, um optimierte parallele Lesevorgänge zu ermöglichen. Bei MapReduce führt Hadoop den Job aus Verwenden der auf dem verteilten Dateisystem gespeicherten Daten mit dem MapReduce-Algorithmus. Es hilft uns, Berechnungen effizient durchzuführen mit den gespeicherten Daten. Apache Pig ist ein Open-Source-Projekt, das darauf aufbaut von MapReduce-Algorithmen. Es hilft uns, das Datenanalyseprogramm zu erstellen. Sie können die großen Datensätze mit Apache Pig analysieren. Es hilft uns auch, die Daten als Datenflüsse darzustellen. Sie müssen das Datenanalyseprogramm schreiben mit der Pig-Sprache, und dieses Programm wird konvertiert einplanen und Aufgaben intern reduzieren. Die Verwendung von Pig bietet mehrere Vorteile. Es ähnelt der strukturierten Abfragesprache. Wenn Sie die Abfragesprache kennen, dann ist es einfach, diese Sprache aufzugreifen. Es unterstützt Operatoren wie Joins und Sorting, ähnlich der relationalen Datenbank. Es kann sowohl strukturierte als auch unstrukturierte Daten verarbeiten. Apache Pig ist eine Hochsprache auf der MapReduce-Abstraktionsschicht aufgebaut. MapReduce kann im Vergleich zu Apache Pig schwer zu erlernen sein, sondern ein Experte für Java-Programmierung kann beim lernen helfen. Mit Apache Pig können Sie auch Beispielskripte schreiben das ist bereits kompiliert und wird generiert den MapReduce-Job intern. Der MapReduce-Job benötigt eine längere Kompilierzeit und erlaubt Entwicklern, die Daten zu speichern irgendwo in der Pipeline. Es stellt die Bibliotheken bereit, mit denen wir erstellen können die Extrahierungs-, Transformations- und Ladejobs. Hier sind einige der häufigsten Anwendungen für Apache Pig. Konvertieren Sie Daten in das Parquet-Format. Durchsuchen Sie Protokolldateien aus den Petabytes an Daten. Verarbeiten Sie große Datenmengen und generieren Sie Aggregate. Führen Sie eine Bildkonvertierung durch. Apache Hive ist auch eine Plattform zum Generieren von MapReduce-Operationen. Hive bietet Unterstützung für Ad-hoc-Abfragen zur Generierung von Datenaggregaten und bietet auch verschiedene Techniken, die helfen bei der Analyse großer Datensätze. Es unterstützt Sprache ähnlich in die SQL-Server-Abfragesprache. Hive funktioniert im Allgemeinen gut mit strukturierten Daten im Vergleich zu Apache Pig und arbeitet mit verschiedenen Datentypen, wie strukturiert, unstrukturiert und halbstrukturiert. Hive ermöglicht es uns, das Skript mit HiveQL zu schreiben, eine Abfrageverarbeitungs- und deklarative Sprache.

Anfänger Anbieter : Chintan Thakkar 4 Lektionen · 18m auf Arabisch, Deutsch, Englisch, Spanisch, Französisch, Portugiesisch, Urdu, Chinese

Kursbeschreibung

Um Big Data zu verarbeiten, benötigen Sie eine zentralisierte Anwendung, die es Ihnen ermöglicht, Daten zu übermitteln und dann in einer relationalen Datenbank zu speichern. In diesem Kurs über Big-Data-Systeme und -Analytik lernen Sie Speichersysteme für Big Data wie Hadoop und seine Architektur kennen, die das Hadoop Distributed File System, MapReduce und verschiedene Arten von verfügbaren Knoten umfasst.

Das verteilte Dateisystem von Hadoop bietet Zuverlässigkeit, Skalierbarkeit und Verfügbarkeit. Mit MapReduce führt Hadoop den Auftrag unter Verwendung der im Distributed File System gespeicherten Daten aus und unterstützt die Benutzer bei der Durchführung von Berechnungen. Apache Pig baut auf den MapReduce-Algorithmen auf. Es hilft den Benutzern bei der Erstellung von Datenanalyseprogrammen und der Analyse großer Datenmengen. In diesem Kurs wird erklärt, wie man Big Data-Analytik auf Hadoop ausführt.

Was Sie lernen werden

Identifizieren Sie die Funktionen von MapReduce-Algorithmen
Erklären Sie, was das Hadoop Distributed File System (HDFS) ist und seine Beziehung zu Big Data
Führen Sie die häufigsten Verwendungen von Apache Pig auf
Erinnern Sie sich an die Knoten in der HDFS-Architektur
Erklären Sie die Schritte zum Erstellen von Dateien in HDFS
Beschreiben Sie, wie Big Data-Analysen auf Hadoop durchgeführt werden

Wichtige Erkenntnisse

Die Verarbeitung von Big Data erfordert eine zentralisierte Anwendung, mit der Sie Daten in eine relationale Datenbank einreichen und speichern können.
Hadoop ist ein für Big Data konzipiertes Speichersystem mit einer Architektur, die das Hadoop Distributed File System, MapReduce und verschiedene Arten von verfügbaren Knoten umfasst.
Das Hadoop Distributed File System bietet Zuverlässigkeit, Skalierbarkeit und Verfügbarkeit.
Mit MapReduce führt Hadoop Jobs mit den im Distributed File System gespeicherten Daten aus und hilft Benutzern, Berechnungen durchzuführen.
Apache Pig wird auf MapReduce-Algorithmen aufgebaut und hilft Benutzern, Datenanalyseprogramme zu erstellen und große Datensätze zu analysieren.

Häufig gestellte Fragen

Was behandelt dieser Kurs?

Der Kurs behandelt Speichersysteme für Big Data wie Hadoop und seine Architektur, einschließlich des Hadoop Distributed File System, MapReduce und verschiedener Arten von verfügbaren Knoten, sowie Apache Pig und den Prozess der Durchführung von Big Data-Analysen auf Hadoop.

Was ist das Hadoop Distributed File System und warum ist es für Big Data wichtig?

Das Hadoop Distributed File System bietet Zuverlässigkeit, Skalierbarkeit und Verfügbarkeit, und der Kurs erklärt, was es ist und seine Beziehung zu Big Data.

Wofür wird Apache Pig nach diesem Kurs verwendet?

Apache Pig wird auf MapReduce-Algorithmen aufgebaut und hilft Benutzern, Datenanalyseprogramme zu erstellen und große Datensätze zu analysieren; der Kurs führt auch seine häufigsten Verwendungen auf.

Welche Fähigkeiten werde ich aus diesem Kurs gewinnen?

Sie werden Fähigkeiten in Big Data, Big Data Analytics, Data Processing Systems, Database Systems, dem Hadoop Distributed File System (HDFS) und Oracle Big Data gewinnen.

Welche Themen werden in den Lektionen unterrichtet?

Die Lektionen umfassen Einführung in Hadoop, Hadoop-Architektur, Durchführung von Big Data-Analysen auf Hadoop und HDFS sowie den MapReduce-Algorithmus.