Sistemas y análisis de Big Data

Name: Sistemas y análisis de Big Data
Author: Chintan Thakkar

Aprenda los sistemas de procesamiento de Big Data.

Preview the first lesson free — get full access to all 4 lessons.

Curso: bajo demanda

(música electrónica) Bienvenido a Big Data Systems and Analytics. En estas lecciones, aprenderá acerca de los sistemas de almacenamiento diseñado para big data, como Hadoop y su arquitectura, que incluye el sistema de archivos distribuido Hadoop, MapReduce, y diferentes tipos de nodos disponibles. Para procesar big data, necesita una aplicación centralizada que le permite enviar y luego almacenar datos en una base de datos relacional, pero no es posible para almacenar grandes conjuntos de datos en una base de datos relacional porque la base de datos desarrollará un cuello de botella. Estas aplicaciones normalmente solo admiten sistemas pequeños que no puede manejar grandes datos. Google resolvió este problema con el modelo de programación MapReduce. El algoritmo MapReduce realiza las siguientes funciones. Dividir un gran trabajo en partes más pequeñas. Ejecutar trabajos más pequeños de forma independiente. Integración de resultados en un único conjunto de datos. Si tienes un gran problema que resolver, entonces puedes dividir el algoritmo en varias tareas más pequeñas, y cada tarea se ejecuta de forma independiente en infraestructura distribuida. Hadoop está diseñado para ejecutar el algoritmo MapReduce. Los sistemas Hadoop ejecutan el algoritmo MapReduce, que divide el trabajo en varias tareas pequeñas. Procesa los datos en paralelo, lo que significa que estas tareas más pequeñas se llevan a cabo simultáneamente para que pueda realizar análisis estadísticos en grandes cantidades de datos a la vez. Otros beneficios de usar la arquitectura Hadoop son que puede ayudarnos a manejar una situación donde si un nodo falla, luego otro nodo se encargará del procesamiento. Hadoop puede procesar los datos hasta el tamaño de un petabyte en paralelo. También proporciona una solución de escalabilidad, lo que significa que el nodo se puede agregar dinámicamente para procesar más datos. El sistema de archivos distribuidos de Hadoop proporciona confiabilidad, escalabilidad y disponibilidad. Los datos se replican en todo el sistema. para su procesamiento en un banner distribuido. Los archivos se distribuyen en grandes bloques. y se replican para permitir lecturas paralelas optimizadas. Con MapReduce, Hadoop ejecuta el trabajo utilizando los datos almacenados en el sistema de archivos distribuido utilizando el algoritmo MapReduce. Nos ayuda a hacer cálculos de manera eficiente. con los datos almacenados. Apache Pig es un proyecto de código abierto construido sobre de los algoritmos de MapReduce. Nos ayuda a crear el programa de análisis de datos. Puede analizar grandes conjuntos de datos utilizando Apache Pig. También nos ayuda a mostrar los datos como flujos de datos. Necesitas escribir el programa de análisis de datos. usando el lenguaje Pig, y este programa se convertirá en el mapa y reducir las tareas internamente. Hay varios beneficios de usar Pig. Es similar al lenguaje de consulta estructurado. Si conoce el lenguaje de consulta, entonces es fácil aprender este lenguaje. Soporta operadores como uniones y clasificación, similar a la base de datos relacional. Puede manejar tanto datos estructurados como no estructurados. Apache Pig es un lenguaje de alto nivel Construido sobre la capa de abstracción de MapReduce. MapReduce puede ser difícil de aprender en comparación con Apache Pig, pero siendo un experto en programación Java puede ayudar a aprenderlo. Apache Pig también le permite escribir un script de muestra que ya está compilado y generará el trabajo de MapReduce internamente. El trabajo de MapReduce requiere un tiempo de compilación más largo y permite a los desarrolladores almacenar los datos en cualquier parte de la tubería. Proporciona las bibliotecas que nos permiten crear los trabajos de extracción, transformación y carga. Estos son algunos de los usos más comunes de Apache Pig. Convierta los datos en formato parquet. Busque archivos de registro de los petabytes de datos. Procese datos de gran tamaño y genere agregados. Realizar la conversión de imágenes. Apache Hive también es una plataforma para generar operaciones de MapReduce. Hive proporciona soporte para consultas ad hoc para generar agregados de datos y también proporciona varias técnicas que ayudan con el análisis de grandes conjuntos de datos. Soporta lenguaje similar al lenguaje de consulta del servidor SQL. Hive generalmente funciona bien con datos estructurados en comparación con Apache Pig y funciona en diferentes tipos de datos, como estructurados, no estructurados y semiestructurados. Hive nos permite escribir el script usando HiveQL, un procesamiento de consultas y un lenguaje declarativo.

Principiante Proveedor : Chintan Thakkar 4 lecciones · 18m en Árabe, Alemán, Inglés, Español, Francés, Portugués, Urdu, Chinese

Descripción del curso

Para procesar Big Data necesita una aplicación centralizada que le permita enviar y luego almacenar datos en una base de datos relacional. En este curso de Sistemas y análisis de Big Data aprenderá los sistemas de almacenamiento diseñados para Big Data como Hadoop y su arquitectura, que incluye Hadoop Distributed File System, MapReduce y diferentes tipos de nodos disponibles.

El sistema de archivos distribuido de Hadoop proporciona confiabilidad, escalabilidad y disponibilidad. Con MapReduce, Hadoop ejecuta el trabajo utilizando los datos almacenados en el sistema de archivos distribuido y ayuda a los usuarios a realizar cálculos. Apache Pig está construido sobre algoritmos MapReduce. Ayuda a los usuarios a crear el programa de análisis de datos y analizar grandes conjuntos de datos. Este curso explicará el proceso para ejecutar análisis de Big Data en Hadoop.

Lo que aprenderás

Identificar las funciones de los algoritmos MapReduce
Explicar qué es el Hadoop Distributed File System (HDFS) y su relación con Big Data
Enumerar los usos más comunes de Apache Pig
Recordar los nodos en la arquitectura HDFS
Explicar los pasos para crear archivos en HDFS
Describir cómo ejecutar análisis de Big Data en Hadoop

Puntos clave

El procesamiento de Big Data requiere una aplicación centralizada que te permita enviar y almacenar datos en una base de datos relacional.
Hadoop es un sistema de almacenamiento diseñado para Big Data, con una arquitectura que incluye el Hadoop Distributed File System, MapReduce y diferentes tipos de nodos disponibles.
El Hadoop Distributed File System proporciona confiabilidad, escalabilidad y disponibilidad.
Con MapReduce, Hadoop ejecuta trabajos utilizando datos almacenados en el Distributed File System y ayuda a los usuarios a realizar cálculos.
Apache Pig se construye sobre algoritmos MapReduce y ayuda a los usuarios a crear programas de análisis de datos y analizar grandes conjuntos de datos.

Preguntas frecuentes

¿Qué cubre este curso?

El curso cubre sistemas de almacenamiento diseñados para Big Data como Hadoop y su arquitectura, incluyendo el Hadoop Distributed File System, MapReduce y diferentes tipos de nodos disponibles, así como Apache Pig y el proceso de ejecutar análisis de Big Data en Hadoop.

¿Qué es el Hadoop Distributed File System y por qué importa para Big Data?

El Hadoop Distributed File System proporciona confiabilidad, escalabilidad y disponibilidad, y el curso explica qué es y su relación con Big Data.

¿Para qué se utiliza Apache Pig según este curso?

Apache Pig se construye sobre algoritmos MapReduce y ayuda a los usuarios a crear programas de análisis de datos y analizar grandes conjuntos de datos; el curso también enumera sus usos más comunes.

¿Qué habilidades ganaré de este curso?

Ganaras habilidades en Big Data, Big Data Analytics, Data Processing Systems, Database Systems, el Hadoop Distributed File System (HDFS) y Oracle Big Data.

¿Qué temas se enseñan en las lecciones?

Las lecciones incluyen Introducción a Hadoop, Arquitectura Hadoop, Cómo Ejecutar Análisis de Big Data en Hadoop y HDFS, y el Algoritmo MapReduce.