Sistemas e análise de Big Data

Name: Sistemas e análise de Big Data
Author: Chintan Thakkar

Conhece os sistemas de processamento de Big Data.

Preview the first lesson free — get full access to all 4 lessons.

Curso: sob demanda

(música eletrônica) Bem-vindo ao Big Data Systems and Analytics. Nestas lições, você aprenderá sobre sistemas de armazenamento projetado para big data, como o Hadoop e sua arquitetura, que inclui o Hadoop Distributed File System, MapReduce, e diferentes tipos de nós disponíveis. Para processar big data, você precisa de um aplicativo centralizado que permite enviar e armazenar dados em um banco de dados relacional, mas não é possível para armazenar grandes conjuntos de dados em um banco de dados relacional porque o banco de dados desenvolverá um gargalo. Esses aplicativos normalmente suportam apenas pequenos sistemas que não pode lidar com big data. O Google resolveu este problema com o modelo de programação MapReduce. O algoritmo MapReduce executa as seguintes funções. Dividir um grande trabalho em partes menores. Executando trabalhos menores de forma independente. Integrando resultados em um único conjunto de dados. Se você tem um grande problema para resolver, então você pode dividir o algoritmo em várias tarefas menores, e cada tarefa é executada independentemente em infraestrutura distribuída. O Hadoop foi projetado para executar o algoritmo MapReduce. Os sistemas Hadoop executam o algoritmo MapReduce, que divide o trabalho em várias pequenas tarefas. Ele processa os dados em paralelo, significando que essas tarefas menores são realizadas simultaneamente para que possa realizar análises estatísticas em grandes quantidades de dados de uma só vez. Outros benefícios de usar a arquitetura Hadoop é que ele pode nos ajudar a lidar com uma situação onde se um nó falhar, então outro nó cuidará do processamento. O Hadoop pode processar os dados até o tamanho de um petabyte em paralelo. Ele também fornece uma solução de escalabilidade, o que significa que o nó pode ser adicionado dinamicamente para processar mais dados. O sistema de arquivos distribuídos Hadoop fornece confiabilidade, escalabilidade e disponibilidade. Os dados são replicados em todo o sistema para processamento em um banner distribuído. Os arquivos são distribuídos em grandes blocos e são replicados para permitir leituras paralelas otimizadas. Com o MapReduce, o Hadoop executa o trabalho usando os dados armazenados no sistema de arquivos distribuído usando o algoritmo MapReduce. Ele nos ajuda a fazer cálculos de forma eficiente com os dados armazenados. Apache Pig é um projeto de código aberto que é construído em cima de algoritmos MapReduce. Ele nos ajuda a criar o programa de análise de dados. Você pode analisar os grandes conjuntos de dados usando o Apache Pig. Também nos ajuda a exibir os dados como fluxos de dados. Você precisa escrever o programa de análise de dados usando a linguagem Pig, e este programa será convertido em mapear e reduzir tarefas internamente. Existem vários benefícios de usar o Pig. É semelhante à linguagem de consulta estruturada. Se você conhece a linguagem de consulta, então é fácil pegar essa linguagem. Ele suporta operadores como joins e sorting, semelhante ao banco de dados relacional. Ele pode lidar com dados estruturados e não estruturados. Apache Pig é uma linguagem de alto nível construído na camada de abstração MapReduce. O MapReduce pode ser difícil de aprender em comparação com o Apache Pig, mas sendo um especialista em programação Java pode ajudar a aprender. O Apache Pig também permite que você escreva scripts de amostra que já está compilado e vai gerar o trabalho MapReduce internamente. O trabalho MapReduce requer um tempo de compilação mais longo e permite que os desenvolvedores armazenem os dados em qualquer lugar do pipeline. Ele fornece as bibliotecas que nos permitem criar os trabalhos de extração, transformação e carregamento. Aqui estão alguns dos usos mais comuns para o Apache Pig. Converta dados em formato parquet. Pesquise arquivos de log dos petabytes de dados. Processe dados de grande porte e gere agregados. Execute a conversão de imagem. Apache Hive também é uma plataforma para gerar operações MapReduce. O Hive oferece suporte para consultas ad hoc para gerar agregados de dados e também fornece várias técnicas que ajudam com a análise de grandes conjuntos de dados. Ele suporta linguagem semelhante para a linguagem de consulta do SQL Server. O Hive geralmente funciona bem com dados estruturados comparado ao Apache Pig e funciona em diferentes tipos de dados, como estruturadas, não estruturadas e semiestruturadas. Hive nos permite escrever o script usando HiveQL, um processamento de consulta e linguagem declarativa.

Principiante Fornecedor : Chintan Thakkar 4 lições · 18m em Árabe, Alemão, Inglês, Espanhol, Francês, Português, Urdu, Chinese

Descrição do curso

Para processares Big Data, precisas de uma aplicação centralizada que permita enviares e armazenares dados em um banco de dados relacional. Neste curso de Big Data Systems and Analytics, aprenderás sobre sistemas de armazenamento projetados para Big Data como o Hadoop e sua arquitetura, que inclui o Hadoop Distributed File System, MapReduce e diferentes tipos de nós disponíveis.

O Hadoop Distributed File System oferece confiabilidade, escalabilidade e disponibilidade. Com o MapReduce, o Hadoop executa o trabalho com os dados armazenados no Distributed File System e ajuda os usuários a fazer cálculos. O Apache Pig é construído sobre algoritmos MapReduce. Ele ajuda os usuários a criar o programa de análise de dados e analisar grandes conjuntos de dados. Este curso explicará o processo de como executar anyltics de Big Data no Hadoop.

Objectivos de aprendizado:

O Que Você Vai Aprender

Identificar as funções dos algoritmos MapReduce
Explicar o que é o Sistema de Arquivos Distribuído Hadoop (HDFS) e sua relação com Big Data
Listar os usos mais comuns do Apache Pig
Lembrar dos nós na arquitetura HDFS
Explicar as etapas para criar arquivos em HDFS
Descrever como executar análises de Big Data no Hadoop

Principais Conclusões

O processamento de Big Data requer uma aplicação centralizada que permite enviar e armazenar dados em um banco de dados relacional.
Hadoop é um sistema de armazenamento projetado para Big Data, com uma arquitetura que inclui o Sistema de Arquivos Distribuído Hadoop, MapReduce e diferentes tipos de nós disponíveis.
O Sistema de Arquivos Distribuído Hadoop fornece confiabilidade, escalabilidade e disponibilidade.
Com MapReduce, o Hadoop executa trabalhos usando dados armazenados no Sistema de Arquivos Distribuído e ajuda os usuários a fazer computações.
Apache Pig é construído sobre os algoritmos MapReduce e ajuda os usuários a criar programas de análise de dados e analisar grandes conjuntos de dados.

Perguntas Frequentes

O que este curso abrange?

O curso abrange sistemas de armazenamento projetados para Big Data como Hadoop e sua arquitetura, incluindo o Sistema de Arquivos Distribuído Hadoop, MapReduce e diferentes tipos de nós disponíveis, bem como Apache Pig e o processo de execução de análises de Big Data no Hadoop.

O que é o Sistema de Arquivos Distribuído Hadoop e por que é importante para Big Data?

O Sistema de Arquivos Distribuído Hadoop fornece confiabilidade, escalabilidade e disponibilidade, e o curso explica o que é e sua relação com Big Data.

Para que o Apache Pig é usado de acordo com este curso?

Apache Pig é construído sobre os algoritmos MapReduce e ajuda os usuários a criar programas de análise de dados e analisar grandes conjuntos de dados; o curso também lista seus usos mais comuns.

Quais habilidades vou ganhar com este curso?

Você ganhará habilidades em Big Data, Big Data Analytics, Data Processing Systems, Database Systems, Sistema de Arquivos Distribuído Hadoop (HDFS) e Oracle Big Data.

Quais tópicos são ensinados nas lições?

As lições incluem Introdução ao Hadoop, Arquitetura do Hadoop, Como Executar Análises de Big Data no Hadoop e HDFS e o Algoritmo MapReduce.