Usos e considerações adicionais da nuvem pública

Name: Usos e considerações adicionais da nuvem pública
Author: Chintan Thakkar

Big Data são conjuntos de dados maiores e mais complexos geralmente de novas fontes de dados e podem ser tão volumosos que o software de processamento não…

Preview the first lesson free — get full access to all 4 lessons.

Solicitar uma demonstração Entrar

Curso: sob demanda

(música pulsante) Bem-vindo à Nuvem Pública Usos e Considerações Adicionais. Nestas lições, você aprenderá sobre big data e como executar big data na nuvem pública. Você também explorará o aprendizado de máquina bem como serviços disponíveis na nuvem pública que suportam casos de uso de aprendizado de máquina. A nuvem pública oferece diferentes maneiras para dimensionar recursos de nuvem sob carga, e você aprenderá sobre dimensionamento vertical e horizontal, juntamente com várias técnicas de redução de custos na nuvem pública. Vamos começar. As empresas estão coletando continuamente grandes conjuntos de dados. A nuvem pública é útil para ajudá-los a armazenar big data, analisá-lo e gerar resultados significativos dos conjuntos de dados. O gráfico a seguir descreve o crescimento de não estruturados ou dados indefinidos em comparação com dados estruturados, claramente definidos e pesquisáveis. Você precisa revisar a arquitetura de big data e garantir que os dados sejam armazenados na plataforma certa. A nuvem pública fornece vários serviços para armazenar big data e, em seguida, execute o caso de uso de análise nele. Ele também fornece serviços que podem executar análises de big data e gerar visualizações. As fontes de big data incluem mídias sociais, imagens, vídeos, dados de sistemas de segurança, os dados dos dispositivos da Internet das Coisas, logs do servidor, e logs de auditoria de aplicativos. A análise de big data pode ser executada na plataforma Hadoop. A plataforma Hadoop suporta execução paralela, pode quebrar um trabalho e executá-lo em várias partes simultaneamente, e apoiar políticas de expansão. A desvantagem é que a configuração do Hadoop e manutenção são muito complexos e requerem habilidades especiais. Uma ideia melhor é mover todo o fluxo de trabalho de big data para uma nuvem pública. A nuvem pública fornece uma infraestrutura de computação massiva com um modelo pay-per-use e tem opções para armazenamento elástico. Se você vai receber grandes conjuntos de dados, então você pode aumentar ou diminuir o tamanho do armazenamento também. Vamos levar alguns minutos para entender arquitetura de streaming na nuvem pública. Um fluxo de dados ao vivo chega por meio do ponto de dados do Amazon Kinesis. O Elastic MapReduce tem a análise de big data que ele será executado ao vivo e, em seguida, gerará a saída. Você pode criar a visualização a partir das informações que ele gera. O Elastic MapReduce é um serviço gerenciado disponível com Amazon Web Services. Você pode configurar e iniciar o cluster com base em suas necessidades em poucos minutos. Uma vantagem adicional é o baixo custo porque você só paga o custo por hora para os recursos de nuvem. Por exemplo, se você deseja executar análises em lote, então você pode criar o cluster, executar análises, e encerre o cluster sem pagar extra. Você também pode usar instâncias spot no Elastic MapReduce, que proporcionará economias adicionais para sua organização. Você também tem a opção de usar os nós ondemand com nós spot. Por exemplo, se você deseja executar a análise que produz a saída necessária, use o número definido de instâncias de computação. Você pode adicionar capacidade ao cluster existente com instâncias pontuais, ou você pode adicionar ou remover as instâncias com base na necessidade dentro do cluster. Existem vários tipos de instâncias diferentes disponível no cluster, e você tem a opção de escolher qualquer dispositivo de instância com base em seus requisitos de análise. O Elastic MapReduce pode ler diretamente de diversas fontes, como serviços de armazenamento simples, stream do Kinesis etc.? Você pode usar o sistema de arquivos Elastic MapReduce ou EMRFS com um serviço de armazenamento. Serviços de armazenamento simples ou S3, fornece armazenamento durável e confiável para seus dados não estruturados, bem como executar análises e armazenar os dados. Aqui está outro caso de uso. Você pode processar 100 terabytes de dados usando a arquitetura de processamento em lote do Elastic MapReduce pelo qual os dados são enviados para serviços de armazenamento simples. O Amazon Web Services Elastic MapReduce executa a análise e gera a saída. E então a saída é armazenada no S3 também. Vamos aplicar isso a um caso de uso da vida real. Imagine que você está trabalhando para uma empresa que leva um contrato de serviço para grandes máquinas. Todas as máquinas estão transmitindo os dados para o seu data center. Você escreveu várias análises que podem analisar os dados do lote e gerar um alerta para interrupções. Você precisa migrar este caso de uso analítico para a nuvem pública. Portanto, você deve executar as seguintes ações: Carregar dados para o S3. O Elastics MapReduce classifica e agrega os dados. Carregue os dados no Redshift, o serviço de armazenamento de dados gerenciado disponível na nuvem pública. E use uma ferramenta de visualização para ler os dados de entrada do Redshift ou outro serviço de data warehouse gerenciado e exibir a visualização.

Principiante Fornecedor : Chintan Thakkar 4 lições · 18m em Árabe, Alemão, Inglês, Espanhol, Francês, Português, Chinese

Descrição do curso

Big Data são conjuntos de dados maiores e mais complexos geralmente de novas fontes de dados e podem ser tão volumosos que o software de processamento não consegue lidar com eles. A infraestrutura em nuvem pode ser projectada para processar e interpretar Big Data em tempo real. Nestas lições, aprenderás o conceito de Big Data e como executares casos de uso de Big Data na nuvem pública. Também aprenderás a executar casos de uso de machine learning para a nuvem pública.

Objectivos de aprendizado:

O Que Você Vai Aprender

Executar casos de uso de Big Data na nuvem pública
Aplicar casos de uso de aprendizado de máquina para a nuvem pública
Projetar aprendizado de máquina genérico para arquitetura de nuvem pública
Dimensionar recursos de nuvem e definir requisitos de auto-dimensionamento
Reduzir custos em infraestrutura de nuvem pública

Principais Conclusões

Big Data refere-se a conjuntos de dados maiores e mais complexos, geralmente de novas fontes de dados, que podem ser tão volumosos que o software de processamento é incapaz de lidar com eles.
A infraestrutura de nuvem pode ser projetada para processar e interpretar Big Data em tempo real.
O curso cobre a execução de casos de uso de Big Data e aprendizado de máquina na nuvem pública.
Arquitetura escalável envolve definir requisitos de auto-dimensionamento na nuvem pública.
A infraestrutura de nuvem pública pode ser configurada para reduzir custos.

Perguntas Frequentes

O que este curso cobre?

Cobre o conceito de Big Data, como executar casos de uso de Big Data na nuvem pública, como executar casos de uso de aprendizado de máquina para a nuvem pública, como dimensionar recursos de nuvem e como reduzir custos na nuvem pública.

O que é Big Data conforme definido neste curso?

Big Data são conjuntos de dados maiores e mais complexos geralmente de novas fontes de dados que podem ser tão volumosos que o software de processamento é incapaz de lidar com eles.

Que habilidades vou ganhar com este curso?

Você ganhará habilidades em Big Data, Big Data Analytics, Cloud Applications, Cloud Infrastructure, Cloud Services e Public Cloud.

Que lições estão incluídas neste curso?

As lições são: Como Executar Big Data na Nuvem Pública; Aprendizado de Máquina Genérico e Como Projetá-lo para Arquitetura de Nuvem Pública; Arquitetura Escalável e Definição de Requisitos de Auto-Dimensionamento na Nuvem Pública; e Redução de Custos na Infraestrutura de Nuvem Pública.

Como a infraestrutura de nuvem pode lidar com Big Data?

A infraestrutura de nuvem pode ser projetada para processar e interpretar Big Data em tempo real.