(música suave) O que exatamente é big data? Big data significa grandes quantidades de dados que crescem exponencialmente ao longo do tempo. Devido ao seu grande tamanho, big data não pode ser armazenado em plataformas de banco de dados tradicionais. Então você precisará explorar diferentes maneiras para armazená-lo e processá-lo. Aqui estão algumas maneiras pelas quais o big data é usado. Mídia social. Se você contar fotos, vídeos e mensagens, então pelo menos 100 terabytes de dados por hora ou mais são carregados em sites de mídia social todos os dias, análises de aeronaves aéreas, empresas de fabricação de aeronaves geralmente têm contratos com companhias aéreas para manutenção de aeronaves. As empresas têm análises que precisam ser executadas sobre os dados gerados pela aeronave voadora. O tamanho dos dados geralmente é de 10 terabytes por hora ou mais. Análise de turbinas, empresa de fabricação de turbinas tem contrato com usinas que estão transmitindo os dados que são inseridos na análise. A análise gera uma saída que pode exibir informações e alertas totalizando cerca de 80 terabytes por mês. Todos os casos acima são exemplos perfeitos de uso de big data. Não é possível processar ou armazenar os dados usando o modelo de banco de dados relacional tradicional nestes exemplos. Portanto, outras soluções devem ser encontradas. Os principais fatores que impulsionam o crescimento de big data incluem aprendizado de máquina, inteligência artificial, análise preditiva e alertas de fraude em tempo real. Existem três tipos de big data, dados estruturados. Esse tipo de dados geralmente utiliza uma linha ou formato de coluna é fácil de armazenar e pesquisa e é altamente organizado. Pode ser armazenado em bancos de dados relacionais como Postgre SQL ou SQL Server. Suporta vários formatos predefinidos e análise quantitativa e é frequentemente usado em áreas como atendimento ao cliente ou sistemas de folha de pagamento de funcionários. Dados não estruturados. Estima-se que até 90% dos dados não sejam estruturados. Esse tipo de dados contém um modelo sem esquema. Não tem nenhum modelo predefinido e requer tratamento especial para armazenamento de dados. Ele contém vários arrays de formatos e a fonte de dados pode ser de dispositivos móveis, e-mail ou páginas da web. Este tipo de dados também é mais qualitativo comparado com dados estruturados. E você precisa ter armazenamento de dados especial para ele em vez de um banco de dados relacional. Não é possível exibir esses dados em formato de linha ou coluna devido à estrutura dos dados. Dados semiestruturados, este tipo de dados tem uma estrutura que não está formatada em tabelas como dados estruturados. No entanto, ainda é organizado através de um método diferente normalmente tags ou outros indicadores. Também pode ser chamado de estrutura autodescritiva e é mais comumente usado em bancos de dados orientados a objetos. É particularmente importante planejar como estruturar uma grande quantidade de dados. Você pode converter as informações em dados para aproveitar dos grandes conjuntos de dados. Um exemplo de um varejista online aproveitando de grandes conjuntos de dados pode ser quando o varejista coleta dados do padrão de compra de um usuário, então começa a mostrar os anúncios como, um item complementar comumente comprado junto com um item o cliente já comprou, alertas de redução de preço para itens, o cliente frequentemente comprava ou exibir anúncios em sites sua base de clientes visita com frequência. Todas essas informações são geradas a partir da análise o varejista on-line usa, a análise é executada usando big data. Em seguida, novos dados são gerados para aumentar as vendas da empresa. O uso de big data exige que pensemos sobre como armazenar big data, como dimensionar o armazenamento e torná-lo altamente disponível. Como aumentar o poder de processamento de dados, como entender os diferentes tipos de dados disponíveis, como diferenciar entre gerado por máquina e dados gerados por humanos e como processar grandes conjuntos de dados de diferentes fontes de dados ou fontes de dados de streaming em tempo real.