(música pulsante) Bienvenido a la nube pública Usos y consideraciones adicionales. En estas lecciones, aprenderá sobre big data y cómo ejecutar big data en la nube pública. También explorará el aprendizaje automático así como servicios disponibles en la nube pública que admiten casos de uso de aprendizaje automático. La nube pública ofrece diferentes formas para escalar los recursos de la nube bajo carga, y aprenderá sobre la escala vertical y horizontal, junto con varias técnicas de reducción de costos en la nube pública. Empecemos. Las empresas recopilan continuamente grandes conjuntos de datos. La nube pública es útil para ayudarlos a almacenar grandes datos, analizarlo y generar resultados significativos de los conjuntos de datos. El siguiente gráfico describe el crecimiento de los no estructurados o datos no definidos en comparación con datos estructurados, claramente definidos y buscables. Necesitas revisar la arquitectura de big data y garantizar que los datos se almacenen en la plataforma correcta. La nube pública proporciona varios servicios para almacenar big data y luego ejecute el caso de uso de análisis en él. También proporciona servicios que pueden ejecutar análisis de big data. y generar visualizaciones. Las fuentes de big data incluyen las redes sociales, imágenes, videos, datos de sistemas de seguridad, Internet de las cosas datos de dispositivos, registros del servidor, y registros de auditoría de aplicaciones. El análisis de Big Data se puede ejecutar en la plataforma Hadoop. La plataforma Hadoop admite la ejecución en paralelo, puede romper un trabajo y ejecutarlo en múltiples partes simultáneamente, y admitir políticas de escalamiento horizontal. La desventaja es que la configuración de Hadoop y el mantenimiento son muy complejos y requieren habilidades especiales. Una mejor idea es mover todo el flujo de trabajo de big data a una nube pública. La nube pública proporciona una infraestructura informática masiva con un modelo de pago por uso y tiene opciones para almacenamiento elástico. Si va a recibir grandes conjuntos de datos, entonces puedes aumentar o disminuir el tamaño del almacenamiento también. Tomemos unos minutos para entender arquitectura de streaming en la nube pública. Entra un flujo de datos en vivo a través del punto de datos de Amazon Kinesis. El Elastic MapReduce tiene el análisis de big data que se ejecutará en vivo y luego generará la salida. Puede crear la visualización a partir de la información. que genera. El Elastic MapReduce es un servicio administrado disponible con Servicios web de Amazon. Puede configurar y lanzar el clúster. en función de sus necesidades en unos minutos. Una ventaja adicional es su bajo costo porque solo paga el costo por hora de los recursos de la nube. Por ejemplo, si desea ejecutar análisis por lotes, luego puede crear el clúster, ejecutar análisis, y finalice el clúster sin pagar extra. También puede usar instancias puntuales en Elastic MapReduce, lo que proporcionará ahorros adicionales para su organización. También tienes la opción de usar los nodos bajo demanda con nodos puntuales. Por ejemplo, si desea ejecutar el análisis que produce la salida requerida, usar el número establecido de instancias informáticas. Puede agregar capacidad al clúster existente con instancias puntuales, o puede agregar o eliminar las instancias en función de la necesidad dentro del clúster. Hay varios tipos de instancias diferentes disponible en el clúster, y tiene la opción de elegir cualquier dispositivo de instancia en función de sus requisitos analíticos. El Elastic MapReduce puede leer directamente de una variedad de fuentes diferentes, como servicios de almacenamiento simples, Kinesis stream, etcétera? Puede usar el sistema de archivos Elastic MapReduce o EMRFS con servicio de guardamuebles. Servicios de almacenamiento simple o S3, proporciona un almacenamiento duradero y fiable para sus datos no estructurados, así como ejecutar análisis y almacenar los datos. Aquí hay otro caso de uso. Puede procesar 100 terabytes de datos utilizando la arquitectura de procesamiento por lotes de Elastic MapReduce mediante el cual los datos se envían a servicios de almacenamiento simples. Amazon Web Services Elastic MapReduce ejecuta el análisis y genera la salida. Y luego la salida también se almacena en el S3. Apliquemos esto a un caso de uso de la vida real. Imagina que estuvieras trabajando para una empresa. eso requiere un contrato de servicio para máquinas grandes. Todas las máquinas transmiten los datos a su centro de datos. Ha escrito varias analíticas que pueden analizar los datos del lote y generar una alerta de cortes. Debe migrar este caso de uso analítico a la nube pública. Por lo que deberás realizar las siguientes acciones: Subir datos al S3. Elastics MapReduce ordena y agrega los datos. Cargue los datos en Redshift, el servicio de almacenamiento de datos administrado disponible en la nube pública. Y usa una herramienta de visualización. para leer los datos de entrada de Redshift u otro servicio de almacenamiento de datos administrado y mostrar la visualización.