Workshop Big Data: “Construyendo un Data Lake en AWS”

El concepto de Big Data cada vez toma más fuerza a nivel Empresarial y Comercial en Chile. Más y más Compañías desean aprovechar todo el potencial que existe en sus datos, y es por esta razón que AWS Chile y Morris & Opazo (Partner Advanced especialista en Big Data) organizaron este viernes 9 de Noviembre durante la mañana el Workshop “Construyendo un Data Lake en AWS”, el cual se llevó a cabo en las oficinas de Amazon Web Services en Chile, demostrando todos sus conocimientos reconocidos durante la premiación de APN.

Por parte de AWS la capacitación estuvo a cargo de Jesús Federico (https://www.linkedin.com/in/jesusf/), Solutions Architect de AWS Chile, quien durante la primera jornada del Workshop presentó de manera clara y concisa qué es AWS y los aspectos fundamentales de la Nube de AWS; cuáles sus principales servicios, las Mejores Prácticas de la Arquitectura de la Nube y los distintos enfoques para implementar Arquitecturas en AWS, el Modelo de Responsabilidad Compartida, las Regiones y Zonas de Disponibilidad en AWS.

Categorías de servicios disponibles en la Nube de AWS

Categorías de servicios disponibles en la Nube de AWS


Esta primera parte fue primordial y le permitió a los asistentes al evento (entre los que se encontraban Jefes y Gerentes de Tecnología de Forum, SmartHomy, DIN S.A., Maisasa, Entel, Grupo CGE, WOM, Facenote y abcdin) comenzar a generar inquietudes con respecto a cómo la Computación en la Nube de AWS, las características Serverless y los diferentes servicios de AWS podrían beneficiar las diferentes áreas de su compañía.

Muy contento de esta invitación al evento. La verdad es muy constructivo ir aprendiendo, no sólo de lo que digamos es AWS, sino de su partner. ¡Así que muy agradecido!" (Luis Contreras, Compañía General de Electricidad S.A.)

Muy contento de esta invitación al evento. La verdad es muy constructivo ir aprendiendo, no sólo de lo que digamos es AWS, sino de su partner. ¡Así que muy agradecido!” (Luis Contreras, Compañía General de Electricidad S.A.)


Durante el break de la jornada, los asistentes pudieron relacionarse entre ellos y a la vez resolver dudas e inquietudes con los expositores del Workshop.

Eliana Correa, Greenfield Sales AWS Chile, compartiendo experiencias con los asistentes al Workshop "Construyendo un Data Lake en AWS"

Eliana Correa, Greenfield Sales AWS Chile, compartiendo experiencias con los asistentes al Workshop “Construyendo un Data Lake en AWS”

 

 Durante el break del Worskhop fue posible encontrarse con los conocimientos y lecciones aprendidas de nuestro Especialista en Big Data, Marcelo Rybertt

Durante el break del Worskhop fue posible encontrarse con los conocimientos y lecciones aprendidas de nuestro Especialista en Big Data, Marcelo Rybertt

 

Una de las potencialidades de los Workshop de AWS y Morris & Opazo: Resolver dudas e inquietudes de manera personalizada (derecha = Jesús Federico, Solutions Architect de AWS Chile; izquierda = Luis Contreras, Jefe de Tecnología de CGE).

Una de las potencialidades de los Workshop de AWS y Morris & Opazo: Resolver dudas e inquietudes de manera personalizada (derecha = Jesús Federico, Solutions Architect de AWS Chile; izquierda = Luis Contreras, Jefe de Tecnología de CGE).


Esta introducción sirvió también como antesala para que en la segunda parte del Workshop Marcelo Rybertt, nuestro Country Manager, expusiera de manera detallada qué es Big Data, qué es un Data Lake, cuál es su Flujo de Datos, y cuáles son los servicios y herramientas que nos proporciona AWS para los distintos componentes del flujo de datos.

Para concluir la capacitación, William Guzmán (Jefe de Servicios y Operaciones de Morris & Opazo) presentó en tiempo real 3 de los múltiples casos de uso en los que Big Data puede respaldar las operaciones de una Empresa. Estos fueron:

 Big Data no fue el único protagonista del Workshop. Marcelo Rybertt explicó también qué es Dark Data y el por qué es importante tenerla en consideración

Big Data no fue el único protagonista del Workshop. Marcelo Rybertt explicó también qué es Dark Data y el por qué es importante tenerla en consideración


Análisis en Tiempo Real de Sentimiento en Redes Sociales:

Twitter provee una excelente oportunidad de poner a prueba el concepto de Stream de Datos. Durante el Workshop se pidió a los asistentes que publicaran Tweets con ciertas palabras que serían reconocidas por una aplicación de Twitter.

Previamente en una instancia EC2 se ejecutó una aplicación en Nodejs que ‘escuchaba’ los tweets generados y seleccionaba los que contenían las palabras clave configuradas. Una vez se detectaban los tweets, esta aplicación en Nodejs alimentaba un flujo de datos en Amazon Kinesis el cual enviaba a un bucket de S3 los tweets sin realizar hasta ese instante ningún tipo de análisis.

Una vez se almacenaba un objeto en el Data Lake se ‘disparaba’ una función en AWS Lambda que, apoyada en Amazon Comprehend, identificaba las entidades de cada tweet y realizaba un análisis de sentimiento. Si el idioma original del tweet era diferente al inglés, la función Lambda utilizaba Amazon Translate para generar la traducción hacia este idioma. El resultado de estos 3 análisis (entidades, sentimientos y traducción) se almacenaba de nuevo en el Data Lake (en buckets diferentes).

Amazon Athena era la encargada de analizar los datos no estructurados generados por la función Lambda, y hacía que esta información estuviera disponible para cualquier consumidor. El elegido para el Workshop fue Amazon Quicksight, en el cual los asistentes podían ver cómo los tweets que ellos mismos habían generado durante la sesión aparecían en las diferentes secciones del dashboard:

  • Tipos de Entidades más mencionadas
  • Sentimientos por minuto
  • Texto original, traducción y sentimiento de cada tweet
  • Localización geográfica del tweet

Jesús Federico, Solutions Architect de AWS Chile, explicando a la audiencia los conceptos básicos de la Nube de AWS.

Jesús Federico, Solutions Architect de AWS Chile, explicando a la audiencia los conceptos básicos de la Nube de AWS.


Análisis de Audio de las Llamadas de un Call Center con Machine learning

Por medio de un dashboard implementado en Kibana, las empresas asistentes al Workshop vieron cómo diversos archivos de audio eran procesados y analizados para identificar en ellos las palabras clave, entidades, textos , datos y metadatos que contenía cada uno de ellos. Con esto pudieron evidenciar una de las Mejores Prácticas para Arquitecturas de la Nube, ya que no existe un acoplamiento rígido entre cada componente del flujo de datos (para este caso de uso se empleó Kibana como consumidor del Data Lake, sistema diferente al caso anterior pero basado en S3 como Data Lake).


Reconocimiento de Imágenes y Video usando Machine Learning

Los asistentes al evento pudieron observar cómo un sistema apoyado en Amazon Rekognition era entrenado cargando una foto de una persona, para luego identificar en un video o foto diferente si se encontraba o no el rostro de la persona con la que se había entrenado el sistema.

No sólo era posible encontrar este tipo de coincidencias. Adicional a esto, Rekognition entregaba información detallada sobre las etiquetas, rasgos, características y celebridades del video o foto en tiempo real.

Son precisamente este tipo de actividades las que permiten que AWS y Morris & Opazo puedan acercar a las Empresas todo el potencial que tiene la Computación en la Nube, en este caso en particular, el valor agregado que tienen las soluciones Big Data. Pero sobre todo, nos permiten escuchar ‘de primera mano’ las inquietudes que generan temas técnicos abordados de manera presencial, práctica y colaborativa. A todos los asistentes, ¡mil gracias por su activa participación en nuestro Workshop!

 

La activa participación de los asistentes fue vital durante todo el desarrollo del Workshop "Construyendo un Data Lake en AWS”

La activa participación de los asistentes fue vital durante todo el desarrollo del Workshop “Construyendo un Data Lake en AWS”


Texto:
Morris & Opazo / WG

Microsoft Partner