Workshop Big Data: «Construyendo un Data Lake en AWS»
El concepto de Big Data cada vez toma más fuerza a nivel Empresarial y Comercial en Chile. Más y más Compañías aprovechan todo el potencial que existe en sus datos, y es por esta razón que AWS Chile y Morris & Opazo (Partner Advanced especialista en Big Data) organizan este viernes 9 de noviembre durante la mañana el Workshop «Construyendo un Data Lake en AWS», el cual se llevó a cabo en las oficinas de Amazon Web Services en Chile, demostrando todos sus conocimientos reconocidos durante la premiación de APN. Por parte de AWS la capacitación estuvo a cargo de Jesús Federico ( https://www.linkedin.com/in/jesusf/ ), Solutions Architect de AWS Chile, quien durante la primera jornada del Workshop presentó de manera clara y concisa qué es AWS y los aspectos fundamentales de la Nube de AWS; características de sus principales servicios, las Mejores Prácticas de la Arquitectura de la Nube y los distintos enfoques para implementar Arquitecturas en AWS, el Modelo de Responsabilidad Compartida, las Regiones y Zonas de Disponibilidad en AWS. Esta primera parte fue primordial y le permitió a los asistentes al evento (entre los que se encontraron Jefes y Gerentes de Tecnología de Forum, SmartHomy, DIN SA, Maisasa, Entel, Grupo CGE, WOM, Facenote y abcdin) comenzó a generar inquietudes con Respecto a cómo la Computación en la Nube de AWS, las características Serverless y los diferentes servicios de AWS podrían beneficiarse de las diferentes áreas de su compañía. Durante el descanso de la jornada, los asistentes podrán relacionarse entre ellos ya la vez resolver dudas e inquietudes con los expositores del Workshop. Esta introducción debido también como antesala para que en la segunda parte del Workshop Marcelo Rybertt, nuestro Country Manager, expusiera de manera detallada qué es Big Data, qué es un Data Lake, cuál es su Flujo de Datos, y cuáles son los servicios y herramientas que nos proporciona AWS para los distintos componentes del flujo de datos. Para concluir la capacitación, William Guzmán (Jefe de Servicios y Operaciones de Morris & Opazo) presentó en tiempo real 3 de los múltiples casos de uso en los que Big Data puede respaldar las operaciones de una Empresa. Estos fueron: Análisis en Tiempo Real de Sentimiento en Redes Sociales: Twitter proporciona una excelente oportunidad de poner a prueba el concepto de Stream de Datos. Durante el Workshop se pidió a los asistentes que publicaran Tweets con ciertas palabras que serían reconocidas por una aplicación de Twitter. Previamente en una instancia EC2 se ejecutó una aplicación en Nodejs que ‘escuchaba’ los tweets generados y seleccionaba los que contenían las palabras clave configuradas. Una vez se detectaron los tweets, esta aplicación en Nodejs alimentó un flujo de datos en Amazon Kinesis el cual enviaba a un bucket de S3 los tweets sin realizar hasta ese instante ningún tipo de análisis. Una vez se almacenó un objeto en el Data Lake se ‘disparaba’ una función en AWS Lambda que, apoyada en Amazon Comprehend, identificaba las entidades de cada tweet y realizaba un análisis de sentimiento. Si el idioma original del tweet era diferente al inglés, la función Lambda utilizaba Amazon Translate para generar la traducción hacia este idioma. El resultado de estos 3 análisis (entidades, sentimientos y traducción) se almacenó de nuevo en el Data Lake (en cubos diferentes). Amazon Athena era la encargada de analizar los datos no estructurados generad os por la función Lambda, y hacía que esta información estuviera disponible para cualquier consumidor. El elegido para el Workshop fue Amazon Quicksight, en el cual los asistentes pudieron ver cómo los tweets que ellos mismos generaron durante la sesión aparecieron en las diferentes secciones del dashboard: Tipos de Entidades más mencionadas Sentimientos por minuto Texto original, traducción y sentimiento de cada tuit Localización geográfica del tuit Análisis de Audio de las Llamadas de un Call Center con Machine learning Por medio de un tablero implementado en Kibana, las empresas asistentes al Workshop vieron cómo diversos archivos de audio eran procesados y analizados para identificar en ellos las palabras clave, entidades, textos, datos y metadatos que contenían cada uno de ellos. Con esto podría evidenciar una de las Mejores Prácticas para Arquitecturas de la Nube, ya que no existe un rígido endurecimiento entre cada componente del flujo de datos (para este caso de uso se empleó Kibana como consumidor del Data Lake, sistema diferente al caso anterior pero basado en S3 como Data Lake). Reconocimiento de Imágenes y Video usando Machine Learning Los asistentes al evento podrán observar cómo un sistema apoyado en Amazon Rekognition estaba cargando una foto de una persona, para luego identificarse en un video o foto diferente si se encontró o no el rostro de la persona con la que se había operado el sistema. No sólo era posible encontrar este tipo de coincidencias. Adicional a esto, Rekognition entregó información detallada sobre las etiquetas, rasgos, características y celebridades del video o foto en tiempo real. Son precisamente este tipo de actividades las que permiten que AWS y Morris & Opazo puedan acercar a las Empresas todo el potencial que tiene la Computación en la Nube, en este caso en particular, el valor agregado que tienen las soluciones Big Data. Pero sobre todo, nos permiten escuchar ‘de primera mano’ las inquietudes que generan temas técnicos abordados de manera presencial, práctica y colaborativa. A todos los asistentes, ¡mil gracias por su activa participación en nuestro Workshop! Texto: Morris & Opazo / WG
ProChile, TerraBridge Partner y Morris & Opazo unen esfuerzos para establecer desarrollo comercial en Chicago
El mercado de Estados Unidos es uno de los más exigentes en el mundo de las Tecnologías de la Información. Las empresas que desean exportar sus servicios de Desarrollo de Software deben enfrentar toda una serie de desafíos que ponen a prueba sus operaciones y procesos para no fracasar en el intento. Son desafíos que requieren un acompañamiento profesional y con experiencia para lograr abrir una puerta en este mercado. Y esto es precisamente lo que sucedió el pasado 6 de noviembre en Chicago cuando Morris & Opazo, con la excelente asesoría y acompañamiento de ProChile, escribió un acuerdo para trabajar en conjunto con Terra Bridge para exportar Servicios Profesionales Chilenos en Desarrollo de Software a Estados Unidos . Terra Bridge es un proveedor líder de tecnología de la información y servicios de automatización de edificios. Con una experiencia inigualable en hospitalidad, multifamiliares y oficinas, Terra Bridge es una fuente ideal para el diseño de tecnología, instalación, gestión de proyectos y mantenimiento. Bajo la modalidad de “Joint Venture”, TechBridge administrará todos los aspectos de los esfuerzos de desarrollo de negocios de entrada al mercado en Chicago. TerraBridge y Morris & Opazo trabajarán juntas en la estrategia de desarrollo comercial con todos los socios y organizaciones relevantes en la comunidad de inversión comercial internacional en dicha ciudad. Entre estas organizaciones se encuentra la Incubadora Digital 1871. Fundada en 2012, 1871 ( https://1871.com/ ) fue creada para apoyar la comunidad digital de Chicago. Desde ese momento se ha convertido en el centro de actividades para el próspero ecosistema tecnológico y emprendedor de Chicago. Ahora es considerado como el ‘hogar’ de más de 500 startups digitales de alto crecimiento a nivel mundial. Morris & Opazo, a través de Terra Bridge, llegará también a la Cámara de Comercio Hispana de Illinois ( https://www.ihccbusiness.net/ ). Como la comunidad más grande de propietarios de negocios hispanos en Illinois y el Medio Oeste de los Estados Unidos, la Cámara de Comercio Hispana de Illinois representa a más de 70,000 empresas que contribuyen con más de $ 15 mil millones a la economía de los estados y brindaron más de 100,000 empleos en Illinois. Gracias a ProChile, Morris & Opazo ha podido concretar esta importante alianza. Esto ha permitido, entre otros logros, ampliar nuestro Staff de Ingenieros y así generar un impacto social positivo en la Región de la Araucanía en Chile. Las continuas actividades de formación y entrenamiento de nuestros Ingenieros nos ayudarán a llegar al nivel “Advanced Consulting Partner” de AWS, lo cual nos posiciona como Expertos Internacionales en la Nube en Latinoamérica. En este momento Morris & Opazo cuenta con un Plan de Trabajo con la Oficina Comercial de ProChile en Chicago para continuar con la dinámica lograda hasta el momento. Frutos de este dinamismo ha sido el poder participar en eventos en Chile en donde hemos podido aprender de sus respectivos asistentes, ya la vez mostrar la experiencia lograda con los proyectos realizados en el pasado y los que se encuentran en ejecución. «Actualmente encuentro que Chile se está transformando en una Economía Digital en Sudamérica ya Nivel Mundial, recibiendo grandes inversiones importantes. Y en línea con eso nuestra estrategia es apoyar a empresas como Morris & Opazo en su estrategia de Internacionalización y en Estados Unidos. Y estamos muy contentos de haber realizado este nexo con TerraBridge y Morris & Opazo aquí en Chicago», también Rodrigo Cid, Representante Comercial de ProChile en Chicago. Cuando una Institución del Gobierno deposita su confianza en una empresa para que represente a un país, se genera una alta expectativa con respecto a los resultados que dicha empresa pueda ofrecer. Se establece un lazo de confianza que involucra y compromete aún más a la empresa para continuar dando lo mejor de sí, en cada una de sus actividades, proyectos, entrenamientos y servicios ofrecidos. Esto es exactamente lo que sentimos en Morris & Opazo con este ‘voto de confianza’ que nos ofrecen ProChile y TerraBridge = Un respaldo a más de 10 años de trabajo y compromiso con nuestros clientes y su satisfacción. Texto: Morris & Opazo / WG height_on_mob_landscape=»10″ height_on_mob=» 10″][/vc_columna][/vc_fila]
ProChile, TerraBridge Partner and Morris & Opazo join efforts to establish a commercial development in Chicago
El mercado de Estados Unidos es uno de los más exigentes en el mundo de las Tecnologías de la Información. Las empresas que quieran exportar sus servicios de Desarrollo de Software deben enfrentarse a todo un conjunto de retos que ponen a prueba sus operaciones y procesos para no fracasar en el intento. Son desafíos que requieren de un acompañamiento profesional y con experiencia para abrir una puerta en este mercado. Y esto es exactamente lo que sucedió el pasado 6 de noviembre en Chicago cuando Morris&Opazo, con la excelente asesoría y acompañamiento de ProChile, firmó un acuerdo para trabajar junto con Terra Bridge para exportar Servicios Profesionales Chilenos en Desarrollo de Software a Estados Unidos. Terra Bridge es un proveedor líder en tecnologías de la información de servicios de automatización de edificios. Con una experiencia inigualable en hospitalidad, viviendas multifamiliares y oficinas, Terra Bridge es una fuente llave en mano para todo el diseño, instalación, gestión de proyectos y mantenimiento de tecnología. Bajo la modalidad de “Joint Venture”, TechBridge brindará todos los aspectos de los esfuerzos de desarrollo comercial para ingresar al mercado y actuará como agente y socio de Morris & Opazo en Chicago. TerraBridge y Morris & Opazo trabajarán juntos en la estrategia de desarrollo comercial con todos los socios y organizaciones relevantes de la comunidad de inversión comercial internacional en esa ciudad. Entre estas organizaciones se encuentra Digital Incubator 1871. Fundada en 2012, 1871 ( https://1871.com/ ) fue creada para apoyar a la comunidad digital en Chicago. Desde ese momento se ha convertido en el centro de actividades del próspero ecosistema tecnológico y emprendedor de Chicago. Ahora es considerado el ‘hogar’ de más de 500 startups digitales de alto crecimiento a nivel mundial. Morris & Opazo, a través de Terra Bridge, también llegará a la Cámara de Comercio Hispana de Illinois ( https://www.ihccbusiness.net/ ). Como la comunidad más grande de dueños de negocios hispanos en Illinois y el Medio Oeste, la Cámara de Comercio Hispana de Illinois representa a más de 70,000 negocios que contribuyen con más de $15 mil millones a la economía del estado y brindan más de 100,000 empleos en Illinois. Gracias a ProChile, Morris & Opazo ha podido concretar esta importante alianza. Esto ha permitido, entre otros logros, incrementar nuestro Staff de Ingenieros y así generar un impacto social positivo en la Región de la Araucanía en Chile. Las actividades de formación y capacitación continua de nuestros Ingenieros nos ayudaron a obtener el nivel de “Advanced Consulting Partner” en AWS, lo que nos posicionó como Expertos Internacionales en la Nube en América Latina. En este momento Morris & Opazo tiene un Plan de Trabajo con la Oficina Comercial de ProChile en Chicago para continuar con la dinámica lograda hasta el momento. Consecuencias de este dinamismo ha sido participar en eventos en Chile donde hemos aprendido de sus respectivos asistentes, ya la vez mostrar la experiencia acumulada con los proyectos realizados en el pasado y con los que se encuentran en ejecución. “Actualmente veo que Chile se está convirtiendo en una Economía Digital en Sudamérica y a nivel Mundial, recibiendo inversiones muy importantes. Y alineado a esto nuestra estrategia es apoyar a empresas como Morris & Opazo en su estrategia de internacionalización y en Estados Unidos. Estamos muy contentos de haber hecho esta conexión con TerraBridge y Morris & Opazo aquí en Chicago”, afirmó Rodrigo Cid, Representante Comercial de ProChile en Chicago. Cuando una Institución Gubernamental confía en una empresa para representar a un país, se generan altas expectativas respecto a los resultados que esa empresa pueda ofrecer. Existe un vínculo de confianza que involucra y compromete aún más a la empresa a seguir dando lo mejor de sí, en cada una de sus actividades, proyectos, capacitaciones y servicios ofrecidos. Así nos sentimos en Morris & Opazo con este ‘vínculo de confianza’ que nos han brindado ProChile y TerraBridge = Un respaldo a más de 10 años de trabajo y compromiso con nuestros clientes y sus satisfacciones. Texto: Morris & Opazo / WG
Outstanding participation of Morris & Opazo in awarding of Amazon Web Services (AWS)
Durante el miércoles 7 de noviembre, en el marco del Summit Partner 2018 en Chile, Morris & Opazo, empresa especializada en brindar soluciones de negocios en el área de Tecnologías de la Información, fue galardonada con dos de los premios más importantes otorgados a sus socios, por Servicios web de Amazon. “Es un orgullo y un placer contar con socios disruptivos y estratégicos como Morris & Opazo”, una empresa que ha logrado hacer “cosas impresionantes” con clientes como Rimac Seguros en Perú, donde se logró establecer un primer Data lago, (…) usando servicios adicionales que son muy disruptivos (…). Es una arquitectura de clase mundial que demuestra que Morris & Opazo entiende perfectamente cómo garantizar el éxito y la transformación digital en los próximos años”, dijo Ruben Mugártegui, Head of Partners Organization, MCO at Amazon Web Services (Partners Area Leader). Ownership AwardRegarding this case for which the «Ownership» award was granted, one of the most important awards, Morris & Opazo Country Manager , Marcelo Rybertt highlighted that «this successful experience, of high value and the largest one so far in terms of human resources and business size, it is also a great customer for Amazon Web Services. They are an interesting and contagious user within the partner ecosystem because it has motivated and made known to other companies the effectiveness of the cloud services provided by AWS. « Learn and be Curious Award Sobre el reconocimiento obtenido por la empresa de origen chileno, “Learn and be Curious”, Rybertt explicó que este responde al “ADN de nuestra empresa, al impulso constante por conocer el valor que entregan los servicios, y cómo la gran caja de herramientas de AWS beneficia a nuestros clientes, este equipo tiene el compromiso de estar siempre a la vanguardia para ofrecer soluciones óptimas que generen valor.” Entre otras categorías ganadoras también se destacaron: Obsesión por el Cliente, Entregar Resultados y Ganar Confianza. Otros logros significativos Durante el evento también se expuso la amplia experiencia de Morris & Opazo en el área de BigData & Analytics en cuanto a ejecución de proyectos, servicios de consultoría, despliegue y optimización de soluciones sobre Amazon Web Services, específicamente para clientes de Latinoamérica. La experiencia de los equipos de trabajo así como el incremento del valor empresarial fue otro de los aspectos destacados durante este encuentro, en el que Morris & Opazo obtuvo una vez más un notorio reconocimiento gracias a su crecimiento sostenido. Durante este evento, realizado en el Hotel The Ritz-Carlton, en Santiago de Chile, también se tuvo la oportunidad de participar en diferentes charlas técnicas y comerciales, en las que se abordaron temas como programas, soluciones y nuevos servicios de la nube de AWS. Texto: Morris & Opazo / WG
Destacada participación de Morris & Opazo en premiación de Amazon Web Services (AWS)
Durante este miércoles 7 de noviembre, en el marco de celebrarse el Summit Partner 2018 en Chile, Morris & Opazo, empresa especializada en proveer soluciones de negocio en el área de Tecnología de la Información, fue condecorada con dos de los reconocimientos más importantes que otorga a sus socios, Amazon Web Services. “Es un orgullo y placer contar con socios tan disruptivos y estratégicos como Morris & Opazo”, empresa que ha logrado realizar “cosas impresionantes como por ejemplo con clientes como Rimac Seguros, en Perú, en dónde se rompió establecido un primer Data Lake, ( …) utilizando servicios adicionales muy disruptivos (…). Es una arquitectura de clase mundial que un partner como Morris & Opazo está entendiendo perfectamente cómo garantizar el éxito y la transformación digital hacia los próximos años”, manifestó Rubén Mugártegui, Head of Partners Organization, MCO en Amazon Web Services (Líder del área de Partners ). Ownership Award En este sentido y respecto a este caso por el cual se otorgó el reconocimiento “Ownership”, uno de los más importantes, el Country Manager de Morris & Opazo, Marcelo Rybertt destacó que “esta experiencia exitosa, de alto valor y la más grande hasta ahora en términos de personal humano y de tamaño del negocio, es también para Amazon Web Services un gran cliente. Es un usuario interesante y contagioso dentro del ecosistema de partners porque ha motivado y dado a conocer a otras empresas la eficacia de los servicios en la nube que presta AWS”. Learn and be Curious Award En torno al reconocimiento obtenido por la empresa de origen chileno, “Learn and be Curious”, Rybertt explicó que este responde al “ADN de nuestra empresa, al empuje constante de aprender sobre el valor que entregan los servicios, y cómo beneficia a nuestros clientes la gran caja de herramientas de AWS. Este equipo está empeñado en estar siempre a la vanguardia para poder ofrecer soluciones óptimas y que generen valor”. Entre otras categorías premiadas también destacan: Obsesión por el cliente, Entregar resultados y Ganar confianza. Otros logros significativos Durante el evento se expuso también la amplia experiencia de Morris & Opazo en el área de BigData & Analytics en cuanto a ejecución de proyectos, servicios de consultoría, implementación y optimización de soluciones sobre Amazon Web Services específicamente en clientes de Latinoamérica. La experiencia de los equipos de trabajo así como el aumento de valor empresarial fue otro de los aspectos resaltados durante este encuentro, en el que Morris & Opazo una vez más desaparecerán de un reconocimiento notorio gracias a sostenido su crecimiento. En esta jornada realizada en los espacios del The Ritz-Carlton, en Santiago, Chile, también se tuvo la oportunidad de participar en diferentes charlas técnicas y comerciales, en las cuales se abordaron temas como programas, soluciones y novedades de los servicios de la nube de AWS. Texto: Morris & Opazo / FA
Caso de éxito – Big Data & Analytics: Aguas Araucanía – Reconocimiento de Imágenes y Video usando Aprendizaje Automático
Lo que opina nuestro Cliente Para la Sub Gerencia Corp. de Sistemas de Aguas Araucanía ha sido el modelo más adecuado y eficiente para poder entregar soluciones a nuestros clientes, a costos más convenientes. La disposición y calidad de los profesionales de Morris & Opazo nos ha permitido ejecutar proyectos con alto nivel de calidad del producto final, con estándares de desarrollo y focalizados a los procesos y problemáticas de nuestra organización. Las soluciones a la medida ha dado respuesta a los procesos en donde soluciones de mercado no lo han sido. Fernando Javier Valdés Álvarez, SubGerente Corporativo de Sistemas El problema La oportunidad en esta etapa es presentar nuevas tecnologías que permitan mejorar los diferentes canales de comunicación con el cliente. En este caso en particular, a través de videos e imágenes. Solución propuesta Nuestra solución consiste en la implementación de un flujo de Big Data para la recolección, almacenamiento, procesamiento y consumo/visualización de los datos que permita, a través del uso de tecnologías de inteligencia artificial, la extracción de los metadatos de las imágenes y videos. Beneficios Innovación: Confiabilidad, agilidad, escalabilidad y desempeño requeridos por sus cambiantes negocios. Flexibilidad: Infraestructura bajo demanda que permite la rápida experimentación e iteración. Agilidad: Confiabilidad, escalabilidad y desempeño requeridos por sus negocios. Tecnologías usadas Amazon S3 Amazon Cognito Amazon API Gateway AWS Lambda AWS Step Functions Amazon Rekognition Amazon Transcribe Amazon Comprehend Amazon Elasticsearch Resultados La solución implementada entrega una plataforma muy poderosa para almacenar y procesar imágenes y video, alcanzando resultados que entregan gran valor al negocio al analizar y extraer metadatos del material fuente, y haciendo que esta información esté disponible para los procesos del negocio que se beneficien de ella.
Caso de éxito – Big Data & Analytics: Rimac – Data Lake Perú (+Video)
El Problema Rimac tenía una carga de trabajo grande y muy pesada para sus procesos de datos y análisis, realizados todos ellos en servidores on-premise. Cada nuevo proceso generaba una nueva tabla en su base de datos, lo cual hacía aún más compleja la administración de la información, y contribuía a los costosos tiempos de procesamiento de la información. Estos y otros factores crearon un escenario en que los procesos de negocio no podían continuar escalando en respuesta al creciente volúmen de datos y complejidad de los mismos, y era necesario mejorar los tiempos de procesamiento. Continuidad Operativa Para garantizar la continuidad operativa de la plataforma se han escogido servicios que en su mayoría se caracterizan por ser “serverless”, es decir no dependen de infraestructura de servidores para la ejecución de sus procesos. Esto no solo simplifica la administración de la plataforma, sino que entrega características de alta disponibilidad en los servicios de forma automática sin requerir esfuerzos adicionales. Escalabilidad Los recursos provisionados por AWS para dar soporte a la operación del Data Lake de Rimac se caracterizan por ser flexibles, permitiendo escalabilidad vertical u horizontal según sea necesario. Seguridad Para acceder a los servicios del Data Lake los usuarios deben autenticarse con credenciales propias de la plataforma AWS a través del servicio de Identity & Access Management (IAM). El mismo servicio IAM permite establecer el nivel de acceso y privilegios para cada servicio que reciben los usuarios, lo que determina finalmente quién puede acceder a cada servicio, y qué acciones o actividades puede realizar Protección de Datos en Reposo Los servicios de almacenamiento de datos de la Nube de AWS cuentan con sistemas de encriptación para los datos en reposo, de manera que no es posible realizar una lectura de los datos sin pasar por el sistema de desencriptado correspondiente. Monitoreo Permanente CloudWatch y CloudTrail proveen la capacidad de monitoreo constante de los recursos y servicios del Data Lake de Rimac: alertas y notificaciones relacionadas con las métricas de los servicios e infraestructura en uso. Todo evento generado por los usuarios es registrado y almacenado, permitiendo realizar procesos de auditoría y conformidad. Tecnologías usadas AWS Direct Connect AWS IAM Amazon S3 Amazon Redshift AWS EMR Amazon Athena Amazon Sagemaker AWS Storage Gateway Amazon CloudWatch Amazon CloudTrail La fuente de datos primaria del Data Lake es el servicio de Amazon S3. En Amazon S3 se almacenan los diferentes archivos planos generados por los Data Extractors. Amazon Redshift es el repositorio de los datos transformados del Data Lake. Amazon Redshift recibe información desde las transformaciones del script ETL en EMR y desde Amazon S3. El Data Lake permite hacer uso de clústers EMR para realizar análisis predictivo de los datos almacenados en el servicio Amazon S3. Amazon Athena permite realizar consultas interactivas en el Data Lake. Con Amazon SageMaker, Rimac puede crear, entrenar y ejecutar sus modelos de Machine Learning. Para facilitar la carga de datos hacia el Data Lake y proveer un sistema seguro de transferencia de datos de fácil uso e implementación, AWS Storage Gateway provee un punto único de acceso a la estructura del Data Lake en S3, que permite el copiado de archivos hacia el Data Lake. Resultados La solución implementada trasladó la carga de trabajo de los procesos de datos y análisis realizados on-premise, hacia la nube de AWS, entregando con esto una plataforma de clase mundial para el procesamiento y almacenamiento de los datos que permite optimizar y acelerar la obtención de resultados en los procesos de datos incorporados a esta nueva plataforma, y aliviando la carga de trabajo de la infraestructura y recursos on-premises.
Caso de éxito – Soluciones en la Nube: Copias de Seguridad & Recuperación en AWS
Lo que opina nuestro cliente Para la Sub Gerencia Corp. de Sistemas del grupo Aguas Nuevas ha sido el modelo más adecuado y eficiente para poder entregar soluciones a nuestros clientes, a costos más convenientes. La disposición y calidad de los profesionales de Morris & Opazo nos ha permitido ejecutar proyectos con alto nivel de calidad del producto final, con estándares de desarrollo y focalizados a los procesos y problemáticas de nuestra organización. Las soluciones a la medida ha dado respuesta a los procesos en donde soluciones de mercado no lo han sido. Fernando Javier Valdés Álvarez, SubGerente Corporativo de Sistemas El Problema A medida que crece “Aguas Nuevas”, también aumenta el tamaño de las bases de datos de Oracle y la enorme cantidad de bases de datos que mantienen. Esto ha generado cada vez más problemas relacionados con la realización de backups de las bases de datos existentes de Oracle en cintas, por lo que se han contemplado estrategias alternativas como la utilización de los servicios de la cloud de Amazon Web Services (AWS), una subsidiaria de Amazon.com. Entre los retos empresariales a los que se enfrenta “Aguas Nuevas” destacan: La planificación de uso y capacidad resulta compleja, y el tiempo y el presupuesto de inversión de capital son de suma importancia. Con los años se necesitaron importantes inversiones de capital para hardware de cinta, espacios de centros de datos para dicho hardware y gastos de licencias empresariales para software de cinta. Durante dicho periodo, la administración de la infraestructura de cinta requería contar con personal altamente cualificado dedicado a la configuración, certificación e ingeniería de la planificación de archivado, en lugar de dedicarse a proyectos de mayor valor. Y, al final de cada ejercicio fiscal, prever los futuros requisitos de capacidad requería auditorías, previsiones y elaboración de presupuestos que consumían mucho tiempo. El costo del software de backup necesario para varios dispositivos de cinta podía ser toda una sorpresa. Los robots de cintas ofrecen una capacidad básica de lectura/escritura, pero para poder utilizarlos completamente, es necesario invertir en software de backup en cinta patentado. Para “Aguas Nuevas”, el costo del software había sido alto y constituía una parte importante de los costos generales de backup. El costo de este software no dejaba de plantear un problema en los presupuestos, pero resultaba difícil de solucionar debido a que era necesario grabar los backups en dispositivos de cinta. Mantener backups de confianza y disfrutar de rapidez y eficacia al recuperar los datos son tareas que requieren mucho tiempo y esfuerzo con la cinta. Si los datos tienen que almacenarse de manera duradera en la cinta, es necesario realizar varias copias. Si todo funciona correctamente y existe una contención mínima de los recursos de cinta, los robots de cinta y el software de backup pueden encontrar los datos necesarios con facilidad. No obstante, si el hardware falla, se precisa de la intervención humana para restablecer los datos desde la cinta. La contención de las unidades de cinta derivada de solicitudes de cinta de varios usuarios ralentiza todavía más los procesos de restablecimiento. Esto afecta al objetivo de tiempo de recuperación (RTO) y hace que conseguirlo sea más complicado que con las backups almacenadas en la cloud Solución propuesta “Aguas Nuevas” empezó a evaluar Amazon S3 para poder introducir mejoras económicas y de desempeño en el ámbito de la backup de los datos. Como parte de dicha evaluación, estudiaron los aspectos de seguridad, disponibilidad y desempeño de las backups de Amazon S3. “Aguas Nuevas” también realizó un análisis costo-beneficio para garantizar que la migración a Amazon S3 merecía la pena desde el punto de vista económico. Este análisis costo-beneficio comprendía los siguientes elementos: Ventajas de desempeño y competitividad de los costos. Era importante que los costos generales de los backups no aumentaran. Al mismo tiempo, “Aguas Nuevas” precisaba de un desempeño más rápido para backups y recuperaciones. El tiempo y el esfuerzo necesarios para las operaciones de backup y recuperación demostraron ser una mejora importante con respecto a la cinta, ya que el restablecimientos desde Amazon S3 se ejecutaba de dos a doce veces más rápido que un restablecimiento similar desde la cinta. “Aguas Nuevas” necesitaba un nuevo método de backup para ofrecer más desempeño y, al mismo tiempo, mantener o reducir los costos generales. Los backups en discos on-premise hubieran mejorado el desempeño, pero hubiesen supuesto pérdidas en relación con la competitividad de los costos. El almacenamiento basado en la cloud de Amazon S3 cumplía los dos criterios. Mayor durabilidad y disponibilidad. Amazon S3 está diseñado para ofrecer una durabilidad del 99,999999999% y una disponibilidad de los objetos del 99,99% durante un año concreto. “Aguas Nuevas” comparó estas cifras con las de la infraestructura de la cinta, tras lo cual determinó que Amazon S3 ofrecía una mejora importante. Menor fricción operativa. Los administradores de bases de datos de “Aguas Nuevas” tuvieron que evaluar si las backups de Amazon S3 serían viables para las backups de las bases de datos. Determinaron que utilizar Amazon S3 para las backups resultaba fácil de implementar ya que funcionaba perfectamente con Oracle RMAN. Seguridad de los datos potente. “Aguas Nuevas” observó que AWS cumplía todos los requisitos de seguridad física, acreditaciones de seguridad y procesos de seguridad, protegía los datos activos e inactivos y utilizaba los estándares de cifrado adecuados. Beneficios Reducida Inversión en Hardware El diseño de almacenamiento distribuido en línea de la Nube de AWS elimina los cuellos de botella y las restricciones de las soluciones on-premise y de cinta. La replicación instantánea garantiza que los datos están asegurados generando automáticamente tres copias de los datos a diferentes regiones de AWS. Tiempos de Recuperación Más Rápidos Amazon S3 proporciona control sobre la región en la cual están almacenados los datos, para minimizar la latencia para una más rápida y más fácil recuperación de los datos. El almacenamiento en línea permite una recuperación más rápida que con las cintas, con latencias de milisegundos. Costos Operativos Más Bajos Utilice una solución que conoce y en
Caso de éxito – Big Data & Analytics: Insights de Redes Sociales
Lo que opina nuestro cliente “Morris & Opazo ha sido un colaborador importante en el apoyo a nuestras iniciativas para aprovechar los recursos en la nube y aprovechar al máximo las tecnologías en la nube para Big Data y Analytics”. – Francois Toubol, VP of Technology, SIM Partners El problema La solución final tenía que ser lo suficientemente escalable para recopilar, almacenar, procesar y visualizar las métricas de diferentes redes sociales. También esta información debía quedar disponible para distintos consumidores de la plataforma. Solución propuesta La solución de Big Data representó una mejora en seguridad, tiempos de desarrollo más cortos, amplia disponibilidad, actualizaciones más frecuentes, más elasticidad, una mayor cobertura geográfica, todo esto minimizando los costos finales. Beneficios: Velocidad: El data lake nos permitió importar cantidades significativas de datos que se originaban en tiempo real. Los datos se recuperaban desde diferentes fuentes, y fueron movidos a un data lake en su formato original. Este proceso permitió escalar a datos de cualquier tamaño y a la vez ahorrar tiempo. Economía de escala: Los servicios de la nube de AWS siguen un modelo de precios por capa y descuentos por volumen. Esto nos ha permitido crecer sin llegar a situaciones de facturación inesperadas, teniendo la tranquilidad de pagar el menor costo posible por los servicios consumidos. Integración de servicios: Al implementar nuestro Data Lake nos fue posible acceder a múltiples servicios de la nube de AWS, entre ellos Machine Learning, lo que nos permitió mejorar nuestros productos y entregar valor agregado en nuestra oferta de servicios. Tecnologías usadas Morris & Opazo created a Data Producer which streamed (via Amazon Kinesis) the metrics data from Social Network APIs to a Data Lake implemented in Amazon S3. This first stage represented a significative savings in costs for storage-related components, with an optimal performance and speed. Amazon Kinesis Amazon Redshift AWS S3 Resultados: El data lake nos permitió importar cantidades significativas de datos que se originaban en tiempo real. Los datos se recuperaban desde diferentes fuentes, y fueron movidos a un data lake en su formato original. Este proceso permitió escalar a datos de cualquier tamaño y a la vez ahorrar tiempo. Los servicios de la nube de AWS siguen un modelo de precios por capa y descuentos por volumen. Esto nos ha permitido crecer sin llegar a situaciones de facturación inesperadas, teniendo la tranquilidad de pagar el menor costo posible por los servicios consumidos. Al implementar nuestro Data Lake nos fue posible acceder a múltiples servicios de la nube de AWS, entre ellos Machine Learning, lo que nos permitió mejorar nuestros productos y entregar valor agregado en nuestra oferta de servicios.
Ejemplo Básico de CI/CD – Amazon (AWS)
Ejemplo Básico de CI/CD: Cuando se aborda el tema de CI/CD (Continuous Integration/Continuous Delivery, Integración Continua/Entrega Continua) muchas veces los conceptos se presentan de manera ‘filosófica’, olvidando un poco cómo ‘aterrizarlos’ a la práctica. En este blog queremos presentar un acercamiento precisamente a cómo llevar a la práctica un flujo básico de CI/CD. Es muy importante comprender el flujo básico CI/CD para un proyecto de Desarrollo de Software, ya que al comienzo podría parecer confuso qué paso lleva a cuál, qué debe hacerse en cada etapa, o qué elemento es responsable de cuál tarea. Una vez se ha entendido este flujo, el segundo punto más complejo de entender podría ser la configuración en sí del Sistema de Integración Continua (qué herramienta utilizar, qué plugins instalar, cómo configurar los permisos, cómo generar los contenedores, etc.) Aunque existen múltiples formas de abordar una implementación de CI/CD, vamos a tomar un ejemplo básico representado por el siguiente diagrama: (Basic Flow for a Back-End CI/CD Project) Este flujo comienza cuando un desarrollador envía (‘push’) su archivo/código fuente a un repositorio, el cual puede ser GitHub. Cuando GitHub detecta un push, envía una notificación a un Sistema de Integración Continua (por ejemplo, Jenkins). Una vez Jenkins recibe la información de GitHub, construye el proyecto (‘build’) mediante una configuración previamente establecida (jobs de Jenkins): Compilación Pruebas unitarias Pruebas de integración Entre otras, sobre el proyecto. Esta construcción depende del tipo de proyecto: pueden haber proyectos de Front-End o de Back-End. Para este ejemplo vamos a trabajar con Java. Si la construcción se llevó a cabo correctamente sin errores, Jenkins genera un contenedor y ese contenedor se puede subir a Amazon ECR. De lo contrario si ocurre algún error, el proceso no llega hasta el ECR. Es elección del Desarrollador cada cuánto realiza push al repositorio (desde su IDE). Para el caso de GitHub, es necesario configurar ‘webhooks’, el cual es un ‘punto de información’ para notificar a un servicio externo cada vez que se realice un push: En la imagen anterior, la URL corresponde a un webhook asociado con Jenkins. Jenkins, a su vez, permite configurar trabajos asociados con ese webhook: Un job (en Jenkins) es un proyecto que se puede configurar para especificar cómo se va a compilar, construir, y distribuir un sistema: El ‘disparador’ asociado a este proyecto de Jenkins está vinculado con GitHub: Permite especificar el repositorio y la rama (‘branch’) asociada con el proyecto: En este caso, la construcción pasa por un archivo (Jenkinsfile): En el archivo Jenkinsfile podríamos configurar las diferentes etapas por las que pasa la construcción de la aplicación: En la imagen anterior el archivo Jenkinsfile especifica diferentes etapas de construcción. Cada etapa debe ser ejecutada satisfactoriamente antes de que inicie la siguiente. La primera etapa es el ‘checkout’, en la cual Jenkins obtiene todas las fuentes modificadas del repositorio una vez que GitHub le informa de un nuevo ‘Push’. En la segunda etapa (‘compile’) se construye el proyecto. Para este ejemplo se está construyendo un proyecto en Java por medio de Maven, para lo cual se ejecuta el comando: mvn -U clean compile Con este comando se generan, a partir de código fuente, los .class de java (que serán interpretados posteriormente por la Máquina Virtual de Java). Para la tercera etapa que son las pruebas de unidad (‘Unit Test’) se ejecuta el comando: mvn test Una vez se han completado las pruebas, se ‘empaqueta’ el proyecto mediante el comando: mvn package El cual genera un .jar, que se podría considerar ya como el ‘entregable’ que contiene todos los .class necesarios para el proyecto Java: Por último se realizan pruebas de integración: mvn verify Un ejemplo de prueba de integración puede ser realizar una solicitud a una API REST y verificar que la respuesta sea siempre la esperada (llamar a la API proporcionando un argumento y comparar que la respuesta). Para este punto se utiliza un contenedor Docker temporal, el cual dura sólo durante la ejecución de las pruebas de integración. Cuando las pruebas de integración terminan satisfactoriamente, se realiza el despliegue definitivo (‘deploy’). El ‘deploy’ consiste en tomar la imagen recién generada y llevarla al repositorio de imágenes (en este caso Amazon ECR). En el ejemplo anterior, este despliegue se está haciendo a un ambiente de UAT, el paso previo a producción. Cada construcción que se realiza queda registrada en Jenkins: El ‘recorrido’ (pipeline) que realiza el proyecto en Jenkins puede verse también gráficamente de la siguiente forma: En la imagen anterior se puede observar cómo el flujo (en Jenkins) es: En caso de presentarse un error, Jenkins indica precisamente la etapa en la que se produjo. Por ejemplo en la construcción #39 el error se produjo en las Pruebas de Integración. En las otras construcciones no se produjo ningún error: Es posible obtener más información sobre el error que se generó: Al fallar una etapa las siguientes (si existen) no se ejecutan: En cada etapa de la construcción se indica su duración total (en milisegundos o segundos). Jenkins también calcula la duración promedio para cada etapa en todo el proyecto. Una vez Jenkins envía la nueva imagen a Amazon ECR, Jenkins reinicia el servicio para que ECS detecte la nueva imagen (comienzan a bajarse las instancias actuales de contenedores, y a subirse nuevas instancias). Las imágenes que se van enviando a Amazon ECR quedan almacenadas en repositorios: Cada repositorio puede contener una o más imágenes: Cada vez que se solicita un reinicio desde Jenkins lo que se reinicia es un servicio asociado a un cluster de AWS ECS: En la imagen anterior existen varios servicios dentro del cluster. Cada uno de esos servicios (para el ejemplo) tiene una instancia en ejecución ya que se ha configurado ese número de instancias como el deseado. Una vez se ha reiniciado el servicio, se puede acceder a las diferentes opciones que tiene el software desarrollado. Es decir, si el proyecto es una API REST ya podrían empezar a hacerse solicitudes a esta API. Es importante resaltar que el único
