Morris & Opazo presente en el #AWS Analytics Marathon – Caso Interbank – Autor: Cristian Bastías
En el marco de la apertura de la oficina de AWS en Perú, el pasado mes se llevó a cabo el Analytics Marathon, evento en línea gratuito de dos días creado para ayudar a las empresas a tener una mayor capacidad analítica a través de un enfoque moderno para análisis en la nube. El primer día del evento, se desarrollaron las sesiones de negocios, dirigidas a profesionales responsables de datos dentro de sus organizaciones y que buscan escuchar directamente de nuestros clientes relatos de sus experiencias con AWS y los beneficios obtenidos por ellos luego de migrar sus infraestructuras analíticas hacia la nube. En esta oportunidad, nuestro Cloud Project Manager, Cristian Bastias, presentó el proyecto, Plataforma de Recomendaciones RTD, desarrollado para Interbank, una de las entidades financieras más importantes de Perú, que requería una plataforma analítica financiera flexible que le permitiera acompañar a sus clientes en tiempo real y de manera inteligente en cada una de sus transacciones.
Análisis de EPP para prevención de accidentes laborales
Monitoreo y predicciones de indicadores de piscigranjas en la nube en tiempo real
Monitoreo y predicciones de indicadores de piscigranjas en la nube en tiempo real – Caso de uso PoolFarm
Resumen ejecutivo: PoolFarm es una start-up dedicada al aprovisionamiento de equipos tecnológicos para el monitoreo y regulación de las condiciones de los espacios destinados a la acuicultura, que, mediante un software propio, brinda el servicio de automatización y uso de data para procesos de producción en el mencionado sector. Finalistas del “Concurso SAP Next-Gen”, Universidad de Lima (2020). Segundo Lugar en el “Concurso Primer Paso”, Universidad de Lima (2020). Morris & Opazo, un socio consultor avanzado de Amazon Web Services (AWS), ha sido un aliado estratégico de PoolFarm, conociendo sus necesidades e intercambiando conocimientos, con lo que, se logró cumplir todos los objetivos de la solución, permitiéndole disminuir el tiempo de procesamiento de data, así como el desarrollo y visualización de los dashboards; además de lograr un modelo de análisis en tiempo real que procese efectivamente la data recogida y cuya estructura de procesamiento desarrolle información que genere valor para el producto. El desafío a resolver PoolFarm necesitaba construir una infraestructura para almacenar data y utilizar herramientas de data analytics, así como recolectar información de sensores en tiempo real. Además, buscaba medir los parámetros de piscinas acuícolas y darle un enfoque mucho más preciso a la producción. Solución propuesta Se construyó un sistema automatizado para el monitoreo y predicciones de piscigranjas con sensores físicos permanentes en campo, que pueda medir y regular en tiempo real, de manera efectiva, las condiciones del recinto llevando esta información una interfaz gráfica para la gestión del sistema valiéndose de modelos matemáticos y/o estadísticos para interpretación de la información recolectada. Beneficios Agilidad: Mejora en agilidad y velocidad para el almacenamiento, y reducir costos asociados. Confiabilidad y Seguridad: Contar con una infraestructura informática global escalable, segura y de confianza. Características importantes a un bajo costo Ofrecer a PoolFarm contar con un esquema de pago mensual por uso de los servicios. No requerir licenciamiento y tener alta disponibilidad Tecnologías usadas Los servicios utilizados por esta solución permiten trabajar bajo el Marco de Buena arquitectura de AWS, el cual describe los conceptos claves para diseñar y ejecutar cargas de trabajo en la nube. Algunos de estos servicios son: Amazon RDS Amazon Database Migration Service Amazon Redshift Amazon Simple Storage Service (S3) Amazon Quick Sight Resultados: Se logró un desarrollo personalizado, reducir los tiempos de procesamiento de datos y una óptima visualización de la información a través de los dashboards. La solución presenta alta flexibilidad para la entrega apropiada de información y para la toma de decisiones según se necesite, además de la gestión de ahorro de costos.
Morris Opazo implementa Plataforma Real Time Recommendation Engine-Cloud para Interbank Perú (+Video)
Resumen ejecutivo: El Banco Internacional del Perú, hoy Interbank, con su propósito de ayudar a los peruanos a alcanzar sus sueños hoy y su visión de ser el mejor banco a partir de las mejores personas, es una de las principales instituciones financieras del país enfocado en brindar productos innovadores y un servicio conveniente, cercano, innovador y ágil a más de 2 millones de clientes. Gracias al crecimiento y desempeño del banco, en el 2010 las tres principales clasificadoras de riesgo lo calificaron como una empresa con grado de inversión, continuando así con su oferta internacional al inaugurar su “Oficina de Representación Comercial” en Sao Paulo, Brasil, el quinto socio comercial del Perú, buscando asesorar tanto a empresarios peruanos como brasileños a concretar negocios exitosos e identificar oportunidades de inversión. Morris & Opazo, un socio Consultor Avanzado de Amazon Web Services (AWS), ha sido un aliado estratégico de Interbank, conociendo sus necesidades e intercambiando conocimientos, con lo que, se logró cumplir todos los objetivos de la solución, permitiéndole brindar mejores recomendaciones a los clientes y no clientes mediante todos sus canales de atención en tiempo real y ofrecer una comunicación cada vez más contextual y personalizada. El problema Interbank tenía capacidad limitada en su modelo de Recomendaciones, para procesar una gran cantidad de variables de sus clientes y usuarios, por lo que necesitaba automatizar las decisiones de recomendaciones en tiempo real a través de sus distintos canales digitales. Solución propuesta Se implementó la Plataforma Real Time Recommendation Engine – Cloud, solución serverless, trabajando con data streaming y modelos de Machine Learning de recomendación, brindando la mejor oferta/acción (NBA) a los clientes y no clientes a través de sus canales digitales y físicos en tiempo real, siguiendo las reglas de negocio de la entidad. Beneficios Agilidad: Mayor agilidad y velocidad para los despliegues de cómputo y almacenamiento, y reducir costos asociados. Confiabilidad y Seguridad: Se cuenta con una infraestructura informática global escalable, segura y de confianza. Entregas más rápidas al mercado y Promueve la innovación: Siguiendo la regla de negocio de Interbank, se logra ofrecer un servicio en tiempo real en todos los canales de atención. Características importantes a un bajo costo: La solución le ofrece a Interbank tener un esquema de pago mensual por uso de los componentes.No requiere licencia y tiene alta disponibilidad Tecnologías usadas Los servicios utilizados por esta solución permiten trabajar bajo el Marco de Buena arquitectura de AWS, el cual describe los conceptos claves para diseñar y ejecutar cargas de trabajo en la nube. Algunos de estos servicios son: Amazon S3 AWS Kinesis Data Firehose API-Gateway Amazon DynamoDB AWS Lambda Amazon SageMaker Amazon Athena Cognito Resultados: Se logró implementar Plataforma Real Time Recommendation Engine una Solución Cloud, basada en modelos de Machine Learning que logró eficiencias en sus procesos de recomendación de productos a sus clientes, obteniendo resultados de gran impacto en sus objetivos estratégicos. Esta solución tiene alta flexibilidad para procesar variables según se necesite y para gestión de costos, así como capacidad para automatizar reentrenamiento de modelos según performance.
Morris & Opazo y Universidad Centofec de Costa Rica establecen alianza para ejecutar proyectos de investigación bajo plataforma de Amazon Web Services (AWS)
Con miras a desarrollar un proceso de investigación de manera conjunta, Morris & Opazo y la Universidad Centofec de Costa Rica, han establecido durante el mes de mayo una alianza que permitirá poner en marcha nuevos proyectos en el área de tecnologías de la nube que propicien, entre otros, nuevas oportunidades de inclusión y formación continua, así como también la transferencia de conocimiento. Para Ulses Agüero, representante de la Ucentofec el trabajar con Morris Opazo, “busca producir programas de investigación en áreas de inteligencia artificial y de software, que permitan en alianza, en el menor tiempo posible, dar las respuestas que exige el mercado tecnológico”. “La especialización en informática y tecnologías digitales, así como el enfoque de cercanía permanente a la actividad empresarial por parte de esta casa de estudios, está casado con la filosofía de Morris & Opazo, a quien reconocemos como una compañía de alto nivel de calidad y digno representante de Chile en esta materia”. Gracias a los atributos que compartimos, los proyectos que construyamos serán de beneficio para ambos, sobre todo en el caso de la Ucentofec, por que impactará de manera significativa en sus programas universitarios de pregrado, posgrado, Machine Learning, Data Warehause y tecnologías en la nube e integración de Analytics. Marcelo Rybertt, Country Manager de Morris & Opazo al respecto está convencido de que este acuerdo “nos invita a una compleja tarea de formación, crecimiento y desarrollo personal y profesional continuo” y al mismo tiempo, “es una oportunidad única que llama a estrechar lazos con otros países de Latinoamérica con el fin de optimizar la formación y capacitación de todos los profesionales del área de tecnología”. En este encuentro que se realizó a nivel digital, se abordaron además “los nuevos desafíos generados por la pandemia del Covid19 en cuanto a necesidad en materia de datos, inteligencia artificial y desarrollo de software moderno, áreas vitales para el sector educativo”, que según Marianela Romero, representante comercial de ProChile en Costa Rica y anfitriona del evento “deben ser abordados con prontitud para optimizar las competencias y experiencias universitarias que permitan incorporar a nuevos profesionales”. Desde ProChile “esta promoción internacional del sector servicios, ha sido un eje vital, no solo por sus aportes a la diversificación y certificación de nuestra matriz exportadora, sino también porque suma a la reactivación económica de Chile. Contamos como país con una experiencia en capital humano, aportes de empresas, la red 5G recientemente instalada, infraestructura digital de primer nivel y numerosos tratados y acuerdos comerciales”, explicó Rodrigo Valenzuela, representante del Departamento del sector servicio e industria 4.0 de ProChile. Desde ProChile se han venido realizando esfuerzos en el diseño de estrategias de internacionalización, en colaboración estrecha y permanente con empresas, asociaciones y gremios, a fin de fortalecer nuestra imagen en el exterior, recordó. A la firma de la alianza también asistió Álvaro Guzmán, Primer Secretario de la Embajada de Chile en Costa Rica, quien aprovechó la oportunidad para recordar que entre “Chile y Costa Rica hay una gran afinidad, una química que ha favorecido las relaciones culturales, políticas, comerciales, democráticas y sociales”, lo cual permitirá que esta alianza reporte nuevos beneficios, en particular en materia de tecnología para ambos países. Participantes del encuentro: Representante del convenio por la Universidad UCentofec: Steven Guerrero Representante político: Álvaro Guzmán, Primer Secretario de la Embajada de Chile en Costa Rica. Representante del Departamento del sector servicio e industria 4.0 de ProChile: Rodrigo Valenzuela Marcelo Rybertt, Country Manager de Morris & Opazo. Representante comercial de ProChile en Costa Rica y anfitriona del evento: Marianela Romero. Representante de la rectoría de la UCentofec: Ulses Agüero. Otros representantes de la UCentofec: Daniel Samper, Gerente; Paula Brenes, Directora Comercial y de Innovación y Sergio Morales, profesor de la UCentofec.
Predicción de fallas con Machine Learning en la minería con AWS
Optimización de modelos de Machine learning en AWS
Técnicas de reducción de dimensionalidad
Table of Contents Entendiendo el contexto En la actualidad, en la mayoría de los problemas de ciencia de datos, el conjunto de datos está sobrecargado con numerosas características que dan como resultado un sobreajuste y además aumentan los enormes costes computacionales, lo que hace que el proceso sea considerablemente lento, y esta no es la excepción, una de las soluciones a este problema es reducir la dimensión del conjunto de datos. El principal objetivo de este trabajo es analizar qué tan factible es ocupar algunas técnicas de reducción en el conjunto de datos y la razón de por qué algunas funcionan mejor que otras en este conjunto, además de presentar los resultados obtenidos en los distintos experimentos comparando su eficiencia. Por ello, en este trabajo se lleva a cabo el estudio de algunas técnicas de reducción de dimensionalidad, las matemáticas tras estas, las ventajas y desventajas de cada una, que librerías utilizan y cómo se aplican al conjunto de datos, también se verán los inconvenientes que presentan los algoritmos de aprendizaje automático en problemas con estas características. Posteriormente, se lleva a cabo el estudio empírico del análisis discriminante lineal (LDA), como su nombre lo indica, el análisis discriminante identifica las características que diferencian a dos o más grupos y a crear una función capaz de distinguir con la mayor precisión posible a los miembros de un grupo u otro. Por otro lado, LDA también es un método de reducción de dimensión, dado que su objetivo es proyectar el espacio de una característica (conjunto de datos n-dimensional) en un subespacio pequeño k donde k n – 1, manteniendo la información discriminatoria de clases. Luego, se muestra una comparación de los resultados obtenidos con PCA, la técnica estadística más tradicional y conocida que existe. Esta técnica lleva a cabo la transformación de los datos generando nuevas componentes, conocidas como componentes principales, que se calculan teniendo en cuenta la varianza del conjunto de datos. El primer componente principal es definido por el método donde el conjunto de datos presenta una mayor varianza, el segundo componente principal es definido donde los datos presentan la segunda mayor varianza, y así sucesivamente. Hay que tener en cuenta que el número máximo de componentes principales que se obtienen mediante PCA siempre será igual al número de variables del conjunto de datos, aunque como el objetivo es reducir la dimensionalidad habrá que reducir el número de componentes seleccionando aquellos que expliquen la mayor cantidad de variabilidad de los datos. Sin embargo, PCA presenta el principal problema, que es una técnica no supervisada, es decir, no utiliza el valor que se espera obtener para cada dato. Por este motivo, PCA puede proporcionar resultados no satisfactorios. Para hacer una evaluación de la calidad de la reducción de la dimensionalidad producida, en ambos casos, se utilizan distintos algoritmos de clasificación, estos son: K-nearest neighbors (KNN), Regresión logística y Redes neuronales. Primero, se utilizarán estos algoritmos para clasificar los datos sin haber realizado ninguna reducción de dimensión, y así poder ver qué resultados se obtienen antes de la investigación. Estos resultados se muestran en la Tabla 1. MÉTODO TASA MEDIA DE ACIERTO Regresión logística 61.7% K vecinos más cercanos 53.9% Redes neuronales 44.3% Tabla 1. Exactitud de los distintos métodos de clasificación sin aplicar técnicas de reducción de dimensión. Comparación de distintas técnicas de reducción de dimensionalidad A continuación, para comparar distintas técnicas de reducción de dimensionalidad, se muestra una tabla con las ventajas y desventajas que pueden implicar las distintas técnicas. Método de reducción Ventajas Desventajas Análisis de componentes principales (PCA) Retiene las características del conjunto de datos que contribuyen más a su varianza. Se ejecuta bastante rápido a comparación de otras técnicas como t-SNE. Después de la transformación conserva la varianza en los datos, usando valores propios. No ofrece resultados satisfactorios en muchos problemas supervisados de clasificación o regresión al tratarse de una técnica no supervisada. Las nuevas coordenadas ya no son variables reales producidas por el sistema, por lo que la aplicación del PCA al conjunto de datos hace que se pierda capacidad de interpretación. Muy influenciado por los outliers en los datos, por lo que es recomendable estudiar si los hay. Análisis de discriminante lineal (LDA) Al igual que PCA se ejecuta bastante fácil y rápido. La clasificación de nuevas observaciones no es muy eficiente a medida que se incrementa el número de variables en el modelo. Se acostumbra a hacer selección de variables antes de aplicar el método. Requiere que se especifiquen los grupos del conjunto de entrenamiento del modelo con clases prefijadas. Análisis factorial Ayuda a simplificar la información que nos da una matriz de correlaciones para hacerla más fácilmente interpretable. Incrustación de vecinos estocásticos distribuidos en t (t-SNE) Se suele utilizar para la reducción de dimensionalidad no lineal y la visualización de datos. Mantiene los puntos de datos muy similares juntos en el espacio de menor dimensionalidad. Los valores atípicos no afectan a t-SNE. Realiza una cantidad enorme de cálculos, lo que se traduce en un proceso muy lento cuando se trabaja con varios miles de observaciones. Está diseñado para reducir los datos a 2 o 3 dimensiones. No debe aplicarse si la reducción de dimensionalidad se hace a espacios d > 3. No es un proceso totalmente determinista, por lo que, a pesar de emplear los mismos datos, los resultados pueden variar. Su algoritmo no es incremental, en otras palabras, no puede aplicarse sobre un set de datos y después actualizarlo con unas pocas observaciones nuevas. Se tiene que ejecutar de nuevo todo el algoritmo incluyendo todas las observaciones (las viejas y las nuevas). Tabla 2. Ventajas y desventajas de las técnicas de reducción de variables. Construcción del conjunto de datos final Para construir el conjunto de datos final se realiza una reducción de variables al conjunto de datos inicial, como ya vimos existen distintas técnicas para realizar esta reducción, en este trabajo se prueban 3, estas son PCA, t-SNE y LDA. Donde, con la ayuda de la tabla 2, se decide que de
Morris & Opazo ayuda a Aguas Nuevas a innovar su infraestructura en AWS para modernizar los servicios de agua para 400.000 clientes en chile
