Submission #61

Submission information
Submitted by Anonymous
Thu, 2017-04-06 12:24
155.210.140.119
Aprobado
ITAINNOVA – Instituto Tecnológico de Aragón
Contacto
Javier Val
www.itainnova.es
Maria de Luna 7, 50.018, Zaragoza
Moriarty
Mon, 2016-05-30
Probado y validado
Wed, 2015-05-06
Clasificación en el modelo GICI
Horizontal
TICs
Sistemas de Gestión y Análisis de Datos (Big Data)
Inversion
Absoluta
20.000-200.000 en función de la complejidad del proyecto.
Moriarty, como herramienta horizontal que es, se ha utilizado para resolver proyectos muy diferentes de Big Data Analytics en diferentes ámbitos (perfilado de usuarios, recomendador de productos, análisis de sentimiento, análisis de redes sociales, clasificación, minería de datos avanzados y entendimiento de contenidos de diversas fuentes para visualizar la información de forma resumida en grafos, …) y diferentes sectores (banca, salud, retail, sector público, media, turismo, formación, marketing, ecommerce, …) . En el ámbito de Smart Cities se ha trabajado en el mantenimiento predictivo de infraestructuras, por ejemplo, se ha creado un sistema de mantenimiento predictivo para la parte electrónica de infraestructuras eólicas. Se han recopilado diferentes señales eléctricas con sensores en diferentes puntos de la infraestructura, se ha modelizado su comportamiento, se han extraído su modelo de comportamiento y en base a él se ha diseñado una herramienta que permite predecir posibles fallos eléctricos de la infraestructura.

Descripción

Uno de los problemas que queríamos resolver al crear la herramienta de Moriarty es la reutilización de conocimiento al afrontar la amplia diversidad de proyectos relacionados con Big Data e Inteligencia Artificial. A medida que íbamos haciendo nuevos proyectos, percibíamos que había un amplio conjunto de actividades eran repetitivas y eso nos empujo a diseñar e implementar este Framework de desarrollo que nos permitiera diseñar, desarrollar y desplegar muy rápidamente aplicaciones de Big Data.
Moriarty es el resultado de más de 10 años de experiencia de ITAINNOVA trabajando en Inteligencia Artificial y Big Data. Durante estos años hemos realizado multitud de proyectos de big data, que por un lado, nos ha permitido diseñar una metodología común para afrontar este tipo de proyectos (desde la recogida de la información, en tiempo real si es necesario, observación de la información, entenderla, extraer reglas y patrones, mostrarlo rápidamente de muy diferentes formas para descubrir y extraer el conocimiento que hay detrás para ayudar al cliente a mejorar en su toma de decisiones) y, por otro lado, nos ha permitido ir implementando multitud de algoritmos de todo tipo relacionados con las diferente fases que hemos comentado, que se han encapsulado en work ítems para su sencilla reutilización en esta herramienta con un interface grafico muy amigable.
La herramienta tiene implementado multitud de crawlers que permiten recoger información de multitud de fuentes, desde todo tipo de documentos, hasta redes sociales incluyendo las fuentes de los datos de Smart Cities que vendrán de sensores, para posteriormente procesarla, analizarla y visualizarla de diferentes formas para su mejor entendimiento.
Moriarty permite el desarrollo de análisis de procesos (work flows) encadenando operaciones (work ítems) que permiten la colaboración entre el ingeniero de software y el científico de datos, el cual puede realizar todo el análisis sin tener que escribir una línea de código.
Gracias a Moriarty conseguimos la industrialización del software de big data, generando rápidamente soluciones que se pueden poner en producción de forma optima y precisa, introduciéndose de forma simple procesos de integración continua.
Moriarty permite el Continuous Delivery, es decir, si un científico de datos cambia el modelo que ya se tiene en producción, la herramienta permite verificar automáticamente que el nuevo modelo funcionará correctamente gracias al sistema de integración continuo que incluye test de integración y validación y sin enterarse el cliente el sistema puede cambiar el modelo, y mejorar la precisión del sistema.
El principal objetivo es prototipar rapidamente aplicaciones de inteligencia artificial, que incluyan big data analytics así como data y text mining y su posterior despliegue e industrialización
Para ello es necesario una herramienta que permita la sencilla colaboración entre el científico de datos el ingeniero de software, de tal forma que se por una lado permita la rápido y sencillo análisis de los datos por parte del científico de datos y por otro lado permita generar el software que se puede poner en producción de forma inmediata con las garantías de calidad necesarias incluyendo su sencillo y correcto mantenimiento.
El principal requisito para afrontar un proyecto de Big Data es que los datos que se recopilen sean de calidad, es decir, que incluyan el conocimiento necesario, aunque esté de forma desestructurada y “escondido”, para poder extraerlo gracias a la herramienta y que ayude al cliente a tomar decisiones.
A nivel de infraestructura Moriarty permite ser desplegado sobre infraestructuras propias privadas de cliente como infraestructuras públicas de datos (Amazon, Azure, Google Engine, …). Moriarty recogerá los datos, incluso en tiempo real cuando sea necesario, de Smart Cities que vendrán de sensores, para posteriormente procesarla, analizarla y visualizarla de diferentes formas para su mejor entendimiento.
Moriarty. Es una herramienta de diseño e implementación de soluciones avanzadas de software de Inteligencia Artificial, desarrollada por ITAINNOVA. Permite resolver diferentes problemáticas de negocio con grandes volúmenes de datos (BIG DATA).Con Moriarty podrás entender y estructurar la información, identificar patrones y correlaciones ocultas en los datos, inducir conocimiento, además de construir sistemas de aprendizaje. De manera ágil, precisa y sencilla, permitirá convertir tus datos en valiosa información facilitando la toma de decisiones estratégicas. Moriarty permite obtener conocimiento útil de tu negocio a partir de la captura, el almacenamiento, el procesamiento y el análisis masivo de información.
Moriarty es una herramienta de diseño e implementación de soluciones avanzadas de software de Inteligencia Artificial, desarrollada por ITAINNOVA que permite resolver diferentes problemáticas de negocio con grandes volúmenes de datos (BIG DATA).
Con Moriarty podrás entender y estructurar la información, identificar patrones y correlaciones ocultas en los datos, inducir conocimiento, además de construir sistemas de aprendizaje. De manera ágil, precisa y sencilla, permitirá convertir tus datos en valiosa información facilitando la toma de decisiones estratégicas.
Su capacidad para utilizar técnicas avanzadas de análisis semántico le otorgan un valor diferencial que hacen de Moriarty una herramienta única.
Moriarty permite obtener conocimiento útil de tu negocio a partir de la captura, el almacenamiento, el procesamiento y el análisis masivo de información.
Para utilizar Moriarty se sigue una metodología de trabajo que permite abordar proyectos muy diversos de la misma forma.
Primero Observamos. Junto con el cliente y/o el consultor experto del sector, analizamos el vocabulario del dominio en el que vamos a trabajar y/o las reglas de funcionamiento del negocio, analizamos también las diferentes fuentes de datos, tanto externas como internas de las que disponemos, así como las necesidades de almacenamiento. Una vez tenemos identificadas las fuentes de información, se almacenan y procesan los datos de interés para el cliente.
A continuación Aprendemos. Moriarty aprende en base a los patrones que encuentra en los datos recopilados y/o en base a las reglas de negocio que el consultor experto introduce en el sistema. A partir de todo ello Moriarty genera modelos de conocimiento que hacen posible entender el significado de los textos y/o los datos.
Luego Descubrimos. Utilizando los modelos de datos que se han generado, el sistema diagnostica, predice y prescribe los aspectos clave del negocio, proporcionando información valiosa en identificar áreas de mejora en las empresas cliente.
Using the knowledge models that have been generated, it diagnoses, predicts, and prescribes key business aspects, providing invaluable information in identifying improvement areas for companies.
Para finalmente Decidir. Moriarty convierte los modelos de conocimiento generados en herramientas simples y extremadamente visuales, adaptados al software del cliente, por lo que es posible ver la información de una manera flexible, fácil de usar y muy intuitiva. Poder visualizar los datos de diferentes maneras ayuda mucho a descubrir y encontrar el conocimiento y las reglas de comportamiento que se encuentran escondidos en la cantidad ingente de datos.
Una vez tenemos la aplicación de big data creada, Moriarty permite desplegarla rápidamente en un entorno industrial de producción garantizando la calidad del despliegue y su sencillo mantenimiento y evolución gracias a las herramientas especificas que dispone para ello.
Moriarty.rar

Métricas

Una de las primeras actividades de cada proyecto de big data analytics es definir unas métricas de mejora y objetivo de mejora para cada una, que nos permitirán medir el nivel de éxito del proyecto. Si bien es cierto que en todos esos conjuntos de métricas aparecen las financieras, tanto por nuevos ingresos generados debidos a nuevas oportunidades de negocio o por ahorros debidos a mejoras en los procesos de todo tipo que ayudan a tomar decisión de forma temprana con el impacto financiero que ello conlleva.
En función de los indicadores las mejoras planteadas difieren. En algunos casos pueden ser mejoras porcentuales (40% de ahorro en mantenimiento predictivo de maquinas en una cadena de producción, disminución del 50% de préstamos impagados para un banco gracias a que el perfilador de usuarios detecta mejor los posibles clientes de riesgo de imapago) y en otros casos podemos pasar de no tener una información disponible a tenerla con lo que el proceso de toma de decisión mejora sustancialmente para la empresa (Existe un conjunto de clientes con un perfil determinado para los que un banco no tiene ningún producto asociado, eso lleva a concluir al banco que tienen que diseñar un nuevo producto para ese conjunto de clientes con un determinado perfil).