Blog post

Cebras, Dálmatas y Elefantes: La detección de anomalías a través de la Inteligencia Artificial

La detección de anomalías es un enfoque que puede ser útil en gran variedad de industrias y para una variedad de propósitos, incluidos IT y DevOps, industria, salud, banca y finanzas, y en el sector público. Cebra, Cebra, Cebra, Dálmata, Cebra, Cebra, Dálmata, Dálmata ¡ELEFANTE!

La detección de anomalías consiste en encontrar patrones de interés (valores atípicos, excepciones, peculiaridades, etc.) que se desvíen del comportamiento esperado dentro de los conjuntos de datos. Como ocurre con la mayoría de los proyectos de Data Science, el resultado final de la detección de anomalías no es solo un algoritmo o un modelo de trabajo. Si no que trata de obtener valor de la información que brindan los valores atípicos. Es decir, el dinero que pueden ahorrar al evitar daños en el equipo o el dinero perdido en transacciones fraudulentas, por ejemplo.

Vamos a hacer un pequeño overview de algunos de los principales casos de uso de Inteligencia Artificial para detectar anomalías en algunos sectores:

• IT, DevOps: detección de intrusiones (seguridad del sistema, malware), supervisión del sistema de producción o supervisión de subidas y bajadas del tráfico de la red. Los desafíos incluyen la necesidad de un pipe en tiempo real de cara a reaccionar a los enormes volúmenes de datos y la falta de disponibilidad de los datos etiquetados correspondientes a las intrusiones, lo que dificulta el entrenamiento / prueba. Generalmente se tiene que adoptar un enfoque semi-supervisado o no supervisado.

• Banca y seguros: Detección de fraudes (tarjetas de crédito, seguros, etc.), análisis bursátil, detección precoz de información privilegiada. Sin embargo, la detección de anomalías financieras es de alto riesgo, por lo que este caso de uso es un desafío porque debe realizarse en tiempo real para que pueda detenerse tan pronto como suceda. Además, quizás sea más importante que en otros casos de uso el hecho de tener cuidado con los falsos positivos que pueden interrumpir la experiencia del usuario.

• Fabricación e industria, construcción o agricultura: Para mantenimiento predictivo o detección de fraudes en el servicio. Los sistemas industriales producen datos de diferentes sensores que varían enormemente: diferentes niveles de ruido, calidad, frecuencia de medición, lo que puede hacer que sea especialmente difícil trabajar con los datos.

• Salud: monitorización del estado del paciente, incluida la detección de convulsiones o tumores. Los costes de clasificar mal las anomalías son muy altos. Además, la mayoría de las veces los datos etiquetados pertenecen a pacientes sanos, por lo que es necesario adoptar un enfoque semi-supervisado o no supervisado.

• Sector público: se utiliza para la detección de imágenes inusuales de vigilancia. Este caso de uso requiere técnicas de Deep Learning, lo que hace que este tipo de detección de anomalías sea más costoso.

Detección de anomalías con Dataiku

A la hora de detectar anomalías el paso crítico consiste en ir iterando hasta que se reduzcan los falsos positivos / negativos y el sistema sea eficaz y ágil. Puede resultar muy útil contar con una representación visual de todo el proceso para que la iteración sea cada vez más simple y rápida, incluso una vez que el modelo esté en producción; ahí es donde Dataiku hace su aparición estelar. Respalda la agilidad en todos los procesos de datos de las organizaciones a través de una inteligencia artificial colaborativa, elástica y responsable, todo a escala empresarial.

Ofrece:

• Funciones robustas de AutoML, que incluyen ingeniería de funciones, ajuste de hiperparámetros, la capacidad de comparar docenas de algoritmos y mucho más.

• Implementación de modelos con un solo clic en la nube con Kubernetes.

• Funciones de monitorización de modelos para gestionar de manera activa los cambios de datos a lo largo del tiempo.

Referencias:

Todos los derechos reservados a Dataiku