You are leaving our main website to go to our chinese website hosted in China. For legal reasons there will not be any links pointing back to the main website.

Go to chinese website
Logo - Keyrus
Logo - Keyrus
  • Playbook
  • Servicios
  • Insights
  • Partners
  • Carreras
  • Sobre nosotros
    Propósito
    Innovación & Tecnologías
    Compromiso de Keyrus
    Ética & Cumplimiento
    Inversores
    Equipo de líderes
    Marcas
    Localizaciones

Blog post

¿En qué se diferencian los modelos predictivos y el vino?

Seguramente has escuchado en más de una ocasión la típica frase “¡Eres como el vino! Con el paso de los años estás cada vez mejor”.

Este “piropo” proviene del simple hecho de que un buen vino, cuenta la capacidad de envejecer, aguantar y mejorar a lo largo del tiempo.

El vino evoluciona con el paso de los años y el resultado de esa evolución depende de muchos factores, entre ellos mantenerlo en las condiciones adecuadas de temperatura (alrededor de 15º), oscuridad y que no haya ruidos ni vibraciones. En líneas generales, si esto es así, se producirán las reacciones químicas necesarias para que los taninos, los compuestos fenólicos que le dan un sabor más amargo, disminuyan en su concentración haciéndolo cada vez más dulce y que su evolución sea positiva.

Desafortunadamente, a diferencia de los vinos, los modelos predictivos no mejoran con la edad. No basta con dejarlos evolucionar por si solitos en unas buenas condiciones naturales. Un modelo estático no puede ponerse al día con los patrones que van surgiendo o evolucionando sin una fuente constante y actualizada de nuevos datos. Por ello, es imprescindible ir actualizándolo y entrenándolo continuamente para que mantenga un alto nivel en sus predicciones.

Los modelos de Machine Learning a menudo se diseñan para realizar predicciones sobre datos futuros. Sin embargo, con el tiempo, el rendimiento predictivo de muchos de ellos disminuye a medida que un modelo determinado se prueba en nuevos conjuntos de datos dentro de entornos en rápida evolución. Esto se conoce como degradación del modelo. Podemos identificar dos causas principales de este fenómeno de degradación:

  • Cambios en las características de los nuevos clientes.

  • Factores externos como el COVID-19.

Pero a todo problema hay que ponerle una solución. Aquí te proponemos 3 remedios para que tus modelos estén tan acertados como el primer día:

1. Detección de desviaciones

La detección de desviaciones es la manera de saber si el rendimiento de un modelo se está degradando. Podemos enfrentarnos a dos tipos de situaciones:

  1. Detección de cambios en las propiedades estadísticas de la variable objetiva. Pongamos el ejemplo de una empresa que quiere detectar spammers. Al principio, la regla era que, si el número de mensajes enviados era superior a cinco, entonces era un spammer. Pero después de unos meses, la compañía desarrolló un chatbot y como resultado, el número de spammers aumentó drásticamente porque aumentó el número de mensajes. Así que ahora la definición de spammer tiene que evolucionar y adaptarse al cambio.

  2. Detectar cambios en las propiedades estadísticas de las variables independientes. Para hacerlo, se debe comparar el conjunto de datos de entrenamiento con los nuevos datos actualizados. Si la comparación muestra diferencias claras, existe una gran probabilidad de que el rendimiento del modelo se esté debilitando.

Pero ojo. Una gran desviación no significa necesariamente una disminución en el rendimiento de un modelo. Esto dependerá en gran medida de la importancia de la característica que estamos observando en el modelo. Plataformas como Dataiku ayudan a medir la magnitud de la desviación gracias a un plugin que utiliza un enfoque de clasificador de dominio. Se encarga de entrenar el modelo que intenta discriminar entre el conjunto de datos original y el conjunto de datos de desarrollo.

En otras palabras, se agrupan los dos conjuntos de datos y se entrena a un clasificador que tiene como objetivo predecir el origen de los datos. Una vez se hayan detectado desviaciones en los modelos, Dataiku puede realizar dos acciones:

  1. Recibir una alerta por correo electrónico de tal desviación.

  2. Activar un modelo de reentrenamiento con datos nuevos actualizados.

2. AutoML

El aprendizaje automatizado o AutoML, es el proceso de automatizar una acción aplicando el aprendizaje automático para resolver problemas. Fue propuesto como una solución de inteligencia artificial para automatizar el proceso de entrenamiento de los modelos.

Así, al aplicar escenarios hipotéticos, Dataiku puede configurar un modelo para que se vuelva capaz, automáticamente, de incluir datos más recientes en su conjunto de datos de entrenamiento. Esto le permite observar cambios en el comportamiento de sus clientes, por ejemplo. Con un modelo ya construido, el siguiente paso es comparar las métricas en tiempo real. Aquí es donde entra en juego una nueva función de Dataiku: Metrics & Checks o Métricas y Comprobaciones.

Es muy útil cuando se necesita ejecutar una acción basada en una métrica. Aquí, por ejemplo, si las métricas y las comprobaciones sugieren una amplia variación entre los modelos, se puede pensar en actualizar o perfeccionar el modelo.

3. Test A / B

Los test A / B son un proceso estadístico en el que se puede medir el impacto de la modificación en la base de referencia en determinadas métricas.

Se hace con un grupo de control, un grupo de tratamiento, la base de referencia, la modificación y la métrica que quieres conseguir. Por ejemplo, digamos que se desea medir la efectividad de una vacuna. Tendremos que contar con un grupo de control sin la inyección y un grupo de tratamiento con la inyección de la vacuna, y con todo ello, luego se podrá comprobar la tasa de curación. En la práctica, a menudo existe una discrepancia entre el rendimiento online y offline de los modelos. Por lo tanto, es fundamental llevar las pruebas al entorno de predicción. La evaluación online permite obtener un feedback más veraz sobre el comportamiento del modelo frente a los datos reales. Este tiene en cuenta que los clientes de hoy no se comporten como los de ayer.

Por ejemplo, supongamos que tenemos un modelo con predicciones de los últimos seis meses y queremos comprobar si un nuevo modelo que hemos hecho tiene una mejor predicción que el actual. Esto es posible mediante tests A / B. Se implementarían ambos modelos a la vez, pero se dividirían las solicitudes entre los dos (50/50).

Esta prueba se puede realizar durante el tiempo que sea necesario y, si los resultados son concluyentes y el nuevo modelo resulta más eficaz, se plantearía remplazarlo por el modelo anterior.

Esto es posible con plataformas como Dataiku, eligiendo los parámetros y registrando los resultados del análisis de los dos modelos.

En conclusión, para que los modelos predictivos sean válidos y útiles es necesario ir observándolos, actualizándolos y validándolos constantemente porque hay muchos factores y patrones externos que van surgiendo y que, si no los tenemos en cuenta, va a ser imposible acertar en las predicciones.

Referencia: Todos los derechos reservados a Dataiku. 

whatsapptwitter
linkedinfacebookworkplace
newsletter.svg

¡No te pierdas nuestros insights!

Mantente al día en las últimas noticias y eventos

Tu dirección de correo electrónico se utiliza para enviarte la newsletter de Keyrus y para fines de prospección comercial. Puedes utilizar el enlace de opt-out en nuestros correos electrónicos en cualquier momento. Más información sobre la gestión de sus datos y sus derechos.

Continuar leyendo

Blog post

5 razones por las que deberías utilizar la analítica predictiva en tu negocio

24 de enero de 2023

Tomar decisiones más acertadas y estratégicas, evitar riesgos (o minimizar su impacto), gestionar tus recursos de manera más eficiente, reducir costes o fidelizar mejor a tus clientes son algunas de las ventajas competitivas que puedes obtener gracias al uso de la analítica predictiva.

Blog post

Los 6 pasos imprescindibles que debes seguir para construir tu modelo predictivo

16 de enero de 2023

¿Cuáles son los pasos para crear un modelo predictivo? En este artículo, veremos cómo se requiere de una combinación perfecta de técnicas y un poco de intuición para implementarlos de manera exitosa.

Blog post

Cómo explicarle a tu abuela qué es la analítica predictiva en solo 2 minutos

5 de enero de 2023

¿Cómo explicar el funcionamiento de esta disciplina que trabaja con algoritmos que consiguen predecir el futuro a través de los datos? Aquí te lo contamos.

Opinión de experto

"Las empresas han encontrado en los datos a un grandísimo aliado"

29 de diciembre de 2022

Entrevista de la revista Woman a Kathy Contramaestre, Managing director de Keyrus.

Blog post

Keyrus Magazine 2022, el mejor contenido del año

22 de diciembre de 2022

Aquí llega un recopilatorio de nuestro mejor contenido y de las entrevistas a nuestros managing directors, el equipo de marketing, presales y delivery y secciones exclusivas con nuestros expertos en Retail, Seguros, Turismo, Energía y Manufacturing

Blog post

Científicos vs. Analistas de datos: ¿Quién es quién?

16 de noviembre de 2022

¿No se ocupan ambos de trabajar con ordenadores, números y algoritmos sin parar? Bueno, eso es un poco verdad. Pero la realidad es que ambos son dos perfiles muy distintos y en este artículo vamos a conocer sus diferencias.

Opinión de experto

Filtrado colaborativo y filtrado basado en contenido

16 de noviembre de 2022

Técnicas utilizadas en los modelos de filtrado colaborativo y basado en contenido.

Opinión de experto

Spotify y Netflix, los dioses de los modelos de recomendación

15 de noviembre de 2022

Los sistemas de recomendación han logrado cambiar la forma en la que consumimos nuevos contenidos y descubrimos productos nuevos.

Blog post

El as bajo la manga de los decision makers

14 de noviembre de 2022

El Data Science se convirtió en el as bajo la manga de los decision makers tras la pandemia y ahora son unos players destacados de la partida que cuentan con más recursos que antes para hacer frente a un mercado más digitalizado y más competitivo.

Blog post

El ciclo de vida de la inteligencia artificial: alcance, diseño de modelos y despliegue

14 de noviembre de 2022

Como todos, la tecnología y las máquinas también tienen un ciclo vital: nacen, se desarrollan y mueren. Vamos a ver cada una de las etapas de la inteligencia artificial y los factores clave a tener en cuenta a la hora de implementarlas dentro de las organizaciones.

Logo - Keyrus
Madrid

Calle las Norias 80, 1-H 28221, Majadahonda, Madrid

Teléfono:+34 91 636 98 54

Fax:+34 91 630 36 54

LinkedInInstagram
PlaybookServiciosInsightsPartnersCarrerasSobre nosotros
PropósitoInnovación & TecnologíasCompromiso de KeyrusÉtica & CumplimientoInversoresEquipo de líderesMarcasLocalizaciones
Aviso legal & Condiciones de uso
Política de privacidad
Protección de datos
Politica de Calidad