Blog post

¿En qué se diferencian los modelos predictivos y el vino?

Seguramente has escuchado en más de una ocasión la típica frase “¡Eres como el vino! Con el paso de los años estás cada vez mejor”.

Este “piropo” proviene del simple hecho de que un buen vino, cuenta la capacidad de envejecer, aguantar y mejorar a lo largo del tiempo.

El vino evoluciona con el paso de los años y el resultado de esa evolución depende de muchos factores, entre ellos mantenerlo en las condiciones adecuadas de temperatura (alrededor de 15º), oscuridad y que no haya ruidos ni vibraciones. En líneas generales, si esto es así, se producirán las reacciones químicas necesarias para que los taninos, los compuestos fenólicos que le dan un sabor más amargo, disminuyan en su concentración haciéndolo cada vez más dulce y que su evolución sea positiva.

Desafortunadamente, a diferencia de los vinos, los modelos predictivos no mejoran con la edad. No basta con dejarlos evolucionar por si solitos en unas buenas condiciones naturales. Un modelo estático no puede ponerse al día con los patrones que van surgiendo o evolucionando sin una fuente constante y actualizada de nuevos datos. Por ello, es imprescindible ir actualizándolo y entrenándolo continuamente para que mantenga un alto nivel en sus predicciones.

Los modelos de Machine Learning a menudo se diseñan para realizar predicciones sobre datos futuros. Sin embargo, con el tiempo, el rendimiento predictivo de muchos de ellos disminuye a medida que un modelo determinado se prueba en nuevos conjuntos de datos dentro de entornos en rápida evolución. Esto se conoce como degradación del modelo. Podemos identificar dos causas principales de este fenómeno de degradación:

Cambios en las características de los nuevos clientes.
Factores externos como el COVID-19.

Pero a todo problema hay que ponerle una solución. Aquí te proponemos 3 remedios para que tus modelos estén tan acertados como el primer día:

1. Detección de desviaciones

La detección de desviaciones es la manera de saber si el rendimiento de un modelo se está degradando. Podemos enfrentarnos a dos tipos de situaciones:

Detección de cambios en las propiedades estadísticas de la variable objetiva. Pongamos el ejemplo de una empresa que quiere detectar spammers. Al principio, la regla era que, si el número de mensajes enviados era superior a cinco, entonces era un spammer. Pero después de unos meses, la compañía desarrolló un chatbot y como resultado, el número de spammers aumentó drásticamente porque aumentó el número de mensajes. Así que ahora la definición de spammer tiene que evolucionar y adaptarse al cambio.
Detectar cambios en las propiedades estadísticas de las variables independientes. Para hacerlo, se debe comparar el conjunto de datos de entrenamiento con los nuevos datos actualizados. Si la comparación muestra diferencias claras, existe una gran probabilidad de que el rendimiento del modelo se esté debilitando.

Pero ojo. Una gran desviación no significa necesariamente una disminución en el rendimiento de un modelo. Esto dependerá en gran medida de la importancia de la característica que estamos observando en el modelo. Plataformas como Dataiku ayudan a medir la magnitud de la desviación gracias a un plugin que utiliza un enfoque de clasificador de dominio. Se encarga de entrenar el modelo que intenta discriminar entre el conjunto de datos original y el conjunto de datos de desarrollo.

En otras palabras, se agrupan los dos conjuntos de datos y se entrena a un clasificador que tiene como objetivo predecir el origen de los datos. Una vez se hayan detectado desviaciones en los modelos, Dataiku puede realizar dos acciones:

Recibir una alerta por correo electrónico de tal desviación.
Activar un modelo de reentrenamiento con datos nuevos actualizados.

2. AutoML

El aprendizaje automatizado o AutoML, es el proceso de automatizar una acción aplicando el aprendizaje automático para resolver problemas. Fue propuesto como una solución de inteligencia artificial para automatizar el proceso de entrenamiento de los modelos.

Así, al aplicar escenarios hipotéticos, Dataiku puede configurar un modelo para que se vuelva capaz, automáticamente, de incluir datos más recientes en su conjunto de datos de entrenamiento. Esto le permite observar cambios en el comportamiento de sus clientes, por ejemplo. Con un modelo ya construido, el siguiente paso es comparar las métricas en tiempo real. Aquí es donde entra en juego una nueva función de Dataiku: Metrics & Checks o Métricas y Comprobaciones.

Es muy útil cuando se necesita ejecutar una acción basada en una métrica. Aquí, por ejemplo, si las métricas y las comprobaciones sugieren una amplia variación entre los modelos, se puede pensar en actualizar o perfeccionar el modelo.

3. Test A / B

Los test A / B son un proceso estadístico en el que se puede medir el impacto de la modificación en la base de referencia en determinadas métricas.

Se hace con un grupo de control, un grupo de tratamiento, la base de referencia, la modificación y la métrica que quieres conseguir. Por ejemplo, digamos que se desea medir la efectividad de una vacuna. Tendremos que contar con un grupo de control sin la inyección y un grupo de tratamiento con la inyección de la vacuna, y con todo ello, luego se podrá comprobar la tasa de curación. En la práctica, a menudo existe una discrepancia entre el rendimiento online y offline de los modelos. Por lo tanto, es fundamental llevar las pruebas al entorno de predicción. La evaluación online permite obtener un feedback más veraz sobre el comportamiento del modelo frente a los datos reales. Este tiene en cuenta que los clientes de hoy no se comporten como los de ayer.

Por ejemplo, supongamos que tenemos un modelo con predicciones de los últimos seis meses y queremos comprobar si un nuevo modelo que hemos hecho tiene una mejor predicción que el actual. Esto es posible mediante tests A / B. Se implementarían ambos modelos a la vez, pero se dividirían las solicitudes entre los dos (50/50).

Esta prueba se puede realizar durante el tiempo que sea necesario y, si los resultados son concluyentes y el nuevo modelo resulta más eficaz, se plantearía remplazarlo por el modelo anterior.

Esto es posible con plataformas como Dataiku, eligiendo los parámetros y registrando los resultados del análisis de los dos modelos.

En conclusión, para que los modelos predictivos sean válidos y útiles es necesario ir observándolos, actualizándolos y validándolos constantemente porque hay muchos factores y patrones externos que van surgiendo y que, si no los tenemos en cuenta, va a ser imposible acertar en las predicciones.