Noticia Anterior
El Covid- 19 también afecta a los datos: ¿Cómo de precisos son los modelos de data science?
Escrito el 26 mar 2020
Comment: 0
Ante estos acontecimientos sin precedentes una de las principales preocupaciones de muchos data science es que sus modelos actuales podrían estar generando predicciones inexactas o engañosas, afirmaron durante el seminario web, ‘IA en Tiempos Turbulentos: Navegando en condiciones cambiantes’ impulsado por DataRobot. En él se esbozaron los pasos que los científicos de datos pueden tomar para incorporar la robustez en sus procesos de construcción de modelos IA.
A través de una encuesta realizada al principio del seminario sobre el nivel de confianza de los modelos de IA en producción, dados los últimos cambios en el mundo, se puso de relieve que:
El 41,5% afirmó estar seguro de que algunos modelos de IA están produciendo o producirán malas predicciones
El 41,5% sospechaba que sus modelos de IA estaban produciendo malas predicciones, pero no estaba seguro
El 17% dijo que no tienen ni idea de cómo funcionan sus modelos de IA
Los modelos de aprendizaje automático se basan en datos históricos para predecir eventos futuros, pero la pandemia de Covid-19 presenta un desafío único para los data science porque no hay eventos similares para comparar y de esta forma comprobar que las predicciones son competentes.
Un punto de partida es dar un gran paso atrás y preguntarse ¿cómo podrían verse afectados sus modelos? Según DataRobot los equipos de data science también deberían considerar qué acciones están impactando los modelos y cómo las operaciones podrían cambiar como resultado.
Comprender los cambios
Después evaluar y valorar qué características tienen el mayor impacto en sus modelos, pueden considerar cómo la evaluación de estos cambios en las características impactará en sus operaciones. Una vez que estos cambios estén en marcha, las organizaciones pueden obtener una comprensión más realista de dónde deben estar sus nuevos profesionales de negocios, ya que se enfrentan a circunstancias constantemente cambiantes.
Por ejemplo: predecir las citas perdidas en las visitas médicas ambulatorias no es tan importante ahora mismo. Pero, sin embargo, la construcción de modelos para dotar de personal adecuado a los hospitales a nivel de departamento es actualmente vital.
Entender qué características están considerando los modelos predictivos es esencial para hacer los cambios y ajustes necesarios. Estos conocimientos pueden ayudar a los data sience y a los líderes empresariales a determinar qué operaciones deben priorizar.
En medio de los constantes cambios, los data science necesitan hacer más que monitorear los modelos. «Es importante que monitoreen los cambios en las distribuciones de entrada de los modelos para considerar cómo la deriva de los datos podría estar impactando los hallazgos y entender cómo estos cambios afectan su precisión general«, revelaron durante el webinar los expertos.
Esto requiere implementar distintos umbrales para diferentes modelos y considerar cómo deben ser ajustados por adelantado, explican desde DataRobot. “Cuando un modelo comienza a desviarse de estos umbrales, los equipos de data science deben trabajar con las partes pertinentes para que puedan responder en consecuencia. Las organizaciones deben elaborar una estrategia de vigilancia que sea individualizada para los diferentes modelos y permita establecer umbrales de desviación o de precisión de los datos. Sin este enfoque, la vigilancia de los modelos se convierte en algo parecido a ver el agua hervir y es ineficaz”, añade.
El siguiente paso es asegurar que los equipos pertinentes sean alertados de los cambios en el modelo. Después de todo, concluye la compañía: “La pandemia de Covid-19 ha provocado importantes trastornos en las comunidades de todo el mundo. Entender cómo ajustar los modelos a los nuevos desarrollos y prepararse para futuras interrupciones será esencial para navegar en el incierto paisaje que se avecina”.
