El Equilibrio entre la Complejidad y la Verdad Absoluta en la Inteligencia Artificial Lo que Necesitas Saber

La Armonía entre la Complejidad y la Verdad Absoluta en la Inteligencia Artificial Lo que Debes Saber

Para los científicos de datos, la verdad de terreno es el Santo Grial. Si pensamos en la inteligencia artificial como un software que se enseña con ejemplos, en lugar de instrucciones, entonces seleccionar los ejemplos correctos es clave para construir un sistema que funcione bien.

Estos son los datos de registro que reflejan ejemplos verificados del resultado correcto. La verdad de terreno asume:

1. Hay solo un registro para un ejemplo dado.
2. Tenemos alguna definición o rubrica que se aplique universalmente. Por ejemplo, cuando una imagen se etiqueta como un gato, tenemos pautas claras sobre cómo manejar casos borde como ‘tigres’ o dibujos animados de gatos.
3. Tenemos alguna forma de asegurarnos de que es precisa. Por ejemplo, no hay errores tipográficos, errores de medición y el método con el que se generó es sólido.

La verdad de terreno ya es complicada de determinar con datos en hojas de cálculo (tabulares), pero se vuelve aún más desafiante a medida que los datos y objetivos se vuelven más subjetivos.

• Esta investigación de IA propone SMPLer-X Un modelo de base generalista para captura de movimiento humano en 3D/4D a partir de entradas monoculares.
• Dominando la integración de datos de los sistemas SAP con ingeniería rápida
• Una forma bayesiana de elegir un restaurante

A medida que diseñamos modelos de inteligencia artificial más complejos, la ‘corrección’ comienza a volverse más subjetiva. Por ejemplo, si te pidiera que resumieras este artículo en tres oraciones, es probable que obtenga muchas respuestas diferentes, igualmente correctas y posiblemente algunas malas también. Debido a esto, también tenemos más dificultades para generar confianza entre los interesados y los modelos. Continúa leyendo mientras exploro este desafío centrándome específicamente en la verdad de terreno y lo que los interesados necesitan saber para ser socios efectivos de los equipos de ciencia de datos.

El desafío de la complejidad y la verdad de terreno

Para los científicos de datos, la verdad de terreno es la línea base con la que medimos el rendimiento de un modelo.

Con objetivos relativamente simples, como predecir si un paciente será readmitido en 30 días, podemos observar lo que realmente sucede, en este caso, 30 días después. Sin embargo, a medida que los objetivos se vuelven más complejos, como recomendar entre un conjunto de elementos o resumir notas clínicas, definir la verdad de terreno se vuelve muy subjetivo, ya que se pueden observar muchas respuestas igualmente correctas.

El gráfico a continuación muestra la relación entre la complejidad de los datos, la complejidad del objetivo y la verdad de terreno. En un eje, tenemos tipos de datos, que incluyen hojas de cálculo, documentos, fotos, audio y video, y en el otro, tenemos objetivos comunes de inteligencia artificial, que incluyen medir, predecir, recomendar y crear. A medida que los datos se vuelven más complejos, se vuelve más difícil consultarlos.

Nota: Mi línea naranja es metafórica, no es matemáticamente correcta, pero espero que entiendas mi punto.

Y a medida que los modelos van más allá del arco naranja, la probabilidad de riesgo aumenta y determinar la verdad de terreno se vuelve más complicado. Esto se amplifica aún más cuando se amplía (el tamaño del conjunto de datos y el número de predicciones que se hacen).

Estamos viendo que varias IA generativas caen en esta categoría.

En un ejemplo, una estudiante de MIT asiático-americana solicitó a la IA que hiciera su foto de perfil más profesional. La IA generó una imagen casi igual a su selfie original, pero con la piel más clara y los ojos azules, características que la hacían parecer caucásica.

¿Cuál era el punto de referencia de ese modelo al decidir entre apariencias profesionales y no profesionales? ¿Es correcto? ¿Es representativo del mundo en el que vivimos? ¿Es representativo del mundo en el que queremos vivir?

Todas estas son preguntas que enfrentamos con mayor frecuencia con la IA generativa, a medida que determinamos la verdad de terreno en los modelos de ML que estamos diseñando. Y cuando la verdad de terreno se vuelve más subjetiva, se vuelve difícil detectar resultados inesperados, lo que finalmente lleva a una menor confianza en el modelo.

>> Recurso relacionado: Cómo crear confianza entre los constructores de IA y los usuarios de IA

Qué hacer cuando los datos y los objetivos se vuelven más complejos 

Comprender los niveles de complejidad de los datos y los objetivos, y cómo ambos afectan a la verdad fundamental, es útil, pero ¿qué hacemos cuando nos encontramos con modelos que caen en el cuadrante superior derecho de nuestro gráfico anterior?

A continuación, se presentan solo algunas estrategias que los científicos de datos y los líderes empresariales pueden adoptar para determinar una verdad fundamental confiable y generar confianza en modelos de ML más complejos. 

Cultivar la alfabetización en IA

Si queremos que los interesados comprendan de manera más intuitiva por qué necesitan involucrarse en la selección de ejemplos, deben saber cómo luce la verdad fundamental. La alfabetización en IA es una herramienta para construir esta intuición.

La alfabetización en IA se refiere al nivel de comprensión y familiaridad que las personas tienen con los conceptos, tecnologías e implicaciones de la IA. Es un componente crítico para comprender y confiar en los modelos de ML, pero los estudios han demostrado que menos del 25% de los trabajadores tienen conocimientos sobre datos. 

Cultivar la alfabetización en datos y IA dentro de su organización, a través de talleres educativos -la serie “Making Friends with Machine Learning” de Cassie Kozyrkov y su nuevo curso lanzado: Decision Intelligence– o artículos informativos, mejorará significativamente las tasas de adopción de IA y la confianza de los empleados en las iniciativas basadas en IA.  

Adoptar un proceso de gestión de riesgos que incluya la prueba de estrés

A medida que los modelos avanzan en complejidad, adoptar un proceso de gestión de riesgos que incluya la prueba de estrés puede ayudarnos a detectar las formas inesperadas en que los modelos pueden fallar. 

Al igual que los ingenieros aeroespaciales prueban las alas de los aviones en condiciones extremas, los constructores de IA deben dedicar tiempo a diseñar las pruebas de estrés o los escenarios adecuados para comprender dónde los modelos de IA pueden fallar, y luego comunicar claramente estos riesgos potenciales a los interesados que utilizan estos sistemas.

El Marco de gestión de riesgos de IA de NIST es un excelente ejemplo de una evaluación de riesgos para las organizaciones. Incluye una gradación de la complejidad del objetivo y los datos subyacentes para que los equipos puedan comprender de manera proactiva hasta dónde deben llegar al determinar la verdad fundamental. 

Desarrollar una práctica de observabilidad

Cuando nos enfrentamos a decisiones simples y datos simples, podemos verificar rápidamente si el modelo funcionó bien. Por ejemplo, si estamos construyendo un modelo que predice si un cliente de un sitio web va a hacer clic en el botón ‘comprar’ al final de su sesión, en cuestión de minutos obtenemos nuestra respuesta. O bien hizo clic o no, y podemos verificar lo que sucedió casi de inmediato. 

Sin embargo, a medida que aumentan la complejidad de las predicciones, incluso ligeramente, verificar las respuestas se vuelve más difícil. En un ejemplo, si queremos predecir reincidencias de pacientes *, debemos esperar 30 días para obtener la respuesta verificada de si realmente fueron readmitidos, lo que significa que también debemos esperar 30 días antes de poder seleccionar nuestros ejemplos de pacientes readmitidos para el modelado. 

Ahora bien, ¿qué sucede si un paciente se muda de estado durante esta ventana de 30 días y se le atiende en un lugar donde no podemos observar? ¿Cuáles son otras consecuencias de marcos de tiempo más largos, como 60 días o varios meses? 

Una vez que los modelos se están ejecutando en producción y generando predicciones, una práctica de observabilidad en ML es esencial para comparar las predicciones del modelo con lo que realmente sucedió por dos razones.

1. Para seguir construyendo un conjunto de datos más grande de buenos ejemplos de grabaciones (hola, verdad fundamental, te vemos). 
2. Para medir qué tan bien están funcionando realmente los modelos.

*Las reincidencias de pacientes es la probabilidad de que un paciente vuelva a ser internado en un hospital dentro de los 30 días posteriores a una visita de hospitalización. 

Es fácil dejarse llevar por la emoción de diseñar modelos de aprendizaje automático más sofisticados, pero cuando se trata de generar confianza entre las partes interesadas y la inteligencia artificial, a veces la solución más fácil es la mejor opción. Y si el problema realmente requiere un modelo más complejo, prepárate para invertir tiempo y recursos en definir cuidadosamente tu verdad fundamental.

Sobre el autor: Cal Al-Dhubaib es un científico de datos y estratega de IA reconocido internacionalmente en inteligencia artificial confiable, además de ser el fundador y CEO de Pandata , una consultoría de IA, diseño y desarrollo con sede en Cleveland.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!