Una nueva investigación de Inteligencia Artificial de Stanford muestra cómo las explicaciones pueden reducir la dependencia excesiva en los sistemas de IA durante la toma de decisiones

Nueva investigación de IA de Stanford muestra cómo las explicaciones reducen la dependencia en sistemas de IA en la toma de decisiones.

El auge de la inteligencia artificial (IA) en los últimos años está estrechamente relacionado con la mejora de la calidad de vida humana debido a la capacidad de la IA para realizar trabajos más rápidos y con menos esfuerzo. En la actualidad, prácticamente no hay ningún campo que no haga uso de la IA. Por ejemplo, la IA está presente en todas partes, desde los agentes de IA en asistentes de voz como Amazon Echo y Google Home hasta el uso de algoritmos de aprendizaje automático en la predicción de la estructura de proteínas. Por lo tanto, es razonable creer que un ser humano que trabaje con un sistema de IA producirá decisiones que son superiores a las que cada uno produciría por separado. ¿Es esto realmente así?

Estudios anteriores han demostrado que esto no siempre es el caso. En varias situaciones, la IA no siempre produce la respuesta correcta y estos sistemas deben ser entrenados nuevamente para corregir sesgos u otros problemas. Sin embargo, otro fenómeno asociado que representa un peligro para la efectividad de los equipos de toma de decisiones humano-IA es la sobredependencia de la IA, lo cual establece que las personas se ven influenciadas por la IA y a menudo aceptan decisiones incorrectas sin verificar si la IA es correcta. Esto puede ser bastante perjudicial al realizar tareas críticas y esenciales como identificar fraudes bancarios y brindar diagnósticos médicos. Los investigadores también han demostrado que la IA explicativa, que es cuando un modelo de IA explica en cada paso por qué tomó una cierta decisión en lugar de simplemente proporcionar predicciones, no reduce este problema de sobredependencia de la IA. Algunos investigadores incluso han afirmado que los sesgos cognitivos o la confianza no calibrada son la causa principal de la sobredependencia, atribuyendo la sobredependencia a la naturaleza inevitable de la cognición humana.

Sin embargo, estos hallazgos no confirman completamente la idea de que las explicaciones de la IA deberían disminuir la sobredependencia. Para explorar esto más a fondo, un equipo de investigadores del Laboratorio de Inteligencia Artificial Centrada en el Ser Humano (HAI) de la Universidad de Stanford afirmó que las personas eligen estratégicamente si interactuar o no con una explicación de IA, demostrando que hay situaciones en las que las explicaciones de la IA pueden ayudar a que las personas dependan menos. Según su artículo, es menos probable que las personas dependan de las predicciones de IA cuando las explicaciones de IA relacionadas son más fáciles de entender que la actividad en sí y cuando hay un beneficio mayor al hacerlo (que puede ser en forma de una recompensa financiera). También demostraron que la sobredependencia de la IA puede reducirse considerablemente cuando nos centramos en involucrar a las personas con la explicación en lugar de simplemente tener el objetivo de suministrarla.

• Descubre DERA Un marco de inteligencia artificial para mejorar las completaciones de modelos de lenguaje grandes con agentes de resolución habilitados para el diálogo
• El equipo de Red AI de Google los hackers éticos que hacen que la IA sea más segura
• Usando un Keras Tuner para la optimización de hiperparámetros de un modelo TensorFlow

El equipo formalizó esta decisión táctica en un marco de costos y beneficios para poner a prueba su teoría. En este marco, se comparan los costos y beneficios de participar activamente en la tarea con los costos y beneficios de depender de la IA. Instaron a los trabajadores en línea a trabajar con una IA para resolver un desafío de laberinto en tres niveles diferentes de complejidad. El modelo de IA correspondiente ofreció la respuesta y o bien no ofreció ninguna explicación o proporcionó diferentes grados de justificación, que iban desde una sola instrucción para el siguiente paso hasta indicaciones paso a paso para salir del laberinto completo. Los resultados de los ensayos mostraron que los costos, como la dificultad de la tarea y las dificultades de explicación, y los beneficios, como la compensación monetaria, influyeron sustancialmente en la sobredependencia. La sobredependencia no se redujo en absoluto para tareas complejas en las que el modelo de IA proporcionaba instrucciones paso a paso, ya que descifrar las explicaciones generadas era tan desafiante como resolver el laberinto solo. Además, la mayoría de las justificaciones no tuvieron ningún impacto en la sobredependencia cuando era fácil escapar del laberinto por cuenta propia.

El equipo concluyó que si el trabajo es desafiante y las explicaciones asociadas son claras, pueden ayudar a prevenir la sobredependencia. Sin embargo, cuando el trabajo y las explicaciones son difíciles o simples, estas explicaciones tienen poco efecto en la sobredependencia. Las explicaciones no importan mucho si las actividades son fáciles de hacer porque las personas pueden realizar la tarea por sí mismas con la misma facilidad en lugar de depender de explicaciones para generar conclusiones. Además, cuando las tareas son complejas, las personas tienen dos opciones: completar la tarea manualmente o examinar las explicaciones generadas por la IA, que a menudo son igual de complicadas. La causa principal de esto es que hay pocas herramientas de explicabilidad disponibles para los investigadores de IA que requieren mucho menos esfuerzo para verificar que realizar la tarea manualmente. Por lo tanto, no es sorprendente que las personas tiendan a confiar en el juicio de la IA sin cuestionarlo o buscar una explicación.

Como experimento adicional, los investigadores también introdujeron el aspecto del beneficio monetario en la ecuación. Ofrecieron a los trabajadores en línea la opción de trabajar de forma independiente en laberintos de diferentes niveles de dificultad por una suma de dinero o de aceptar menos dinero a cambio de la ayuda de una IA, ya sea sin explicación o con indicaciones complicadas paso a paso. Los resultados mostraron que los trabajadores valoran más la asistencia de la IA cuando la tarea es desafiante y prefieren una explicación sencilla a una compleja. Además, se descubrió que la sobredependencia disminuye a medida que aumenta el beneficio a largo plazo de usar la IA (en este ejemplo, la recompensa financiera).

Los investigadores de Stanford tienen grandes esperanzas de que su descubrimiento brinde algo de consuelo a los académicos que han estado perplejos por el hecho de que las explicaciones no disminuyan la dependencia excesiva. Además, desean inspirar a los investigadores de IA explicables con su trabajo al proporcionarles un argumento convincente para mejorar y agilizar las explicaciones de IA.

Consulta el Artículo y el Artículo de Stanford. Todo el crédito de esta investigación corresponde a los investigadores de este proyecto. Además, no olvides unirte a nuestro SubReddit de ML de más de 26k seguidores, nuestro Canal de Discord y nuestro Boletín por correo electrónico, donde compartimos las últimas noticias de investigación en IA, proyectos interesantes de IA y más.

Desbloqueando los secretos del aprendizaje profundo con la plataforma de explicabilidad de Tensorleap

El artículo Una nueva investigación de Inteligencia Artificial de Stanford muestra cómo las explicaciones pueden reducir la dependencia excesiva en los sistemas de IA durante la toma de decisiones apareció primero en MarkTechPost.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!