Utilizando el conocimiento del contexto social para fomentar la aplicación responsable de la IA

Aplicación responsable de la IA con conocimiento del contexto social

Publicado por Donald Martin, Jr., Gerente de Programa Técnico, Jefe de Herramientas y Soluciones de Comprensión del Contexto Societal (SCOUTS), Google Research

Los productos y tecnologías relacionados con la IA se construyen e implementan en un contexto societal: es decir, una colección dinámica y compleja de circunstancias sociales, culturales, históricas, políticas y económicas. Debido a que los contextos societales son, por naturaleza, dinámicos, complejos, no lineales, disputados, subjetivos y altamente cualitativos, resulta desafiante traducirlos en representaciones cuantitativas, métodos y prácticas que dominan los enfoques de aprendizaje automático (ML) estándar y las prácticas de desarrollo de productos de IA responsables.

La primera fase del desarrollo de productos de IA es la comprensión del problema, y esta fase tiene una influencia tremenda en cómo se formulan los problemas (por ejemplo, aumentar la disponibilidad y precisión de la detección de cáncer) para que los sistemas de ML los resuelvan, así como en muchas otras decisiones posteriores, como la elección del conjunto de datos y la arquitectura de ML. Cuando el contexto societal en el que operará un producto no se articula lo suficientemente bien como para obtener una comprensión sólida del problema, las soluciones de ML resultantes pueden ser frágiles e incluso propagar sesgos injustos.

Cuando los desarrolladores de productos de IA no tienen acceso al conocimiento y las herramientas necesarias para comprender y considerar eficazmente el contexto societal durante el desarrollo, tienden a abstraerlo. Esta abstracción los deja con una comprensión superficial y cuantitativa de los problemas que buscan resolver, mientras que los usuarios del producto y los interesados de la sociedad, que están próximos a estos problemas y están inmersos en los contextos societales relacionados, tienden a tener una comprensión cualitativa profunda de esos mismos problemas. Esta divergencia cualitativa-cuantitativa en las formas de comprender problemas complejos que separa a los usuarios del producto y a la sociedad de los desarrolladores es lo que llamamos el abismo de comprensión del problema.

• Nueva investigación de IA de KAIST presenta FLASK un marco de evaluación de granularidad fina para modelos de lenguaje basado en conjuntos de habilidades
• Principales bibliotecas de procesamiento de imágenes en Python
• Principales bases de datos para Inteligencia Artificial, IoT, Aprendizaje Profundo, Aprendizaje Automático, Ciencia de Datos y otras aplicaciones de software

Este abismo tiene repercusiones en el mundo real: por ejemplo, fue la causa raíz del sesgo racial descubierto por un algoritmo de atención médica ampliamente utilizado destinado a resolver el problema de seleccionar pacientes con necesidades de atención médica más complejas para programas especiales. La falta de comprensión del contexto societal en el que operaría el algoritmo llevó a los diseñadores del sistema a formar teorías causales incorrectas y simplificadas sobre cuáles eran los factores clave del problema. Se omitieron factores socioestructurales críticos, como la falta de acceso a la atención médica, la falta de confianza en el sistema de atención médica y el subdiagnóstico debido a sesgos humanos, mientras que se destacaba el gasto en atención médica como un predictor de la necesidad de salud compleja.

Para superar el abismo de comprensión del problema de manera responsable, los desarrolladores de productos de IA necesitan herramientas que pongan el conocimiento validado por la comunidad y estructurado del contexto societal sobre problemas societales complejos al alcance de sus manos, comenzando por la comprensión del problema, pero también a lo largo de todo el ciclo de desarrollo del producto. Con ese fin, Societal Context Understanding Tools and Solutions (SCOUTS) – parte del equipo de Responsible AI and Human-Centered Technology (RAI-HCT) dentro de Google Research – es un equipo de investigación dedicado a la misión de “empoderar a las personas con el conocimiento escalable y confiable del contexto societal necesario para realizar una IA responsable y robusta y resolver los problemas societales más complejos del mundo”. SCOUTS se motiva por el desafío significativo de articular el contexto societal y realiza investigaciones fundamentales y aplicadas innovadoras para producir conocimiento estructurado del contexto societal e integrarlo en todas las fases del ciclo de desarrollo de productos relacionados con la IA. El año pasado anunciamos que Jigsaw, la incubadora de Google para construir tecnología que explore soluciones a amenazas contra sociedades abiertas, aprovechó nuestro enfoque de conocimiento estructurado del contexto societal durante las fases de preparación y evaluación de datos del desarrollo del modelo para escalar la mitigación de sesgos en su clasificador de toxicidad de la API de Perspective ampliamente utilizado. En el futuro, la agenda de investigación de SCOUTS se enfoca en la fase de comprensión del problema del desarrollo de productos relacionados con la IA con el objetivo de superar el abismo de comprensión del problema.

Superando el abismo de comprensión del problema en IA

Superar el abismo de comprensión del problema en IA requiere dos elementos clave: 1) un marco de referencia para organizar el conocimiento estructurado del contexto societal y 2) métodos participativos y no extractivos para obtener el conocimiento de la comunidad sobre problemas complejos y representarlo como conocimiento estructurado. SCOUTS ha publicado investigaciones innovadoras en ambas áreas.

Ilustración del abismo de comprensión del problema.

Un marco de referencia del contexto societal

Un ingrediente esencial para producir conocimiento estructurado es una taxonomía para crear la estructura que lo organice. SCOUTS colaboró con otros equipos de RAI-HCT (TasC, Impact Lab), Google DeepMind y expertos externos en dinámica de sistemas para desarrollar un marco de referencia taxonómico para el contexto societal. Para lidiar con la naturaleza compleja, dinámica y adaptable del contexto societal, aprovechamos la teoría de sistemas adaptativos complejos (CAS) para proponer un modelo taxonómico de alto nivel para organizar el conocimiento del contexto societal. El modelo identifica tres elementos clave del contexto societal y los bucles de retroalimentación dinámica que los unen: agentes, preceptos y artefactos.

• Agentes: Estos pueden ser individuos o instituciones.
• Preceptos: Las preconcepciones, incluyendo creencias, valores, estereotipos y sesgos, que limitan y guían el comportamiento de los agentes. Un ejemplo de un precepto básico es que “todos los jugadores de baloncesto miden más de 6 pies de altura”. Esa suposición limitante puede llevar a fallos en la identificación de jugadores de baloncesto de menor estatura.
• Artefactos: Los comportamientos de los agentes producen muchos tipos de artefactos, incluyendo lenguaje, datos, tecnologías, problemas societales y productos.

Las relaciones entre estas entidades son dinámicas y complejas. Nuestro trabajo postula que los preceptos son el elemento más crítico del contexto social y destacamos los problemas que las personas perciben y las teorías causales que tienen sobre por qué existen esos problemas, como preceptos particularmente influyentes que son fundamentales para comprender el contexto social. Por ejemplo, en el caso de sesgo racial en un algoritmo médico descrito anteriormente, el precepto de teoría causal sostenido por los diseñadores era que los problemas de salud complejos harían que los gastos en atención médica aumentaran para todas las poblaciones. Ese precepto incorrecto llevó directamente a la elección del gasto en atención médica como variable proxy para el modelo que predice la necesidad de atención médica compleja, lo que a su vez llevó a que el modelo tuviera sesgo contra los pacientes negros que, debido a factores sociales como la falta de acceso a la atención médica y el subdiagnóstico debido a prejuicios en promedio, no siempre gastan más en atención médica cuando tienen necesidades de atención médica complejas. Una pregunta clave abierta es cómo podemos obtener teorías causales de manera ética y equitativa de las personas y comunidades que están más próximas a los problemas de inequidad y transformarlas en conocimiento estructurado útil?

Versión ilustrativa del marco de referencia del contexto social.

Versión taxonómica del marco de referencia del contexto social.

Trabajando con comunidades para fomentar la aplicación responsable de la IA a la atención médica

Desde su inicio, SCOUTS ha trabajado para desarrollar capacidades en comunidades históricamente marginadas para articular el contexto social más amplio de los problemas complejos que les importan utilizando una práctica llamada dinámica de sistemas basada en la comunidad (CBSD, por sus siglas en inglés). La dinámica de sistemas (SD, por sus siglas en inglés) es una metodología para articular teorías causales sobre problemas complejos, tanto cualitativamente mediante diagramas de bucles causales y flujo de stocks (CLDs y SFDs, respectivamente) como cuantitativamente mediante modelos de simulación. El soporte inherente de herramientas visuales cualitativas, métodos cuantitativos y construcción colaborativa de modelos lo convierte en un ingrediente ideal para superar la brecha de comprensión del problema. CBSD es una variante comunitaria y participativa de SD específicamente enfocada en desarrollar capacidades dentro de las comunidades para describir y modelar colaborativamente los problemas a los que se enfrentan como teorías causales, directamente sin intermediarios. Con CBSD hemos sido testigos de cómo los grupos de la comunidad aprenden los conceptos básicos y comienzan a dibujar CLDs en tan solo 2 horas.

Miembros de la comunidad Data 4 Black Lives aprendiendo dinámica de sistemas.

Existe un enorme potencial para la IA en mejorar el diagnóstico médico. Sin embargo, la seguridad, equidad y confiabilidad de los algoritmos de diagnóstico de salud relacionados con la IA dependen de conjuntos de datos de entrenamiento diversos y equilibrados. Un desafío abierto en el espacio del diagnóstico de salud es la falta de datos de muestra de entrenamiento de grupos históricamente marginados. SCOUTS colaboró con la comunidad Data 4 Black Lives y expertos en CBSD para producir teorías causales cualitativas y cuantitativas para el problema de la brecha de datos. Las teorías incluyen factores críticos que conforman el contexto societal más amplio que rodea los diagnósticos de salud, incluyendo la memoria cultural de la muerte y la confianza en la atención médica.

La figura a continuación muestra la teoría causal generada durante la colaboración descrita anteriormente como un CLD. Hipotetiza que la confianza en la atención médica influye en todas las partes de este sistema complejo y es la palanca clave para aumentar el cribado, lo que a su vez genera datos para superar la brecha de diversidad de datos.

Diagrama de bucle causal de la brecha de datos en el diagnóstico de salud

Estas teorías causales de origen comunitario son el primer paso para superar la brecha de comprensión del problema con un conocimiento societal confiable.

Conclusión

Como se discutió en este blog, la brecha de comprensión del problema es un desafío abierto crítico en la IA responsable. SCOUTS realiza investigaciones exploratorias y aplicadas en colaboración con otros equipos dentro de Google Research, la comunidad externa y socios académicos en múltiples disciplinas para avanzar significativamente en su solución. En el futuro, nuestro trabajo se centrará en tres elementos clave, guiados por nuestros Principios de IA:

1. Aumentar la conciencia y comprensión de la brecha de comprensión del problema y sus implicaciones a través de charlas, publicaciones y capacitación.
2. Realizar investigaciones fundamentales y aplicadas para representar e integrar el conocimiento del contexto societal en las herramientas y flujos de trabajo de desarrollo de productos de IA, desde la concepción hasta el monitoreo, evaluación y adaptación.
3. Aplicar métodos de modelado causal basados en la comunidad al ámbito de la equidad en la salud de la IA para lograr impacto y construir la capacidad de la sociedad y de Google para producir y aprovechar el conocimiento de contexto societal a escala global para lograr una IA responsable.

Flywheel de SCOUTS para superar la brecha de comprensión del problema.

Agradecimientos

Gracias a John Guilyard por el desarrollo de gráficos, a todos en SCOUTS y a todos nuestros colaboradores y patrocinadores.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!