Dra. Eva-Marie Muller-Stuler sobre la importancia de adoptar prácticas éticas en IA y Ciencia de Datos

Dra. Eva-Marie Muller-Stuler on the importance of ethical practices in AI and Data Science.

Agradecemos a la Dra. Eva-Marie Muller-Stuler de EY MENA por compartir su notable trayectoria como pionera en datos e IA, varios conocimientos sobre prácticas éticas en IA y ciencia de datos, y valiosos consejos para profesionales aspirantes. La entrevista arroja luz sobre la importancia de la transparencia, la colaboración interdisciplinaria y los riesgos potenciales de no adoptar prácticas éticas en IA y ciencia de datos. Los profesionales aspirantes que buscan incorporar la ética en su trabajo encontrarán valiosos consejos y orientación de esta líder visionaria. Sigue leyendo para descubrir su experiencia y visión sobre el futuro de la IA ética.

Tabla de contenidos

• Trayectoria como pionera en datos e IA: Explorando el camino para dar forma al futuro de los datos y la IA
  • ¿Puede contarnos sobre su trayectoria como pionera en datos e IA y cómo se interesó en el campo?
  • ¿Qué la motivó a enfocarse en la importancia de las prácticas éticas en IA y ciencia de datos?
• Liderando iniciativas en ciencia de datos e IA: Revelando responsabilidades clave en EY MENA
  • ¿Cuáles son sus responsabilidades clave en términos de desarrollar e implementar proyectos y transformaciones complejos de ciencia de datos e IA en EY MENA?
  • ¿Cómo pueden las organizaciones asegurarse de que están adoptando prácticas éticas en IA y ciencia de datos en todas sus operaciones?
• Percepciones sobre la promoción de prácticas éticas en la industria
  • ¿Podría compartir ejemplos específicos donde las consideraciones éticas jugaron un papel importante en la implementación de proyectos de IA o ciencia de datos?
  • ¿Cómo pueden las organizaciones encontrar un equilibrio entre aprovechar los beneficios de la IA y la ciencia de datos y mantener estándares éticos?
  • ¿Qué papel juega la transparencia en garantizar prácticas éticas en IA y ciencia de datos, y cómo pueden las organizaciones lograr transparencia en sus sistemas de IA?
  • ¿Cuáles son los riesgos o consecuencias potenciales de no adoptar prácticas éticas en IA y ciencia de datos?
  • ¿Qué tan importante es la colaboración interdisciplinaria, involucrando a expertos de diversos campos, para garantizar prácticas éticas en IA y ciencia de datos?
• Percepciones y consejos para el futuro
  • ¿Cómo ve la evolución de la IA ética y la ciencia de datos en el futuro y qué pasos pueden tomar las organizaciones para mantenerse a la vanguardia en este panorama de cambio rápido?
  • ¿Qué consejo daría a los profesionales aspirantes en datos e IA que están interesados en incorporar la ética en su trabajo?

Trayectoria como pionera en datos e IA: Explorando el camino para dar forma al futuro de los datos y la IA

¿Puede contarnos sobre su trayectoria como pionera en datos e IA y cómo se interesó en el campo?

Estudié Matemáticas porque siempre me gustó el pensamiento lógico, descubrir patrones y cómo se pueden resolver muchos problemas del mundo real convirtiéndolos en problemas matemáticos. Pero en ese momento, no había muchos trabajos para matemáticos, así que agregué negocios e Informática para tener más opciones laborales cuando terminé la universidad.

Luego comencé mi carrera en Reestructuración Corporativa y modelado financiero, donde se pronostica el impacto financiero de las decisiones comerciales en el desempeño financiero corporativo. Esto moldeó la forma en que pienso sobre la ciencia de datos y la IA para las empresas: hay dos campos separados:

• El Futuro del Desarrollo Web Predicciones y Posibilidades
• Amazon Vs Google Vs Microsoft La carrera para revolucionar la atención médica con IA
• Spotify adopta la IA desde listas de reproducción personalizadas hasta anuncios de audio

a) ¿Se utiliza la ciencia de datos para mejorar el negocio (ingresos, reducir costos o gestionar el riesgo), o

b) ¿es investigación con objetivos de inversión a largo plazo? Cuando las empresas están configurando equipos de ciencia de datos y IA, necesitan definir claramente el impacto que desean generar desde el principio. Demasiados equipos de datos y IA son centros de costos y no tienen un impacto positivo en el negocio.

Mientras trabajaba como directora de un fondo de inversión en Londres, noté lo simples que eran las suposiciones y los datos de entrada cuando se incorporaban a los modelos financieros. Así que comencé a buscar más impulsores e ideas para ayudar a tomar mejores decisiones y agregar más datos e información a los modelos. Llevé esta experiencia a KPMG, donde creamos el primer equipo de Datos y AI de Europa que creó “Máquinas siempre activas” para tomar mejores decisiones comerciales.

@media(min-width:0px){#div-gpt-ad-aitimejournal_com-banner-1-0-asloaded{max-width:728px;max-height:400px;}}

Lo que impulsó mi carrera fue que me rodeé de algunas de las personas más brillantes del planeta y descubrí que podía conectar los dominios que había estudiado con proyectos de ciencia de datos.

No hay otro trabajo en el que puedas combinar la hermosa lógica de las matemáticas con el desarrollo de tecnología de vanguardia y aplicarla a todos los dominios, como el comportamiento humano y la psicología, mejorar la calidad de vida o utilizar los recursos de manera más eficiente en el comercio minorista, la atención médica, la energía, etc.

¿Qué te motivó a centrarte en la importancia de la ética en la inteligencia artificial y las prácticas de ciencia de datos?

En 2013, nos adentramos en la construcción de modelos de big data. Debido a la poca comprensión del acceso y las restricciones de los datos, pudimos obtener muchos datos de forma gratuita (como información de teléfonos identificables personalmente, así como datos de comercio minorista y salud). Conectamos los datos que recopilamos para construir un ecosistema conectado y mejorar nuestros modelos. El impacto de conectar toda la información fue tan poderoso que nos dejó impresionados.

@media(min-width:0px){#div-gpt-ad-aitimejournal_com-large-leaderboard-2-0-asloaded{max-width:728px;max-height:400px;}}

También nos dimos cuenta de cuán sesgados podían ser nuestros modelos y cómo podíamos explicar el riesgo. Había muchos problemas potenciales en los que los modelos podían fallar, pero no existía conciencia de eso, ya que la ciencia de datos y la inteligencia artificial eran un campo muy pequeño y principalmente anclado en la investigación. Unos años más tarde, cada vez más voces advertían sobre el punto de singularidad o que la IA podría volverse contra los humanos. Pero nunca vi eso como el riesgo más apremiante. Construir una IA deficiente es muy simple y cualquier estudiante de secundaria puede hacerlo. Pero construir una IA confiable, justa, transparente y segura es una historia muy diferente. Gran parte de la IA que llegaba al mercado no tenía la calidad suficiente para ser lanzada al público. Por ejemplo, la mayoría de los datos disponibles provienen de un grupo demográfico de hombres blancos, por lo que los modelos construidos con estos datos están automáticamente sesgados a su favor.

Por lo tanto, decidí crear conciencia entre los responsables de la formulación de políticas de que este es un riesgo al que debemos estar atentos para garantizar que la adopción de la ciencia de datos y la IA no afecte negativamente nuestras vidas. Fue entonces cuando empecé a trabajar con organizaciones gubernamentales y ONGs para crear conciencia sobre la necesidad de reglas y regulaciones.

Liderando iniciativas de ciencia de datos e IA: Revelando las principales responsabilidades en EY MENA

¿Cuáles son tus principales responsabilidades en términos de desarrollar e implementar proyectos y transformaciones complejos de ciencia de datos e IA en EY MENA?

El rol tiene dos enfoques: en primer lugar, la práctica y estrategia interna, donde debo decidir nuestras ofertas, cómo llegar al mercado y el desarrollo de habilidades internas. He estructurado la práctica en torno a los pilares principales: gobernanza y estrategia de datos, tecnología y arquitectura, y construcción de casos de uso. También me aseguro de tener el equipo adecuado y las habilidades necesarias.

En segundo lugar, el enfoque es comprender las necesidades del cliente y en qué etapa se encuentra en su proceso de transformación de datos y luego reunir lo mejor de EY para hacerlo avanzar. No importa qué tan alto llegues, debes estar involucrado en la entrega para garantizar la calidad del trabajo y mediar en caso de cualquier problema.

¿Cómo pueden las organizaciones garantizar que están adoptando prácticas éticas de IA y ciencia de datos en todas sus operaciones?

Desde el inicio de la configuración de un equipo de ciencia de datos o IA, debe haber una comprensión clara de los diferentes roles y responsabilidades del equipo. Con cada proyecto, el equipo debe reunirse y decidir, no solo planificar si es ético, sino también cómo implementarlo de manera responsable. La IA ética y confiable no se trata solo de hacer lo correcto, sino también de hacer las cosas correctamente.

La falta de confianza y las preocupaciones éticas son los mayores obstáculos que vemos en la adopción de la IA. Hay muchos marcos diferentes que son muy similares en su núcleo. Los principios fundamentales en el desarrollo son similares en cada marco y se centran en la agencia y supervisión humanas, la robustez y seguridad técnica, la privacidad y gobernanza de datos, la transparencia, la equidad, la responsabilidad, la explicabilidad y la sostenibilidad. Y en cada proyecto, estos principios deben garantizarse y monitorearse desde el principio y durante la implementación de los modelos. Eso es lo que hace que la IA confiable sea un proceso complejo. Comienza desde el principio de la configuración del equipo, cuando es esencial asegurarse de que el equipo tenga las habilidades adecuadas, roles claros, responsabilidades, un código de conducta y procesos de escalada.

Hoy en día, la mayoría de las empresas aún no tienen claro quién es responsable del cumplimiento ético o legal. A menudo no existen procesos establecidos sobre cómo establecer proyectos de manera responsable, cómo implementarlos y cómo monitorearlos en el futuro. Pero cuando hablamos de IA impactante, el impacto siempre puede ser en ambas direcciones: Cada acción que te genera dinero también puede costarte dinero si está equivocada. Por lo tanto, construir una IA confiable debe pasar por todo el proceso de principio a fin: desde la gobernanza de datos hasta la infraestructura técnica, el monitoreo de modelos y la reentrenamiento. Los resultados de los modelos y las recomendaciones solo serán confiables si cada paso del proceso puede ser confiable.

Percepciones sobre la promoción de prácticas éticas en la industria

¿Podría compartir algún ejemplo específico donde las consideraciones éticas hayan desempeñado un papel significativo en la implementación de proyectos de IA o ciencia de datos?

Toda empresa que se tome en serio la transformación de datos debe abordar los desafíos éticos y de IA confiable. La regla general es que cuanto más personas se vean afectadas, mayor será el impacto y, por lo tanto, generalmente mayor será el riesgo. Las soluciones de IA se utilizan cada vez más para decisiones de alto riesgo, y cuando se implementan por completo, pueden tomar muchas malas decisiones a una velocidad muy alta. Las áreas consideradas generalmente de alto riesgo son la información de identificación personal (IIP) o datos biométricos, infraestructura crítica, educación, empleo, aplicación de la ley, etc.

Para el desarrollo de soluciones de IA en estas áreas, es esencial examinar el riesgo y el daño potencial que las soluciones pueden causar y cómo mitigar ese riesgo. Si es imposible garantizar su desarrollo ético y confiable, entonces las soluciones no deberían ser lanzadas al mercado. Estos suelen ser casos relacionados con la predicción del crimen, la admisión o contratación universitaria, las estructuras salariales o la atención médica. Las entidades interesadas en aprovechar soluciones de IA en ese campo también deben ser conscientes de que las soluciones de IA sesgadas o inexactas podrían generar un riesgo financiero, legal o de reputación muy alto.

¿Cómo pueden las organizaciones encontrar un equilibrio entre aprovechar los beneficios de la IA y la ciencia de datos y mantener estándares éticos?

No se trata realmente de un equilibrio. Cada solución que no sea ética y confiable es un desastre y representa un riesgo para el negocio. Puede ser más barato construir rápidamente un modelo en el corto plazo, pero a largo plazo, los modelos fallarán y sus problemas se volverán tan grandes que las empresas gastarán más dinero en ocultar los problemas que en su inversión original en IA. Cada vez vemos más casos en los que la mitigación de los problemas se vuelve extremadamente costosa.

¿Qué papel desempeña la transparencia en garantizar prácticas éticas de IA y ciencia de datos, y cómo pueden las organizaciones lograr la transparencia en sus sistemas de IA?

La transparencia se centra en tener el nivel adecuado de apertura con respecto al propósito, diseño e impacto de los sistemas de IA. Esto incluye tanto que las personas sean conscientes de que las soluciones de IA toman decisiones, como tener documentación clara y hojas de datos sobre qué datos se utilizaron para entrenar el modelo, el propósito y los riesgos potenciales. La descripción del modelo o la hoja de datos debe almacenarse con el modelo para que, si se actualiza, se cambia o se reutiliza para diferentes propósitos, el propósito original, los datos de entrenamiento y los problemas potenciales estén disponibles. Un buen ejemplo es un modelo de atención médica construido para el mercado de Estados Unidos, que podría no estar entrenado con datos de mujeres mayores de 60 en Medio Oriente o África. Debe quedar claro que es posible que no funcione en diferentes regiones cuando se vende y se lanza al mercado.

@media(min-width:0px){#div-gpt-ad-aitimejournal_com-leader-3-0-asloaded{max-width:728px;max-height:400px;}}

La mejor manera de identificar sesgos y problemas de equidad es tener un equipo diverso. El margen de error de los equipos diversos es menor que el de los equipos homogéneos. Es más probable que un equipo diverso identifique problemas potenciales con el desarrollo de soluciones o con los datos desde el principio del proyecto. En el desarrollo del prototipo, se deben verificar los datos de entrenamiento en busca de sesgos para detectar problemas potenciales. Existen muchas herramientas y técnicas para probar los modelos en busca de sesgos, y estas pruebas deben implementarse de manera continua desde el principio, durante todo el desarrollo y la implementación de los modelos. Es esencial monitorear todos los modelos durante la implementación, reentrenamiento o actualización.

¿Cuáles son los posibles riesgos o consecuencias de no adoptar prácticas éticas de IA y ciencia de datos?

El riesgo o las consecuencias potenciales para la IA no ética o no confiable pueden ser muy graves. Cuando decimos que la IA debe tener un impacto, debemos recordar que todo lo que puede tener un impacto positivo también puede tener un impacto negativo. Tan pronto como la IA no sea ética y no sea confiable, realmente no sabemos qué están haciendo los sistemas. Por lo tanto, las consecuencias pueden ser desde riesgo reputacional, pérdida financiera, riesgo legal, pérdida de propiedad intelectual o riesgo para la vida humana, dependiendo para qué se utilice la solución.

La empresa básicamente está volando a ciegas. Por ejemplo, una compañía automotriz que utiliza IA y reconocimiento de imágenes para comprender los límites de velocidad en las autopistas debe asegurarse de que el sistema sea robusto y a prueba de manipulaciones, por ejemplo, cambiando las señales. Deben haber medidas y salvaguardias para que el automóvil no acelere repentinamente a 130 km/h en una zona de 30 km/h. Incluso en entornos de prueba seguros, cada vez que se publicaban noticias negativas sobre vehículos autónomos, se dañaba la reputación de la compañía automotriz. Y esto es lo mismo en todas las industrias. Los gobiernos que utilizaron soluciones de IA para decidir la admisión universitaria de los estudiantes durante la COVID, los bancos que tenían procesos de aprobación de tarjetas de crédito o préstamos sesgados y muchos otros casos han provocado daños financieros, reputacionales o de riesgo.

¿Qué tan importante es la colaboración interdisciplinaria, involucrando expertos de diversos campos, para garantizar prácticas éticas de IA y ciencia de datos?

El desarrollo de marcos éticos y confiables de IA siempre ha sido un campo muy interdisciplinario. Muchos de los marcos se desarrollaron en conjunto en diferentes campos, desde las profesiones políticas, legales y éticas; todos estábamos tratando de trabajar juntos para decidir sobre los requisitos mínimos. Desafortunadamente, la comunidad técnica a menudo ha estado subrepresentada en los grupos de trabajo, por lo que hay un acuerdo sobre lo que se debe lograr, pero a menudo faltan la interpretación técnica, las pautas y los desgloses sobre cómo garantizar el cumplimiento de la ley. Las empresas no están seguras de los pasos que deben seguir para garantizar el cumplimiento, por ejemplo, con la IA explicativa o transparente.

Perspectivas y consejos futuros

¿Cómo ves la evolución futura de la IA ética y la ciencia de datos, y qué pasos pueden tomar las organizaciones para mantenerse adelante en este panorama de cambio rápido?

El desarrollo reciente en GenAI y el lanzamiento de soluciones de IA más sofisticadas ha acelerado enormemente la conciencia y la demanda de IA ética y responsable, reglas gubernamentales y marcos. Con más personas capaces de acceder, experimentar y explorar herramientas de IA, comienzan a ver el riesgo asociado con las características probabilísticas. Esto ha llevado a que la IA ética esté en la parte superior de la agenda de muchas compañías y gobiernos. El vínculo directo entre soluciones de IA éticas y confiables, el cumplimiento de los requisitos legales y el impacto en las finanzas y la reputación de la empresa se ha vuelto más visible en el último medio año. Por lo tanto, no veo los marcos y requisitos legales como un obstáculo o un costo para las empresas. Al contrario, su implementación reducirá el riesgo y permitirá el éxito de una transformación de datos e IA.

¿Qué consejo le darías a los profesionales de datos e IA que aspiran a incorporar la ética en su trabajo?

Comenzaría leyendo los marcos éticos y los requisitos legales que son importantes para mi campo y el país donde trabajan. Los mensajes principales de los marcos son muy similares; se centran en comprender el riesgo, qué puede salir mal y cómo mitigarlo. El primer paso es comprender la diferencia entre soluciones de IA probabilísticas y modelos deterministas tradicionales. Hay mucha información o capacitación disponible de organizaciones gubernamentales y no gubernamentales, por ejemplo, organismos industriales como el IEEE. Una vez que hayan comprendido la intención y los requisitos de los marcos, entonces recomendaría que trabajen junto con mentores senior para realizar una evaluación del estado actual de los proyectos, comiencen a clasificar su riesgo y redacten e implementen un marco y un proceso para garantizar que todos los proyectos cumplan siempre con la IA ética a lo largo de su ciclo de vida.

@media(min-width:0px){#div-gpt-ad-aitimejournal_com-leader-2-0-asloaded{max-width:728px;max-height:400px;}}

We will continue to update Zepes; if you have any questions or suggestions, please contact us!