Descubriendo los efectos perjudiciales de la IA en la comunidad trans

The harmful effects of AI on the trans community.

Los peligros del software de reconocimiento de género, modelos médicos inadecuados y la amplificación de contenido transfóbico

Las discusiones sobre los riesgos de la inteligencia artificial (IA) a menudo gravitan hacia los peligros hipotéticos de la inteligencia artificial general (IAG) y los escenarios apocalípticos. Los robots no van a tomar el control del mundo. Sin embargo, el nivel actual de IA sí plantea riesgos tangibles. Particularmente para la comunidad trans y de género no conformante que ya ha sido afectada por esta tecnología.

Describiremos los peligros para esta comunidad con un enfoque en:

• Reconocimiento automático de género
• Limitaciones de modelos médicos
• La amplificación de contenido transfóbico en las redes sociales

Mientras que la comunidad trans siente las consecuencias inmediatas, estos peligros nos afectan a todos. Propagan el odio y limitan la riqueza de la diversidad, limitando nuestra capacidad colectiva para expresarnos plenamente. Debemos entender cómo nuestro papel como profesionales de la tecnología puede apoyar a las personas trans y crear una sociedad más fuerte.

Estamos en un punto en el que podemos implementar IA a gran escala, solo porque tenemos una cantidad significativa de datos y potencia computacional. La preocupación es que la IA no está cumpliendo con los desafíos éticos.

• ¡Di una vez! Repetir palabras no ayuda a la IA.
• Creando Operaciones de Aprendizaje Automático para Empresas
• La Guía Esencial de Análisis Exploratorio de Datos para un Científico de Datos.

— Alex Hanna

Filtros de cara

Comenzaremos con un ejemplo que, a primera vista, puede no parecer grave. Si estás en las redes sociales, sabes lo que es un filtro facial. Usan el aprendizaje automático para deformar tu cara, hacerte parecer mayor o incluso convertir a tu perro en un personaje de Disney. La mayoría estaría de acuerdo en que esto es solo una diversión inofensiva. Cuando se trata de género, las cosas pueden ser más complicadas. Aunque, las consecuencias negativas no deben exagerarse.

Sólo soy un aliado y no puedo hablar por las personas trans. Parece que, incluso entre la comunidad trans, las consecuencias de los filtros que cambian el género son discutibles. Pueden permitirte explorar tu identidad y expresión de género. Sin embargo, también pueden reforzar estereotipos de género y excluir a personas no binarias. Incluso algunos han utilizado los filtros para burlarse del proceso de transición.

Explorar el género y diferentes géneros al que fuiste asignado es algo bueno, lo animo. Puedes aprender cosas nuevas sobre ti mismo que te sorprendan, y puedes encontrarte siendo más amable con las personas trans.

— Charlie Knight

Cuando se discute este tipo de tecnología, debe hacerse una distinción entre las aplicaciones que te permiten elegir un género y aquellas que intentan predecirlo. Por ejemplo, ve el primer video en la compilación de filtros de Pixar. El algoritmo tiene dificultades cuando los usuarios no tienen características masculinas o femeninas tradicionales.

Esto revela el problema con este tipo de aplicaciones: la tecnología subyacente se basa en la suposición de que se puede predecir la identidad de género de alguien. Esto es pseudociencia. Llevar la suposición a otras aplicaciones puede tener consecuencias significativas.

Reconocimiento automático de género (AGR)

AGR o software de reconocimiento de género es una rama del aprendizaje automático que intenta predecir el género de una persona. Esto se hace analizando características faciales, forma del cuerpo, ropa, patrones de voz o rasgos de comportamiento. Sin embargo, el género es complejo y no puede ser capturado completamente por estos aspectos. Esto es especialmente cierto cuando se trata de personas trans.

Un estudio sobre 4 sistemas de AGR, visto en Figura 1, mostró que se malidentificó el género de mujeres trans 12,7% y de hombres trans 29,5% del tiempo en promedio. Esto se compara con el 1,7% y 2,4% para mujeres y hombres cis [1]. Estos sistemas también ignoran completamente a otros grupos de género.

Es irrespetuoso malgenerizar a las personas trans. También puede tener graves efectos en la salud mental. Ser constantemente referido como el género con el que no te identificas puede ser agotador y desmoralizador. Ahora imagina un mundo en el que esto está automatizado e integrado en nuestros sistemas cotidianos.

No tienes que pensar demasiado. Estos sistemas ya han sido implementados:

• Una empresa automatizó un cartel publicitario para anunciar una pizza para hombres y una ensalada para mujeres
• El operador de transporte público de Berlín ofreció un descuento del 21% a las viajeras
• Giggle, la aplicación de redes sociales “solo para mujeres” que rechazó a las mujeres trans
• Los conductores de Uber trans han tenido sus cuentas suspendidas por un sistema de seguridad de reconocimiento facial

El daño causado por este tipo de sistemas es bien conocido, tanto que se ha instado a la UE a prohibirlos.

Modelos de atención médica que dependen del género

AGR implica aprendizaje automático donde el género es la variable objetivo. También surgen problemas cuando incluimos el género como característica del modelo. Específicamente, cuando no distinguimos entre sexo (género asignado al nacer) y género (roles socialmente construidos). Este problema es prevalente en los modelos de atención médica.

En la atención médica, el sexo y el género a menudo están confundidos. Tanto es así que se ha propuesto el término medicina basada en el sexo-género [2]. De hecho, se ha recopilado poca información que considere a las personas trans y otros grupos de género como una categoría. El resultado son modelos entrenados usando una sola característica binaria: hombre/mujer, siendo el sexo asignado al nacer el proxy tanto del sexo como del género [3].

Las suposiciones falsas de que el sexo y el género son binarios, estáticos y concordantes están profundamente arraigadas en el sistema médico.

— Kendra Albert, Maggie Delano

El problema es que hay muchos diagnósticos y tratamientos donde la interacción entre el sexo y el género es importante [4]. Esto es cierto para la prevención del VIH, la salud reproductiva, la terapia de reemplazo hormonal y la salud mental. Al combinar el sexo y el género en una sola variable, estamos ignorando a las personas trans en nuestros sistemas médicos. El resultado es una atención deficiente en comparación con sus contrapartes cisgénero.

La amplificación de contenido transfóbico en las redes sociales

Hasta ahora, nos hemos enfocado en impactos más directos. Al afianzar las expectativas de género y empeorar el rendimiento del modelo, la IA puede llevar a experiencias negativas para las personas trans. La IA también puede tener un impacto menos directo. Es influenciando la opinión de los demás sobre las personas trans.

Los algoritmos de recomendación de redes sociales tienen un trabajo: mantenerlo en la plataforma. Desafortunadamente, la ira, especialmente hacia un grupo al que no perteneces, es efectiva para impulsar la participación [5]. También hay preocupaciones de que los algoritmos puedan reforzar creencias preexistentes [6]. Es decir, solo recomendando contenido similar al que has interactuado en el pasado.

El género es central para las normas y expectativas sociales modernas. La existencia de personas trans puede desafiar esto. Para algunos, esto se encuentra con miedo, enojo y una falta de voluntad para aceptar hechos científicos. Estas son condiciones propicias para aumentar el compromiso y crear cámaras de eco transfóbicas.

Lo hemos visto en Facebook. Aquí, los usuarios obtienen una comprensión sesgada e infactual de los problemas que afectan a las personas trans. Como se ve en Figura 2, las publicaciones sobre temas trans en páginas de derecha obtuvieron casi el doble de interacciones. La mayoría de estas publicaciones son de sitios web anti-trans.

Facebook no es la única plataforma con un problema. Después de interactuar con contenido transfóbico, TikTok te lleva por un camino hacia el extremismo, el odio y la violencia. Mi experiencia de recibir contenido transfóbico recomendado en los videos cortos de YouTube es lo que me motivó a escribir este artículo, una experiencia compartida por otros.

El contenido en estas plataformas busca impulsar la falsa narrativa de que ser trans es una ideología o una enfermedad mental. No lo es. También intenta desviar y trivializar el debate alejándolo de los derechos humanos básicos y hacia los deportes, baños y pronombres. Lo más insidioso busca reformular la búsqueda de la igualdad como un ataque a los niños.

La comunidad trans no representa ningún riesgo para los niños. No obstante, este contenido sí representa un riesgo significativo para ellos. En 2023, se aprobaron en los Estados Unidos 79 leyes anti-trans. Se cree que las redes sociales han contribuido a estos cambios de política. El contenido transfóbico también produce cambios sociales negativos.

El 82% de las personas transgénero han considerado el suicidio y el 40% han intentado suicidarse. El factor más significativo que contribuye a esta cifra son los insultos o desaires breves y cotidianos [7]. El mismo comportamiento que normaliza y promueve el contenido anti-trans.

Las microagresiones interpersonales contribuyen de manera única y estadísticamente significativa a los intentos de suicidio a lo largo de la vida

— Ashley Austin, et. al.

Basándonos en estas consecuencias, las plataformas de redes sociales tienen la obligación moral de frenar este contenido. Como mínimo, etiquetarlo como falso e inscientífico. Todos debemos rechazar la transfobia. Como trabajadores en tecnología, también debemos usar nuestras posiciones únicas de influencia. Tenemos el poder de hacer frente a estas tendencias y dar forma a los mismos sistemas que dañan a las personas trans.

Podemos empezar educándonos sobre lo que significa ser trans. Podemos luchar por datos de formación inclusivos y equipos más diversos. También deberíamos abogar por una regulación dirigida a aumentar la transparencia, la explicabilidad y la supervisión humana de los sistemas de inteligencia artificial. Al hacerlo, no debemos permitirnos distraernos con escenarios hipotéticos de desastre, sino centrarnos en los riesgos inmediatos de la inteligencia artificial.

Todos los fondos de asociación de Zepes de este artículo serán donados a TGEU. Consulte los vídeos a continuación si desea aprender sobre lo que significa ser transgénero o cómo ser un mejor aliado. ¡Feliz Mes del Orgullo! 🙂

¿Qué significa ser transgénero?

La neurociencia de ser transgénero

Trans 101 – Ser un aliado trans

Puedes encontrarme en Mastodon | Twitter | YouTube | Newsletter – regístrate para acceder GRATIS a un curso de Python SHAP

Únete a Zepes con mi enlace de referencia – Conor O’Sullivan

Como miembro de Zepes, una parte de tu cuota de membresía va a los escritores que lees y tienes acceso completo a cada historia…

conorosullyds.medium.com

Referencias

[1] Scheuerman, M.K., Paul, J.M. y Brubaker, J.R., 2019. Cómo los ordenadores ven el género: Una evaluación de la clasificación de género en servicios comerciales de análisis facial. Actas de la ACM sobre Interacción Humano-Computadora, 3 (CSCW), pp.1–33 https://docs.wixstatic.com/ugd/eb2cd9_963fbde2284f4a72b33ea2ad295fa6d3.pdf

[2] Campesi, I., Montella, A., Seghieri, G. y Franconi, F., 2021. El cuidado de la persona requiere un enfoque de género y sexo. Journal of Clinical Medicine, 10 (20), p.4770. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8541070/

[3] Chen, I.Y., Pierson, E., Rose, S., Joshi, S., Ferryman, K. y Ghassemi, M., 2021. Aprendizaje automático ético en atención sanitaria. Revisión anual de ciencias de datos biomédicos, 4, pp.123–144. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8362902/

[4] Albert, K. y Delano, M., 2022. Problemas de género: deslizamiento de género/sexo, confusión de género y obsesión por el sexo en el aprendizaje automático utilizando registros electrónicos de salud. Patrones, 3 (8), p.100534. https://www.sciencedirect.com/science/article/pii/S2666389922001313

[5] Rathje, S., Van Bavel, J.J. y Van Der Linden, S., 2021. La animosidad hacia el grupo externo impulsa la participación en las redes sociales. Actas de la Academia Nacional de Ciencias, 118 (26), p.e2024292118. https://www.pnas.org/doi/abs/10.1073/pnas.2024292118

[6] Jiang, R., Chiappa, S., Lattimore, T., György, A. y Kohli, P., enero de 2019. Bucles de retroalimentación degenerados en sistemas de recomendación. En Actas de la Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad 2019 (pp. 383-390). https://arxiv.org/pdf/1902.10730.pdf

[7] Austin, A., Craig, S.L., D’Souza, S. y McInroy, L.B., 2022. Suicidio entre jóvenes transgénero: dilucidando el papel de los factores de riesgo interpersonales. Journal of interpersonal violence, 37 (5-6), pp. NP2696-NP2718. https://pubmed.ncbi.nlm.nih.gov/32345113/

We will continue to update Zepes; if you have any questions or suggestions, please contact us!