El desafío de los sesgos en la inteligencia artificial generativa: repensando la representación y diversidad

La inteligencia artificial (IA) generativa en el sector de la salud tiene el potencial de mejorar el diagnóstico, el tratamiento y la atención médica en general. Sin embargo, también puede conllevar riesgos que debemos conocer y gestionar para garantizar que se utilice de manera ética y equitativa.

Al cerrar el mes de junio, en el que se conmemora el orgullo LGBTQIA+ y reflexionamos sobre la equidad, la diversidad y nuestros sesgos personales y organizacionales, debemos también reflexionar sobre los sesgos de la IA generativa. Este tipo de inteligencia artificial se enfoca en la generación de contenido original a partir de datos existentes y su uso está cada vez más extendido en nuestra vida diaria.

La tasa de adopción, por ejemplo, de Chat GPT ha crecido a una tasa exponencial, superando incluso a TikTok o Instagram. Por lo tanto, es crucial ser conscientes de los sesgos inherente a esta tecnología y tomar medidas para mitigar el riesgo de perpetuarlos.

Pensamos que, por el hecho de ser generada por máquinas, la IA es neutra, y esto está lejos de la realidad. Es clave entender cómo se entrenan los modelos de IA generativa. Para hacerlo, podemos utilizar el ejemplo publicado en la revista Bloomberg hace unas semanas donde analizaron más de 5.000 imágenes generadas por un modelo de texto a imagen.

El modelo fue entrenado con un conjunto de datos masivo de textos e imágenes, que incluía algunas que contenían estereotipos raciales y de género. El análisis reveló que el modelo tenía más probabilidades de generar imágenes que se ajustaban a estos estereotipos.

Por ejemplo, el modelo tenía más probabilidades de generar imágenes de personas negras como criminales o deportistas, e imágenes de personas blancas como profesionales o líderes empresariales.

Este sesgo puede surgir de los datos de entrenamiento utilizados para crear los algoritmos de IA. Si estos datos tienen sesgos o prejuicios inherentes, entonces la IA también tendría esas mismas tendencias.

Desafortunadamente, este no es un tema nuevo. Por ejemplo, en un artículo en la revista Science en 2017 científicos de datos nos advirtieron cómo los grandes cuerpos de texto utilizados para entrenar modelos de lenguaje contienen sesgos inherentes a la sociedad humana que pueden incluir prejuicios raciales, de género y culturales.

También explicaron cómo los modelos de lenguaje pueden perpetuar los sesgos existentes en la sociedad. En 2020 se publicó un documental llamado Coded Bias donde Joy Buolamwini, investigadora del MIT Media Lab, descubre que el reconocimiento facial no “ve” con precisión los rostros de tonos de piel oscuros y emprende un viaje para impulsar la primera legislación en Estados Unidos contra el sesgo en los algoritmos que nos afectan a todos.

Lea también: Superando la Brecha: Avanzando en el Acceso Quirúrgico en Colombia

Este tema es aún más complejo dentro del sector salud. La mayoría de los profesionales aprendimos sobre lesiones dermatológicas basándonos en imágenes de pieles blancas, generando barreras de acceso y calidad de los servicios dermatológicos para personas con pieles cafés o negras.

El sesgo en los síntomas asociados a infarto en mujeres está bien estudiado con metaanálisis que demuestran que el no reconocimiento de los síntomas en mujeres lleva a demoras en diagnóstico y tratamiento con consecuencias nefastas, y recomendaciones claras de no utilizar los términos dolor típico o atípico.

Aun cuando la IA ofrece posibilidades de avanzar en predicción clínica como soporte en decisiones, si alimentamos las bases de entrenamiento de sistemas de IA con lesiones dermatológicas en personas con pieles blancas, o si les enseñamos a través de algoritmos sobre el dolor torácico típico, perpetuaremos y profundizaremos los sesgos.

Los sesgos raciales o de género no son los únicos que debemos tener en cuenta. Estando en Latinoamérica, debemos reconocer la sobrerrepresentación que tienen bases de datos de Estados Unidos y China en las plataformas de IA clínica.

Así, es necesario analizar cómo podemos sumar información local y recalibrar los sistemas de acuerdo con las poblaciones foco de las intervenciones. Para lograrlo, necesitamos colaboración interinstitucional en el sur global, que fomente la construcción de bases más diversas desde lo sociodemográfico, racial, de género y espacialidades clínicas, entre otras.

Para mitigar estos riesgos, es esencial utilizar datos de entrenamiento que sean representativos de las poblaciones de pacientes en su conjunto, en lugar de sólo una parte de ellas.

Además, los equipos que trabajan en la implementación de la IA deben tener en cuenta las posibles fuentes de sesgo y evaluar sistemáticamente los resultados para detectar cualquier tendencia preocupante.

La transparencia en la IA también es crucial para ayudar a identificar y gestionar los riesgos. Esto significa que los algoritmos y modelos deben ser diseñados de manera que puedan explicarse y entenderse fácilmente por los profesionales médicos y los pacientes. También significa que se deben documentar y divulgar abiertamente los procesos de toma de decisiones detrás de los sistemas de IA, junto con los supuestos y limitaciones que pueden influir en esos procesos.

Asimismo, debemos reconocer a los sistemas que se “alimentan” con bases de datos diversas, ¿quién no ha escuchado organizaciones presumir de los billones o trillones de datos con los que se construyó una plataforma de AI? Sin embargo, más datos no necesariamente nos llevarán a mejores decisiones.

Finalmente, la gestión de riesgos de los sesgos de la IA generativa en el sector de la salud requiere una colaboración sostenida entre profesionales de la salud, ingenieros, científicos de datos, pacientes y otros interesados. Solo mediante el trabajo continuo para abordar estos riesgos se puede aprovechar todo el potencial de la IA generativa para mejorar la salud y el bienestar, sin perpetuar sesgos.

Acá no hay una varita mágica, ninguna ley o acto administrativo que regule la materia tendrá un impacto significativo, seremos los usuarios y los líderes de las organizaciones del sector, quienes podemos transformar la realidad con nuestras acciones todos los días.  

Esta posición es personal y no refleja la postura de ninguna de las organizaciones de las que hago parte.

Camilo Arenas es médico y máster en administración de empresas, Gerente de Asuntos Corporativos y Públicos en Boston Scientific Colombia. Es miembro de las juntas directivas de la Fundación Operación Sonrisa Colombia, la Patrulla Aérea Civil Colombiana y la Fundación Cosme y Damián. Mentor en el Fellow de Abogacía en Cirugía Global de University of Global Health Equity, Nkafu Policy Institue y Operation Smile. Fue Secretario Privado en el Ministerio de Salud y Protección Social.