Científicos informáticos abordan el sesgo en la IA

Los científicos informáticos de Princeton y Stanford ahora están abordando los problemas de sesgo en la inteligencia artificial (IA). Están trabajando en métodos que resultan en conjuntos de datos más justos que contienen imágenes de personas. Los investigadores trabajan en estrecha colaboración con ImageNet, que es una base de datos de más de 13 millones de imágenes. A lo largo de la última década, ImageNet ha ayudado a avanzar en la visión por computadora. Con el uso de sus métodos, los investigadores luego recomendaron mejoras para la base de datos. 

ImageNet incluye imágenes de objetos, paisajes y personas. Los investigadores que crean algoritmos de aprendizaje automático que clasifican imágenes utilizan ImageNet como fuente de datos. Debido al tamaño masivo de la base de datos, fue necesario que hubiera una recopilación automática de imágenes y una anotación de imágenes mediante crowdsourcing. Ahora, el equipo de ImageNet trabaja para corregir sesgos y otros problemas. Las imágenes a menudo contienen personas que son consecuencias no intencionadas de la construcción de ImageNet.

Olga Russakovsky es coautora y profesora asistente de ciencias de la computación en Princeton. 

“La visión por computadora ahora funciona realmente bien, lo que significa que se está desplegando en todas partes en todo tipo de contextos”, dijo. “Esto significa que ahora es el momento de hablar sobre el impacto que está teniendo en el mundo y pensar en este tipo de problemas de equidad”.

En el nuevo documento, el equipo de ImageNet identificó sistemáticamente conceptos no visuales y categorías ofensivas. Estas categorías incluyeron caracterizaciones raciales y sexuales, y el equipo propuso eliminarlas de la base de datos. El equipo también ha desarrollado una herramienta que permite a los usuarios especificar y recuperar conjuntos de imágenes de personas, y puede hacerlo por edad, expresión de género y color de piel. El objetivo es crear algoritmos que clasifiquen de manera más justa las caras y las actividades de las personas en las imágenes. 

El trabajo realizado por los investigadores se presentó el 30 de enero en la Conferencia de la Asociación para la Computación sobre Equidad, Responsabilidad y Transparencia en Barcelona, España. 

“Hay una gran necesidad de que los investigadores y los laboratorios con experiencia técnica en este ámbito participen en este tipo de conversaciones”, dijo Russakovsky. “Dada la realidad de que necesitamos recopilar los datos a gran escala, dada la realidad de que se hará mediante crowdsourcing porque es el pipeline más eficiente y establecido, ¿cómo lo hacemos de una manera más justa, que no caiga en estos tipos de trampas anteriores? El mensaje central de este documento es sobre soluciones constructivas”.

ImageNet se lanzó en 2009 por un grupo de científicos informáticos de Princeton y Stanford. Estaba destinado a servir como un recurso para investigadores y educadores académicos. La creación del sistema fue liderada por la ex alumna y miembro de la facultad de Princeton Fei-Fei Li. 

ImageNet pudo convertirse en una base de datos tan grande de imágenes etiquetadas gracias al uso del crowdsourcing. Una de las principales plataformas utilizadas fue Amazon Mechanical Turk (MTurk), y los trabajadores fueron pagados para verificar imágenes candidatas. Esto causó algunos problemas, y hubo muchos sesgos y categorizaciones inapropiadas. 

El autor principal Kaiyu Yang es un estudiante de posgrado en ciencias de la computación. 

“Cuando se le pide a la gente que verifique imágenes seleccionando las correctas de un gran conjunto de candidatas, la gente se siente presionada para seleccionar algunas imágenes y esas imágenes tienden a ser las que tienen características distintivas o estereotipadas”, dijo. 

La primera parte del estudio involucró filtrar categorías de personas potencialmente ofensivas o sensibles de ImageNet. Las categorías ofensivas se definieron como aquellas que contenían profanidad o insultos raciales o de género. Una categoría sensible como tal fue la clasificación de personas según su orientación sexual o religión. Doce estudiantes de posgrado de diversos orígenes fueron traídos para anotar las categorías, y se les instruyó para etiquetar una categoría como sensible si no estaban seguros de ella. Alrededor del 54% de las categorías fueron eliminadas, o 1.593 de las 2.932 categorías de personas en ImageNet. 

Los trabajadores de MTurk calificaron la “imagenabilidad” de las categorías restantes en una escala del 1 al 5. 158 categorías fueron clasificadas como seguras e imagenables, con una calificación de 4 o superior. Este conjunto filtrado de categorías incluyó más de 133.000 imágenes, que pueden ser muy útiles para entrenar algoritmos de visión por computadora. 

Los investigadores estudiaron la representación demográfica de las personas en las imágenes, y se evaluó el nivel de sesgo en ImageNet. El contenido obtenido de los motores de búsqueda a menudo proporciona resultados que sobrerepresentan a los hombres, las personas de piel clara y los adultos entre las edades de 18 y 40. 

“La gente ha encontrado que las distribuciones de demografía en los resultados de la búsqueda de imágenes están muy sesgadas, y esta es la razón por la que la distribución en ImageNet también está sesgada”, dijo Yang. “En este documento intentamos entender cuánto está sesgada y también proponer un método para equilibrar la distribución”.

Los investigadores consideraron tres atributos que también están protegidos por las leyes antidiscriminatorias de EE. UU.: color de piel, expresión de género y edad. Los trabajadores de MTurk anotaron cada atributo de cada persona en una imagen. 

Los resultados mostraron que el contenido de ImageNet tiene un sesgo considerable. Las más subrepresentadas fueron las personas de piel oscura, las mujeres y los adultos mayores de 40 años. 

Se diseñó una herramienta de interfaz web que permite a los usuarios obtener un conjunto de imágenes que estén demográficamente equilibradas de la manera que el usuario elija. 

“No queremos decir cuál es la forma correcta de equilibrar la demografía, porque no es un tema muy sencillo”, dijo Yang. “La distribución podría ser diferente en diferentes partes del mundo, la distribución de colores de piel en EE. UU. es diferente a la de los países de Asia, por ejemplo. Así que dejamos esa pregunta a nuestro usuario, y solo proporcionamos una herramienta para recuperar un subconjunto equilibrado de las imágenes”.

El equipo de ImageNet ahora está trabajando en actualizaciones técnicas de su hardware y base de datos. También están tratando de implementar el filtrado de las categorías de personas y la herramienta de reequilibrado desarrollada en esta investigación. ImageNet está a punto de ser relanzada con las actualizaciones, junto con una llamada a comentarios de la comunidad de investigación de visión por computadora. 

El documento también fue coescrito por el estudiante de doctorado de Princeton Klint Qinami y el profesor asistente de Ciencias de la Computación Jia Deng. La investigación fue apoyada por la Fundación Nacional de Ciencia.