El lado oscuro de la inteligencia artificial en Amazon y Microsoft

Contxto – Ética es una palabra aburrida, pero aún así es un tema fundamental que debería ser tomado en cuenta por cualquiera que forme parte de un equipo de desarrollo. 

Este año, parece que la inteligencia artificial (IA) es la tecnología de moda entre los capitalistas de riesgo (VC). Tanto así que incluso SoftBank lanzó un programa de capacitación para conseguir a más de estos programadores especializados entre sus compañías de portafolio en América Latina. 

Y dada la velocidad a la que estas compañías están adoptando la automatización, yo no creo que esta tecnología sea solo una tendencia pasajera.

Es por eso que es de suma importancia que no ignoremos las implicaciones éticas del desarrollo de IA.

Aquí tenemos dos lecciones éticas sobre lo que no hay que hacer con la tecnología de IA, cortesía de Amazon y Microsoft. 

Artículo relacionado: La Cuarta Revolución Industrial: cómo México aborda la inteligencia artificial

Los problemas de reclutamiento de Amazon

¿Cuantos currículums examinará, en una semana, una persona de RH para el gigante de logística?

Decenas, cientos, tal vez incluo miles. 

En un intento por reducir la carga de trabajo de una forma objetiva, un equipo de desarrolladores en Amazon desarrollaron un software de reclutamiento que utilizaba IA en 2014. 

El algoritmo analizaba los curriculums y después les ponía una puntuación de una hasta cinco estrellas a los postulantes. Pero en el 2015, sus creadores se dieron cuenta de que algo estaba mal. 

Al algoritmo no le gustaban las candidatas femeninas para los empleos de desarrolladores y los puestos técnicos. 

Buscando la razón, se dieron cuenta de que la IA tenía prejuicios contra las mujeres porque eso se le había enseñado. Específicamente, se le dieron curriculums de los candidatos elegidos por la compañía durante los últimos diez años, los cuales fueron en su mayoría hombres. 

Como resultado, el algoritmo “aprendió” que los candidatos masculinos eran más atractivos que los femeninos, y actuó en consecuencia. Los reclutadores utilizaron esta herramienta como un punto de referencia para realizar el trabajo pesado pero no le confiaban la toma de decisiones. 

Al final, Amazon terminó el proyecto en el 2017. Pero de cualquier forma se formó un escándalo en el 2018. 

Ups. 

Tay, el chatbot racista

Muchos recordarán el absurdo caso del chatbot de Microsoft, Tay. 

En el año 2016, en un intento fallido de conectar con los millennials mediante la tecnología, Microsoft diseñó y lanzó un chatbot en Twitter. 

Conocido como “Tay” este bot se supone que tenía que crear una “conversación juguetona y atractiva”. 

Pero al final, esta IA se hizo demasiado “juguetona” para el gusto del internet y en 24 horas fue sacado de la red. 

¿Qué pasó? Demasiada información. 

El bot fue programado para aprender de sus interacciones en Twitter y el internet se volvió loco y terminó echando a perder al chatbot. 

Entonces, a medida que pasaban los días y los usuarios “hablaban” con Tay, rápidamente pasó de ser un chatbot millennio a uno racista. Entre sus ridículos tweets se incluyó uno donde Tay presentaba a Hitler como el inventor del ateísmo. 

Microsoft no demoró mucho en desconectar a Tay.

Cuando la IA sale mal

Las opiniones humanas pueden ser imparciales y por lo tanto incorrectas. Entonces, recurrir a la IA podría llevar a una resolución de problemas más “objetiva”. Esa fue la lógica en el caso de Amazon.

Con Microsoft, se creía que la IA era capaz de ofrecer interacciones humanas. El problema fue que el bot no filtró la información que se le alimentó.

Estas creencias, por lógicas que suenen, pueden ser peligrosas; como lo aprendieron estas dos compañías.

Porque la IA aprende de los patrones que identifica en cantidades grandes de data, es importante que la información que le es presentada sea una muestra representativa. De lo contrario solo repetirá todo ciegamente, como lo hizo Tay. 

Asimismo, los desarrolladores deberían comparar los resultados de lo que la IA procesa en comparación con quienes toman las decisiones. De esa forma pueden identificar las diferencias en sus conclusiones. Tal comparación puede revelar si el algoritmo necesita ajustes.

Este enfoque podría aplicar para la IA utilizada en el software de reclutamiento y fintechs que usan el aprendizaje automático para los préstamos de crédito, por ejemplo.

De otra forma todo el esfuerzo será para nada cuando el algoritmo repita los mismos prejuicios que quisimos evitar en primer lugar. 

Artículos relacionados: ¡Tecnología y startups de México!

-ML

Traducido por Alejandra Rodríguez