Por Kalyeena Makortoff para The Guardian. Comenzó con un solo tweet en noviembre de 2019. David Heinemeier Hansson, un empresario tecnológico de alto perfil, arremetió contra la tarjeta de crédito recién lanzada de Apple, calificándola de "sexista" por ofrecerle a su esposa un límite de crédito 20 veces más bajo que el suyo.

Las acusaciones se extendieron como la pólvora, y Hansson enfatizó que la inteligencia artificial, ahora ampliamente utilizada para tomar decisiones de préstamos, era la culpable . “No importa cuál sea la intención de los representantes individuales de Apple, importa lo que haga EL ALGORITMO en el que han puesto toda su fe. Y lo que hace es discriminar. Esto está jodido.

Si bien Apple y sus suscriptores Goldman Sachs finalmente fueron absueltos por los reguladores estadounidenses de violar las reglas de préstamos justos el año pasado, reavivó un debate más amplio sobre el uso de la IA en las industrias públicas y privadas.

Los políticos de la Unión Europea ahora planean introducir la primera plantilla global integral para regular la IA, ya que las instituciones automatizan cada vez más las tareas rutinarias en un intento por aumentar la eficiencia y, en última instancia, reducir los costos.

Esa legislación, conocida como Ley de Inteligencia Artificial, tendrá consecuencias más allá de las fronteras de la UE y, al igual que el Reglamento General de Protección de Datos de la UE, se aplicará a cualquier institución, incluidos los bancos del Reino Unido, que atienda a clientes de la UE. “El impacto de la ley, una vez adoptada, no se puede exagerar”, dijo Alexandru Circiumaru, líder de políticas públicas europeas en el Instituto Ada Lovelace.

Dependiendo de la lista final de la UE de usos de "alto riesgo", existe un impulso para introducir reglas estrictas sobre cómo se usa la IA para filtrar las solicitudes de empleo, universidad o asistencia social o, en el caso de los prestamistas, evaluar la solvencia de los prestatarios potenciales.

Los funcionarios de la UE esperan que con una supervisión adicional y restricciones sobre el tipo de modelos de IA que se pueden usar, las reglas frenarán el tipo de discriminación basada en máquinas que podría influir en decisiones que alteran la vida, como si puede pagar una casa o un préstamo estudiantil. .

“La IA se puede usar para analizar toda su salud financiera, incluidos los gastos, los ahorros y otras deudas, para llegar a una imagen más holística”, dijo Sarah Kocianski, consultora independiente de tecnología financiera. “Si se diseñan correctamente, estos sistemas pueden proporcionar un acceso más amplio al crédito asequible”.

Pero uno de los mayores peligros es el sesgo no intencional, en el que los algoritmos terminan negando préstamos o cuentas a ciertos grupos, incluidas mujeres, inmigrantes o personas de color.

Parte del problema es que la mayoría de los modelos de IA solo pueden aprender de los datos históricos que han recibido, lo que significa que aprenderán a qué tipo de cliente se le ha prestado previamente y qué clientes se han marcado como poco confiables. “Existe el peligro de que estén sesgados en términos de cómo se ve un 'buen' prestatario”, dijo Kocianski. “ En particular, a menudo se descubre que el género y el origen étnico desempeñan un papel en los procesos de toma de decisiones de la IA en función de los datos sobre los que se le ha enseñado: factores que no son de ninguna manera relevantes para la capacidad de una persona para pagar un préstamo”.

Además, algunos modelos están diseñados para ignorar las llamadas características protegidas, lo que significa que no están destinados a considerar la influencia del género, la raza, el origen étnico o la discapacidad. Pero esos modelos de IA aún pueden discriminar como resultado del análisis de otros puntos de datos, como los códigos postales, que pueden correlacionarse con grupos históricamente desfavorecidos que nunca antes solicitaron, aseguraron o pagaron préstamos o hipotecas.

Y en la mayoría de los casos, cuando un algoritmo toma una decisión, es difícil para cualquiera entender cómo llegó a esa conclusión, lo que resulta en lo que comúnmente se conoce como síndrome de “caja negra”. Significa que los bancos, por ejemplo, podrían tener dificultades para explicar qué podría haber hecho de manera diferente un solicitante para calificar para un préstamo o tarjeta de crédito, o si cambiar el género de un solicitante de hombre a mujer podría resultar en un resultado diferente.

Circiumaru dijo que la ley de IA, que podría entrar en vigencia a fines de 2024, beneficiaría a las empresas tecnológicas que lograron desarrollar lo que llamó modelos de “IA confiable” que cumplen con las nuevas reglas de la UE.

Darko Matovski, director ejecutivo y cofundador de la startup de IA causaLens, con sede en Londres, cree que su empresa se encuentra entre ellos.

La startup, que se lanzó públicamente en enero de 2021, ya otorgó licencias de su tecnología a empresas como el administrador de activos Aviva y la firma de comercio cuantitativo Tibra, y dice que varios bancos minoristas están en proceso de firmar acuerdos con la firma antes de las reglas de la UE. entrar en vigencia.

El empresario dijo que ofrece una forma más avanzada de IA que evita posibles sesgos al contabilizar y controlar las correlaciones discriminatorias en los datos. “Los modelos basados ​​en correlación están aprendiendo las injusticias del pasado y simplemente las están reproduciendo en el futuro”, dijo Matovski.

Él cree que la proliferación de los llamados modelos causales de IA como el suyo conducirá a mejores resultados para los grupos marginados que pueden haber perdido oportunidades educativas y financieras.

“Es realmente difícil entender la escala del daño ya causado, porque realmente no podemos inspeccionar este modelo”, dijo. “No sabemos cuántas personas no han ido a la universidad debido a un algoritmo descontrolado. No sabemos cuántas personas no pudieron obtener su hipoteca debido a los sesgos del algoritmo. Simplemente no lo sabemos”.

Matovski dijo que la única forma de protegerse contra la posible discriminación era usar características protegidas como la discapacidad, el género o la raza como entrada, pero garantizando que, independientemente de esas entradas específicas, la decisión no cambiaría.

Dijo que se trataba de garantizar que los modelos de IA reflejaran nuestros valores sociales actuales y evitaran perpetuar cualquier toma de decisiones racista, capaz o misógina del pasado. “La sociedad piensa que debemos tratar a todos por igual, sin importar el género, el código postal, la raza. Entonces, los algoritmos no solo deben tratar de hacerlo, sino que deben garantizarlo”, dijo.

Si bien es probable que las nuevas reglas de la UE sean un gran paso para frenar el sesgo basado en las máquinas, algunos expertos, incluidos los del Instituto Ada Lovelace, están presionando para que los consumidores tengan derecho a quejarse y buscar reparación si creen que han sido puestos en peligro. en una desventaja.

“Los riesgos que plantea la IA, especialmente cuando se aplica en ciertas circunstancias específicas, son reales, significativos y ya están presentes”, dijo Circiumaru.

“La regulación de la IA debe garantizar que las personas estén adecuadamente protegidas contra daños al aprobar o no los usos de la IA y tener remedios disponibles cuando los sistemas de IA aprobados funcionen mal o resulten en daños. No podemos pretender que los sistemas de IA aprobados siempre funcionarán a la perfección y fallar en la preparación para los casos en que no lo harán”.