Retos legales en el uso de la inteligencia artificial

En la última década, y en particular, en los últimos años, hemos presenciado el auge de la inteligencia artificial (IA) que tiene cada vez más impacto en la actividad de empresas de todo tipo de sectores como defensa, salud, farmacéutico, automóvil, financiero y seguros, educación, energía, construcción y retail. La inversión en este tipo de tecnología sigue aumentando, permitiendo mejorar procesos industriales, optimizar y eficientizar recursos, reducir costes y contribuir a la toma de decisiones estratégicas en la compañía.

Las ventajas que la IA ofrece a la sociedad son indudables y se proyectan en incontables y tan variados ámbitos como la gestión empresarial (ej. procesos más eficientes, no asistidos o robotizados, etc.); el marketing (ej. identificación de nuevas necesidades, selección de targets, venta cruzada, etc.); la salud (ej. mejores diagnósticos y tratamientos, etc.); el tráfico por carretera (ej. análisis de núcleos de congestión y formas de solventarlos) o la meteorología (ej. predicciones sobre fenómenos atmosféricos, etc.). Sin embargo, los modelos IA también conllevan ciertos riesgos derivados, por un lado, de sus limitaciones y, por otro y casi de forma contradictoria, de sus enormes capacidades.

En cuanto a las limitaciones, hay que tener en cuenta que muchos modelos de IA (ej. es el caso del machine learning ampliamente extendido) son dependientes de la información inicialmente utilizada al entrenarlos. Si dicha información contiene algún tipo de sesgo es probable que el output del modelo de IA también lo contenga, lo que puede dar lugar a situaciones de discriminación y, en algunos casos, promover la exclusión social (1).

Hay modelos de IA dependientes de la información utilizada al entrenarlos, si dicha información contiene algún tipo de sesgo es probable que el output del modelo de IA también lo contenga

Como decimos, y paradójicamente, la otra causa de los riesgos del uso de IA se encuentra en la gran potencia que los modelos de IA poseen, lo que les permite realizar predicciones y alcanzar conclusiones que superan las capacidades humanas y que por ello son impredecibles, abriéndose la puerta al acceso a información sensible y/o a la re-identificación, lo que puede vulnerar la intimidad y/o el derecho a la protección de datos de las personas (2).

Con estos riesgos en mente, la Comisión Europea ha avanzado en su estrategia para conseguir un entorno de IA confiable en toda la Unión Europa y proponiendo una normativa, en forma de Reglamento, que regulará el desarrollo, suministro y utilización de la IA (el “Reglamento IA”).

Aunque esta nueva norma no será de aplicación plena hasta (previsiblemente) dentro de un par de años, es esencial que las empresas que estén en la actualidad invirtiendo y desarrollando sistemas de IA, tengan en cuenta sus principios, que no se espera que cambien en la tramitación. De lo contrario, puede suceder que dicho sistema de AI no pueda utilizarse cuando el Reglamento IA sea de aplicación (ej. por haberse entrenado el modelo sobre datos no correctamente seleccionados conforme los criterios de la norma), con el riesgo de que el esfuerzo realizado se pierda.

Además, no debe perderse de vista de que hoy en día ya existen normas que prohíben ciertas prácticas con respecto a modelos de IA. Por ejemplo, ya es una obligación legal que los modelos de IA no discriminen por motivos clásicos como sexo, edad, raza, orientación sexual, etc. (con multas cuantiosas por infracción de la Ley integral para la igualdad de trato y la no discriminación) y que cumplan con la normativa de protección de datos.

Sistemas de IA prohibidos

El Reglamento de IA, recoge un listado de sistemas de IA prohibidos por implicar un riesgo inadmisible para la seguridad, la vida y los derechos fundamentales. Dicho listado (que podrá ser actualizado periódicamente) incluye sistemas tales como:

(i) Aquellos orientados a manipular el comportamiento humano a través de las técnicas subliminales (ej. análisis del estado emocional de una persona para poder ofrecerle los productos y servicios y/o los términos de estos de una forma más acertada), produciendo o pudiendo producir daño físico o psicológico.

(ii) Aquellos orientados a manipular el comportamiento humano por la utilización de técnicas de IA para explotar las vulnerabilidades o circunstancias especiales de colectivos o grupos (ej. detectar a las personas en una situación social o económica desfavorable y ofrecerles las condiciones menos beneficiosas), produciendo o pudiendo producir daño físico o psicológico.

(iii) Tecnologías que conlleven la identificación biométrica o la videovigilancia masiva en tiempo real por parte de las autoridades en espacios públicos (ej. para controlar el flujo de las personas con antecedentes penales u órdenes de alejamiento). Respecto a estos últimos, solo se permiten para el cumplimiento de la ley en ciertos supuestos, bajo autorización judicial o administrativa.

(iv) La clasificación de personas por su comportamiento social o características personales, de forma tal que, fruto de ese scoring social, se les dé un trato negativo en contextos que nada tengan que ver con el lugar en que la información fue generada (ej. como te clasifico como “pobre”, no puedes usar el AVE y solo puedes desplazarte en trenes convencionales), o bien sea injustificado o desproporcionado (ej. como te clasifico como “moroso” por una deuda telefónica, no puedes recibir subvenciones).

Sistemas de IA de alto riesgo: el grupo más numeroso y que afecta prácticamente cualquier organización

En segundo lugar, la regulación lista aquellos sistemas de IA que, si bien no están prohibidos, suponen un “alto riesgo” para los derechos y libertades de los individuos y, por consiguiente, deben estar sujetos a ciertas obligaciones reforzadas que garanticen su uso legal, ético, robusto y seguro. Este listado también está tasado, aunque sujeto a revisión periódica en un futuro para adaptarlo a las nuevas tecnologías, teniendo en cuenta el entorno dinámico y cambiante en el que nos encontramos. Los sistemas comprendidos en esta categoría incluyen:

La regulación lista aquellos sistemas de IA que, si bien no están prohibidos, suponen un “alto riesgo” para los derechos y libertades de los individuos

(i) Sistemas de IA en productos que pueden ser peligrosos para la vida o la salud, como seguridad en juguetes, maquinaria, recipientes a presión, equipos de protección individual (EPI), dispositivos médicos, técnicas de reproducción asistida in vitro, etc.

(ii) Sistemas de IA para sectores regulados o infraestructuras críticas tales como el transporte aéreo, vigilancia de vehículos a motor, transporte ferroviario, el suministro de agua, gas, calefacción y electricidad, así como para control de emisiones contaminantes etc.

(iii) Sistemas de IA para identificación biométrica, tanto en tiempo real como no;

(iv) Uso de IA en el ámbito de los Recursos Humanos para selección de personal o para la toma de decisión con respecto a ascensos o despidos;

(v) Sistemas dirigidos a evaluar la situación crediticia de las personas para acceder a servicios privados esenciales (ej. financiación, electricidad, agua, servicios de telecomunicaciones…). Así, se entiende que los sistemas referidos merecen una especial protección, a la vista del impacto social y económico que pueden tener en una persona, llegando en algunos casos a la exclusión social.

(vi) Sistemas de IA destinados a tarificar y calcular la prima de los seguros de vida o salud, o a analizar la posibilidad de asegurar un riesgo.

Las empresas que empleen los sistemas de IA en cualquiera de las actividades referidas deberán adoptar una serie de acciones de cara a garantizar que la tecnología en cuestión cumple debidamente con la normativa.

Como se aprecia, los sistemas de IA de Alto Riesgo tienen un alcance muy amplio, afectando no solamente a sectores donde un mal funcionamiento supone de riesgo evidente (aviación, gas, transporte ferroviario, electricidad, etc.), sino en mucha medida al sector financiero o empresas de productos como electricidad o telefonía (donde el credit scoring suele emplearse habitualmente) y asegurador (mencionado específicamente entre los sistemas de Alto Riesgo) o, de alguna forma, prácticamente a cualquier empresa, particularmente a aquellas usuarias (o que es previsible que sean usuarias dentro de dos años cuando la norma sea aplicable) de sistemas de IA en el ámbito de los Recursos Humanos.

La normativa prevé requisitos aplicables tanto para los proveedores de los sistemas (que pueden ser empresas del grupo de la entidad usuaria) como para los usuarios.

Destaca el deber de establecer, implementar, documentar y mantener sistemas de gestión de riesgos derivados del uso de tales tecnologías

En primer lugar, destaca el deber de establecer, implementar, documentar y mantener sistemas de gestión de riesgos derivados del uso de tales tecnologías. Se trata de un proceso continuo que debe desarrollarse a lo largo de todo el ciclo de vida del producto, que requiere de actualizaciones periódicas y sistemáticas. El programa debe contemplar las acciones relativas a la identificación, evaluación, estimación y mitigación de riesgos.

Por otro lado, las compañías deberán velar por la calidad de los datos y del entrenamiento de los algoritmos, lo cual pasará por la elección del diseño, la recopilación de los datos, la formulación de supuestos, la evaluación previa, el examen atendiendo a posibles sesgos y la detección de lagunas o deficiencias en los datos.

Una vez la IA se encuentre en marcha, las compañías deberán adoptar medidas de monitorización, establecer un sistema de gestión y notificación de incidentes y realizar nuevas evaluaciones de conformidad cuando se produzca cualquier cambio en la finalidad o en las funciones de la IA. En relación con lo anterior, deberán conservar los logs durante el tiempo necesario conforme a su finalidad y a las normas aplicables.

Asimismo, se establece la obligación de transparencia reforzada en el diseño y desarrollo de un sistema de IA, de tal forma que los sistemas de Alto Riesgo vayan acompañados de las instrucciones de uso acerca de las características y finalidad de la tecnología, sus limitaciones, mecanismos para verificación e interpretación de los resultados, el contacto con el proveedor y la vida útil del sistema.

Por último, los sistemas de IA de Alto Riesgo deben diseñarse y desarrollarse de modo que puedan ser vigilados de manera efectiva por personas físicas durante el período que estén en uso, lo cual incluye dotarlos de una herramienta de interfaz humano-máquina adecuada, entre otras cosas. El objetivo de la vigilancia humana es el de prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que pueden surgir cuando un sistema de IA de alto riesgo se utiliza conforme a su finalidad prevista o cuando se le da un uso indebido razonablemente previsible.

Sistemas de IA que interactúan con el usuario o pueden “engañarle”

Finalmente, encontramos requisitos para determinados sistemas que interactúan con el usuario (ej. chatbots) o pueden “engañarle” (ej. deep fakes). Estos sistemas se encuentran sujetos a requisitos de información con el fin de advertir al usuario de la presencia del sistema de IA o del tratamiento artificial de las imágenes mostradas. Nótese que los requisitos de estos sistemas AI son cumulativos con los aplicables a los sistemas de IA de Alto Riesgo, en caso de que el sistema califique como tal.

¿Qué debe tenerse en cuenta hoy?

Desde hoy, aquellas empresas que desarrollen o pretendan usar sistemas de IA deberían tomar estas medidas:

(i) Crear un inventario y mapeo de los sistemas IA que desarrollan o utilizan actualmente (tanto directamente, como a través de herramientas de terceros) y unas políticas que les permita identificar nuevos sistemas de IA y caracterizarlos. De esta forma, podrán planificar la estrategia de IA y entender la posición que ocupan en la cadena de valor para evaluar las responsabilidades que deben asumir en relación con el uso de dicha tecnología.

(ii) Caracterizar los sistemas IA y analizar cómo va a impactar el Reglamento de IA en dichos sistemas, con el objeto de que la adaptación futura sea lo más suave posible (y no tener que descartar esfuerzos realizados más adelante).

(iii) En caso de que algún sistema IA pueda producir un resultado que pueda ser considerado discriminador o susceptible de atentar contra la intimidad, es altamente recomendable analizar cómo afecta la normativa en materia de igualdad, así como la normativa de protección de datosde intimidad vigente actualmente en España y en otros muchos países.