La nueva regulación, pionera en el mundo, establece obligaciones a los distintos agentes de la cadena de valor de los sistemas de IA, en función de su capacidad de causar daños a la sociedad, con un enfoque basado en el riesgo.
Tras meses de intensas negociaciones entre las instituciones europeas (Comisión, Consejo y Parlamento), finalmente el 8 de diciembre de 2023 se ha logrado un acuerdo político histórico en la regulación de la inteligencia artificial (IA). El acuerdo político sitúa a la UE como líder en la carrera por regular la IA, que, sin duda, influirá en otros países.
Si bien el acuerdo político está todavía pendiente de ratificación por parte del Parlamento Europeo y del Consejo, se prevén pocos cambios de fondo en el texto final. El acuerdo aspira a garantizar la protección de los derechos fundamentales, la democracia, el Estado de Derecho y la sostenibilidad medioambiental frente a los riesgos de la IA, al tiempo que impulsa la innovación en esta tecnología en la UE.
El texto impone importantes cargas regulatorias a las empresas en aras de proteger los derechos de los ciudadanos europeos, creando una tensión entre innovación y regulación. Se trata de un texto extraordinariamente complejo, pero también lo es la materia regulada que, además, persigue anticiparse a posibles evoluciones tecnológicas.
Sistema basado en riesgos
La normativa establece obligaciones a los distintos agentes de la cadena de valor de los sistemas de IA en función de su capacidad de causar daños a la sociedad, siguiendo un enfoque "basado en el riesgo": cuanto mayor sea el riesgo, más estrictas serán sus obligaciones y mayor la supervisión.
En resumen:
- Se prohíben los sistemas de IA de “riesgo inaceptable” que suponen una clara amenaza para los derechos fundamentales de las personas. Estos incluyen, por ejemplo, la manipulación cognitiva del comportamiento, la extracción no selectiva de imágenes faciales de Internet o de grabaciones de CCTV para crear bases de datos de reconocimiento facial, el reconocimiento de emociones en el lugar de trabajo y en instituciones educativas, el social scoring, o la categorización biométrica para inferir datos sensibles (por ejemplo, orientación sexual, creencias religiosas…).
- Los sistemas de IA de “alto riesgo” estarán sujetos a obligaciones que deberán cumplir antes y después de su comercialización (por ejemplo, implementación de sistemas de mitigación de riesgos y registro de la actividad, requisitos de alta calidad de los conjuntos de datos, elaboración de documentación detallada, supervisión humana, requisitos de precisión y ciberseguridad de los sistemas).
Ejemplos de estos sistemas de IA de alto riesgo son determinadas infraestructuras críticas; dispositivos médicos; sistemas para determinar el acceso a instituciones educativas o para reclutar personas; o determinados sistemas utilizados en los ámbitos de la aplicación de la ley, el control de fronteras, la administración de justicia y los procesos democráticos, entre otros. - Los sistemas de IA que solo presenten un “riesgo limitado” estarán principalmente sujetos a obligaciones de transparencia (por ejemplo, revelar que el contenido fue generado por IA para que los usuarios puedan tomar decisiones informadas sobre su uso posterior).
Vigilancia biométrica
Uno de los puntos más controvertidos ha sido la vigilancia biométrica en los espacios públicos. Los parlamentarios abogaban por una prohibición absoluta del uso de la IA para el control biométrico “en tiempo real”, frente a una posición mucho menos restrictiva de los gobiernos que apostaban por su autorización con fines de seguridad nacional.
Según fuentes públicas, finalmente los sistemas de identificación biométrica en espacios de acceso público tendrán que estar sujetos a una autorización judicial previa y su uso está limitado a tres casos: (i) búsquedas específicas de víctimas (secuestro, trata, explotación sexual); (ii) prevención de una amenaza inesperadas de atentado terrorista, o (iii) localización e identificación de sospechosos de haber cometido un listado concreto de delitos. Asimismo, su uso remoto estará limitado a la búsqueda selectiva de una persona condenada o sospechosa de haber cometido un delito grave.
Sistemas de IA de propósito general
El otro gran punto controvertido ha sido el de los denominados sistemas de propósito general -general purpose AI systems- y los modelos fundacionales -foundational models- como ChatGPT, cuya regulación no estaba prevista en la propuesta inicial de la Comisión de 2021.
En la recta final de las negociaciones, Francia, Alemania e Italia firmaron un pacto que promovía la autorregulación de estos sistemas a través de "códigos de conducta" para evitar una excesiva regulación. Estos países defendían que imponer obligaciones ex ante al uso de estos sistemas suponía regular la tecnología per se, no sus casos de uso, creando graves obstáculos a la competitividad tecnológica en la UE. Por otra parte, ignorar la IA generativa abriría la puerta a una innovación sin límites que puede afectar a los derechos fundamentales.
Finalmente se ha acordado una solución intermedia:
- Para los sistemas de IA de propósito general y los modelos en los que se basan, se imponen requisitos de transparencia: la elaboración de documentación técnica, el cumplimiento de la legislación de la UE sobre derechos de propiedad intelectual y la difusión de resúmenes detallados sobre los contenidos utilizados para el entrenamiento de los modelos. Finalmente, se ha optado por una referencia genérica al cumplimiento de la normativa de propiedad intelectual sin entrar en una regulación específica.
- Para los sistemas de alto impacto con “riesgo sistémico” -systemic risk-, se contemplan obligaciones más estrictas: tendrán que llevar a cabo evaluaciones de sus modelos, mitigar los riesgos sistémicos, informar a la Comisión sobre incidentes graves, garantizar la ciberseguridad e informar sobre su eficiencia energética. La categoría de mayor riesgo se define en función del número de operaciones informáticas por segundo necesarias para entrenar a la máquina, denominadas “floating point operations” (FLOPS).
- Por último, los sistemas capaces de realizar una amplia gama de tareas distintas, como generar vídeo, texto, imágenes, conversar en chatbots, calcular o generar código informático deben cumplir obligaciones específicas de transparencia antes de su comercialización como garantizar resultados legibles por la máquina e informar de que el contenido ha sido generado por sistemas de IA.
Medidas de apoyo a la innovación
Una de las críticas al texto es la excesiva carga burocrática que la regulación puede imponer a las startups en el sector de la IA, pudiendo frenar la creación de estas empresas en un sector clave para la UE.
Para fomentar que las startups puedan desarrollar soluciones de IA, el acuerdo promueve los sandboxes regulatorios, entornos de prueba controlados que facilitarán la innovación responsable y el desarrollo de sistemas de IA conformes a la regulación. Además, se han añadido nuevas disposiciones que permiten probar los sistemas de IA en condiciones reales bajo salvaguardias específicas.
Para más información sobre el reglamento del sandbox español de IA, ver esta publicación.
Sanciones
Se ha insistido mucho en las sanciones para garantizar la efectividad del reglamento. Las empresas se pueden enfrentar a multas que oscilan entre 35 millones de euros o el 7% del volumen de ingresos anual global (la cifra más alta) por infracciones de los sistemas de IA prohibidos, 15 millones de euros o el 3% por infracciones de otras obligaciones y 7,5 millones de euros o el 1,5% por suministrar información incorrecta. Se prevén límites más proporcionados para las multas administrativas a pymes y empresas de nueva creación en caso de infracción del AI Act.
Exclusiones
El acuerdo aclara que la regulación no afecta a las competencias de los Estados miembros en materia de seguridad nacional. Además, no se aplicará a los sistemas utilizados exclusivamente con fines militares o de defensa, investigación e innovación, ni a las personas que utilicen la IA con fines no profesionales.
Próximos pasos
El acuerdo, cuyo texto completo todavía no está disponible, se trata de un acuerdo político que requiere ser aprobado de manera formal por el Parlamento Europeo y el Consejo, previsiblemente a principios del año que viene.
Una vez aprobado el texto definitivo, entrará en vigor 20 días después de su publicación en el Diario Oficial de la Unión Europea y será de aplicación dos años después, con algunas excepciones para disposiciones específicas. En este periodo transitorio la Comisión pondrá en marcha un AI Pact, que busca el compromiso voluntario de la industria.