Para promover el desarrollo y uso de una IA responsable, fomentar la innovación y facilitar la implantación de los requisitos para los sistemas de alto riesgo a las empresas se crea un entorno controlado de pruebas en inteligencia artificial.

En este contexto, se ha publicado la primera convocatoria del Sandbox de IA con la finalidad de realizar de un ensayo de los requisitos establecidos para los sistemas de alto riesgo en el Reglamento europeo de inteligencia artificial (capítulo III, sección 2).

Con esta iniciativa, se busca minimizar los costes de cumplimiento, especialmente para las pymes y startups, mediante la creación de un entorno que favorece la cooperación entre los ámbitos de la innovación y regulación. Se obtiene como resultado un informe que contiene buenas prácticas y conclusiones recabadas durante la experiencia, así como unas guías técnicas de implementación y supervisión basadas en la evidencia y la experimentación que se pondrán a disposición del público general a la finalización del mismo.

• Aportar claridad sobre los requisitos establecidos en el reglamento y validar la aplicabilidad de las guías técnicas de implementación que se pondrán a disposición de toda la población.
• Transferir know-how sobre el cumplimiento de la ley a entidades que desarrollan soluciones de IA.
• Fomentar el desarrollo de sistemas de IA innovadores y confiables.
• Aumentar las capacidades y el conocimiento en materia de supervisión de Inteligencia Artificial, que luego será reutilizable por la Agencia Española de Supervisión de Inteligencia Artificial (AESIA).
• Evaluar el impacto del Reglamento y sus obligaciones en un entorno controlado, y proporcionar experiencia y aprendizaje práctico para apoyar el desarrollo de estándares, orientación y herramientas a nivel nacional y europeo.
• Influir en el desarrollo de los actos de ejecución del Reglamento de Inteligencia y los procesos de estandarización europeos sobre el Reglamento.
• Convertir a España en referente del desarrollo de IA responsable en la UE y en el mundo, apoyando la competitividad de nuestro tejido productivo y fomentando la creación de soluciones de IA responsables para retos sociales y económicos.

Un sandbox regulatorio en sistemas de IA es un espacio controlado de pruebas para probar sistemas de Inteligencia Artificial y ayudar a los sistemas intervinientes a su adecuación al Reglamento de IA. La participación de las entidades en estos entornos de pruebas puede acelerar el desarrollo de soluciones responsables y éticamente conscientes que eventualmente podrían ser desplegadas a una escala más amplia.

Este piloto de sandbox que se pone en marcha en España tiene como objetivo principal la optimización de las Guías técnicas sobre los diferentes artículos del Reglamento de IA elaboradas por la Secretaría de Estado de Digitalización e IA basándose en la experiencia obtenida de en este Sandbox IA.

• La Secretaría de Estado de Digitalización e Inteligencia Artificial pondrá a disposición de los participantes especificaciones y guías técnicas, así como asesoría personalizada de la mano de expertos, relativas a los requisitos que establece el Reglamento.
• Se realizarán actividades formativas acerca de las guías técnicas.
• Los participantes acordarán con la Secretaría de Estado de Digitalización e Inteligencia Artificial un plan de adaptación. El proveedor IA deberá implementar los requisitos en su entorno privado de desarrollo de acuerdo con el plan de adaptación acordado y con el soporte y la ayuda de las guías técnicas y el asesoramiento personalizado.
• Durante la implementación habrá una comunicación permanente entre los participantes y la Secretaría de Estado de Digitalización e Inteligencia Artificial.
• El proveedor IA, y en su caso junto con el usuario del sistema, deberá de realizar un informe de impacto de género.
• Los participantes realizarán una declaración de cumplimiento de los requisitos y presentarán la documentación indicada para su posterior verificación
• El proveedor IA preparará un plan de seguimiento posterior a la comercialización y lo adjuntará a la documentación relativa a la declaración de cumplimiento de requisitos.
• La Secretaría de Estado de Digitalización e Inteligencia Artificial evaluará los planes de seguimiento, y trasladará a cada entidad su valoración.
• Los participantes deberán implementar dicho plan.

Durante toda la experiencia se organizarán reuniones entre los participantes y la Secretaría de Estado de Digitalización e Inteligencia Artificial con el objeto de fomentar un aprendizaje colaborativo.

Las solicitudes podrán presentarse desde el 23 de diciembre de 2024 hasta el 23 de enero de 2025 hasta las 23:59h.

El procedimiento de admisión finalizará con la Resolución de la SEDIA que publique el listado de admitidos. Dicha resolución será publicada en un plazo máximo de 3 meses (66 días hábiles) contando desde la fecha de la publicación de la convocatoria.

La operatividad del Sandbox iniciará en abril con una duración aproximada de 12 meses.

Deberá existir siempre un proveedor IA de un sistema de alto riesgo que será quien deba solicitar la participación en la convocatoria del Sandbox presentando un sistema de inteligencia artificial de alto riesgo, que deberá contar con los derechos de propiedad intelectual, considerando que para aquellos sistemas que partan de código open source se refiere a que se tenga el derecho de poder comercializar el sistema. El objetivo de este requerimiento es que el proveedor del sistema pueda realizar las adaptaciones necesarias en el software. 

En la candidatura, deberá existir al menos una entidad que tenga la consideración de pyme o empresa emergente. Esta podrá ser tanto el proveedor IA, como el usuario o como un colaborador.

• Se deberá cumplir con lo previsto en el RGPD y demás normativa de protección de datos.
• Los tratamientos de datos que se realizan en el marco del entorno controlado de pruebas deberán cumplir con la normativa señalada en el apartado anterior.
• Se deberá cumplir con lo previsto en la normativa de propiedad intelectual.
• En el caso de que el sistema de inteligencia artificial pueda encontrarse en el ámbito de aplicación de legislación sectorial concreta, deberá aportar el informe favorable de la Autoridad Nacional competente sobre el correcto cumplimiento de la legislación sectorial específica.

• Esta convocatoria va dirigida a ayudar sobre todo a las pymes y empresas emergentes en el cumplimiento de las obligaciones del Reglamento de inteligencia artificial para lo que en los sistemas de IA solicitantes deberá participar al menos una pyme o startup.
• Tanto el resto de tipología de entidades como las entidades públicas podrán participar en el Sandbox como parte de una agrupación en la que al menos una de las entidades participantes sea pyme o startup.

Podrán participar entidades residentes en la Unión Europea en colaboración con entidades con residencia a España, siempre que la entidad que presente la solicitud sea esta última.

Se permite la participación de las siguientes entidades:

• Toda persona jurídica privada o administración pública o entidad del sector público institucional residente en España o que disponga de un establecimiento permanente en España.
• Toda persona jurídica privada residente en la Unión Europea, siempre y cuando esté asociada o cuente con algún otro tipo de vinculación similar con una empresa residente en España.

• Serán elegibles los sistemas de inteligencia artificial enmarcados dentro del anexo I de la convocatoria (correspondientes al anexo III del AI Act) y los sistemas regulados por alguna de las siguientes normas armonizadas de la Unión Europea:
  • Directiva 2006/42/CE del Parlamento Europeo y del Consejo, de 17 de mayo de 2006, relativa a las máquinas y por la que se modifica la Directiva 95/16/CE (refundición).
  • Reglamento (UE) 2017/745 del Parlamento Europeo y del Consejo, de 5 de abril de 2017, sobre los productos sanitarios, por el que se modifican la Directiva 2001/83/CE, el Reglamento (CE) nº 178/2002 y el Reglamento (CE) nº 1223/2009 y por el que se derogan las Directivas 90/385/CEE y 93/42/CEE del Consejo.
  • Reglamento (UE) 2017/746 del Parlamento Europeo y del Consejo, de 5 de abril de 2017, sobre los productos sanitarios para diagnóstico in vitro y por el que se derogan la Directiva 98/79/CE y la Decisión 2010/227/UE de la Comisión.
• Los sistemas presentados deberán estar ya introducidos en el mercado o puestos en servicio, o que presente un grado de avance razonable correspondiente a un TRL superior a 6 que permita su introducción en mercado o puesta en servicio en una fecha lo más cercana posible al inicio del plan de seguimiento poscomercialización.

Los sistemas de IA de alto riesgo contemplados en el Anexo III son:

1. Biometría, en la medida en que su uso esté permitido por el Derecho de la Unión o nacional aplicable:
   1. Con fines de verificación biométrica cuya única finalidad sea confirmar que una persona física concreta es la persona que afirma ser
   2. A ser utilizados para la categorización biométrica en función de atributos o características sensibles o protegidos basada en la inferencia de dichos atributos o características
   3. Destinados a ser utilizados para el reconocimiento de emociones
2. Infraestructuras críticas: Sistemas de IA utilizados como componentes de seguridad en la gestión y el funcionamiento de las infraestructuras digitales críticas, del tráfico rodado o del suministro de agua, gas, calefacción o electricidad.
3. Educación y formación profesional:
   1. Para determinar el acceso o la admisión de personas físicas a centros educativos y de formación profesional
   2. Para evaluar los resultados del aprendizaje
   3. Para evaluar el nivel de educación adecuado de personas
   4. Para el seguimiento y la detección de comportamientos prohibidos por parte de los estudiantes durante los exámenes
4. Empleo, gestión de los trabajadores y acceso al autoempleo:
   1. Para la contratación o la selección de personas físicas, en particular para publicar anuncios de empleo específicos, analizar y filtrar las solicitudes de empleo y evaluar a los candidatos
   2. Para tomar decisiones que afecten a las condiciones de las relaciones de índole laboral o a la promoción o rescisión de relaciones contractuales de índole laboral, o para supervisar y evaluar el rendimiento y el comportamiento de las personas en el marco de dichas relaciones
5. Acceso a servicios privados esenciales y a servicios y prestaciones públicos esenciales y disfrute de estos servicios y prestaciones:
   1. Para evaluar la admisibilidad de las personas físicas para beneficiarse de servicios y prestaciones esenciales de asistencia pública, incluidos los servicios de asistencia sanitaria, así como para conceder, reducir o retirar dichos servicios y prestaciones o reclamar su devolución
   2. Para evaluar la solvencia de personas físicas o establecer su calificación crediticia, salvo los sistemas de IA utilizados al objeto de detectar fraudes financieros
   3. Para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud
   4. Para la evaluación y la clasificación de las llamadas de emergencia realizadas
6. Garantía del cumplimiento del Derecho, en la medida en que su uso esté permitido por el Derecho de la Unión o nacional aplicable:
   1. Para evaluar el riesgo de que una persona física sea víctima de delitos
   2. Sistemas de IA destinados como polígrafos o herramientas similares
   3. Para evaluar la fiabilidad de las pruebas durante la investigación o el enjuiciamiento de delitos
   4. Para evaluar el riesgo de que una persona física cometa un delito o reincida en la comisión de un delito, o para evaluar rasgos y características de la personalidad o comportamientos delictivos pasados de personas físicas o colectivos
   5. Para elaborar perfiles de personas físicas durante la detección, la investigación o el enjuiciamiento de delitos
7. Migración, asilo y gestión del control fronterizo, en la medida en que su uso esté permitido por el Derecho de la Unión o nacional aplicable:
   1. Sistemas de IA destinados como polígrafos o herramientas similares
   2. Para evaluar un riesgo, por ejemplo, un riesgo para la seguridad, la salud o de migración irregular, que plantee una persona física que tenga la intención de entrar en el territorio de un Estado miembro o haya entrado en él
   3. Para ayudar a las autoridades públicas competentes a examinar las solicitudes de asilo, visado o permiso de residencia y las reclamaciones conexas
   4. Para detectar, reconocer o identificar a personas físicas, con excepción de la verificación de documentos de viaje
8. Administración de justicia y procesos democráticos:
   1. Para ayudar a una autoridad judicial en la investigación e interpretación de hechos y de la ley
   2. Sistemas de IA destinados a ser utilizados para influir en el resultado de una elección o referéndum o en el comportamiento electoral de personas físicas que ejerzan su derecho de voto en elecciones o referendos.

De acuerdo con el considerando 55 del Reglamento de Inteligencia Artificial, se consideran infraestructuras digitales críticas aquellas listadas en el punto 8 del Anexo de la Directiva (UE) 2022/2557.

La duración aproximada será de doce meses a partir de la fecha de kick off del Sandbox IA, primeros de abril, que dará comienzo una vez seleccionados los sistemas de IA participantes.

La participación en el entorno por parte de los diferentes proveedores IA, colaboradores y usuarios constará de dos etapas.

• Una primera en la que se realizará la implantación de los requisitos y que finalizará con la declaración de cumplimiento.
• Una segunda etapa durante el cual se realizará el plan del seguimiento posterior a la comercialización de los sistemas de inteligencia artificial.

Estas etapas se dividen en las siguientes fases:

Fase 1. Formación. Se dará una formación online a los participantes sobre los requisitos siguiendo las guías técnicas. Reuniones semanales con una estimación de 3 meses.

Fase 2. Análisis del grado de cumplimiento del Reglamento. Se analizará conjuntamente con el participante el GAP de los sistemas IA para el cumplimiento del Reglamento. Se analizarán aquellas medidas a implementar, finalizando con la presentación por parte del proveedor de un plan de adaptación con el calendario de adaptación del sistema, los recursos y la dedicación de los mismos. Se abordará en paralelo con la fase anterior pudiendo finalizar un mes después de la fase 1 con el acuerdo del plan.

Fase 3. Implementación del Plan de Adaptación. El proveedor deberá abordar la adaptación del sistema de IA de acuerdo al plan. Estos desarrollos los deberá realizar en su propio entorno de desarrollo. La duración estimada de esta fase son 6 meses. El seguimiento será individualizado con cada uno de los participantes, estableciendo una reunión cada 15 días para ver el avance y detección de necesidades.

Fase 4. Autoevaluación (en paralelo iniciativa Verificación por parte de la AESIA). El proveedor deberá realizar una autoevaluación con respecto a los requisitos. Una vez finalizada entregará una declaración de cumplimiento y presentará toda la documentación requerida para su posterior revisión incluido el plan de seguimiento posterior a la comercialización. Finalmente se realizará una simulación de evaluación de conformidad.

Fase 5. Seguimiento posterior a la puesta en marcha del sistema. Se analizará el plan de seguimiento posterior a la comercialización entregado en la fase anterior para la detección de los posibles riesgos.

En todas las etapas habrá una comunicación permanente entre los participantes y la Secretaría de Estado de Digitalización e IA, así como el apoyo de los expertos según sean requeridos.

Se debe presentar en el momento de la solicitud. En el caso de que el sistema de inteligencia artificial implique tratamiento de datos de carácter personal, deberá presentar la declaración responsable de cumplimiento de la normativa en materia de protección de datos personales, especificada en el anexo IV de la convocatoria en el momento de la solicitud.

El acceso al entorno controlado de pruebas será gratuito para participantes, de igual manera tampoco recibirán ningún tipo de contraprestación económica.

Sin embargo, la participación en este Sandbox IA supondrá beneficios indirectos como son el acceso a un servicio de consultoría del sector público, asesoramiento de alto nivel ofrecido por expertos independientes y la disponibilidad de las guías técnicas de implementación de los requisitos, así como resto del material formativo que facilitarán la aplicación de la normativa. Esto redundará en una reducción de riesgos legales y un aumento de la reputación, además de un camino más rápido hacia la comercialización de productos de IA conformes con la regulación.

Los criterios para medir el grado de madurez tecnológica son niveles de preparación tecnológica (TRL) propuestos por la unión europea en el Programa Marco de I+D de la Comisión Europea, Horizonte Europa.

TRL (niveles de madurez de la tecnología) con valor 6, corresponde a un nivel de validación de sistema o subsistema en un entorno relevante y previo al despliegue, para más detalles se puede consultar: NIVELES DE MADUREZ DE LA TECNOLOGÍA. TECHNOLOGY READINESS LEVELS. TRLS.

La presentación del formulario de solicitud se realizará desde la sede electrónica. En este enlace también le indicará la documentación necesaria que deberá adjuntar, así como los enlaces de descarga.

En este sentido la solicitud deberá acompañarse de la siguiente documentación debidamente cumplimentada y firmada:

• Memoria Técnica. Mediante la presentación del modelo normalizado de memoria técnica de la solicitud.
• Declaración responsable sobre derechos de propiedad intelectual, especificada en la convocatoria.
• En el caso de que el sistema de inteligencia artificial implique tratamiento de datos de carácter personal, deberá presentar la declaración responsable de cumplimiento de la normativa en materia de protección de datos personales, especificada la convocatoria.
• En el caso de que el sistema de inteligencia artificial pueda encontrarse en el ámbito de aplicación de legislación sectorial concreta, deberá aportar el informe favorable de la Autoridad Nacional competente sobre el correcto cumplimiento de la legislación sectorial específica.
• En el caso de solicitar la participación junto con colaboradores concurriendo en régimen de asociación o vinculación similar deberán consignar el formulario de compromiso de colaboración de entidades, que figura en la convocatoria.
• Declaración responsable de comercialización del sistema de IA, especificada en la convocatoria.

La convocatoria indica los requisitos de acceso y describe el esquema de valoración y selección de las solicitudes, que quiere garantizar el mérito de las solicitudes elegidas a la vez que la diversidad de empresas participantes y de sistemas de inteligencia artificial. La valoración se realiza siguiendo los siguientes criterios:

Una vez establecida la puntuación para cada uno de los sistemas IA participantes se seleccionará el de mayor puntuación de cada uno de los sectores indicados para garantizar una mayor diversidad de sistemas de IA, tal y como se especifica en la siguiente cuestión.

Tanto la puntuación de los criterios A y B, como la total (100) debe alcanzar el 50% de la puntuación máxima.

Se realizará una selección hasta un máximo de 12 sistemas de inteligencia artificial de alto riesgo.

Los sistemas que obtengan una puntuación igual o superior a los umbrales establecidos, y que cumplan con los criterios establecidos, serán divididos en los sectores de actividad contemplados en la convocatoria. De tal manera que las solicitudes de mayor puntuación de cada bloque, hasta un máximo de doce sistemas, serán las seleccionadas para su participación en el Sandbox.

A continuación, se identifican los sectores:

• Biometría
• Infraestructuras críticas
• Educación y formación Empleo
• Acceso a servicios y ayudas
• Ley, justicia y procesos democráticos
• Migración, asilo y control fronterizo
• Maquinaria
• Productos sanitarios
• Otros

Sí, según el criterio de valoración G) Tipología de entidades, se valorará positivamente propuestas presentadas por un mayor número de pymes (hasta un máximo de 5 entidades) siempre que estas tengan sentido en el ciclo de vida del sistema de IA.

• Una serie de guías técnicas para el cumplimiento de los requisitos del Reglamento de IA para los sistemas de alto riesgo.
• Formación específica de cada una de las guías técnicas. La formación se realizará durante los dos primeros meses del sandbox y quedará grabada a disposición de los participantes.
• Asesoría bajo demanda por parte de un experto de cada guía técnica.
• Seguimiento personalizado por parte de un contacto de la SEDIA durante todo el sandbox.

El tiempo que cada entidad tenga que invertir dependerá del grado de madurez del propio sistema de IA.

Hay que recordar que el sandbox se enfoca en aquellas obligaciones que el Reglamento establece para los sistemas de IA de Alto Riesgo, por lo que, gracias a las guías y la asesoría de la SEDIA, se podrá optimizar el tiempo necesario para el cumplimiento de dichas obligaciones.

Durante la duración del Sandbox las entidades contarán con flexibilidad para realizar las adaptaciones necesarias, sí siendo necesaria su asistencia a las reuniones tanto de formación como de seguimiento. Estas reuniones serán online para evitar desplazamientos.

Es necesario que durante la ejecución del Sandbox haya una comunicación permanente entre los participantes y la SEDIA y, un alto grado de compromiso por parte de los participantes en cada una de las fases del Sandbox, desde la asistencia a las formaciones, como el compromiso de elaboración del plan de adaptación o, la asistencia a las reuniones periódicas de seguimiento que se llevarán a cabo. El incumplimiento reiterado de estas aviaciones podrá dar lugar a la finalización anticipada para el participante.

Sí, En cualquier momento, los participantes podrán solicitar la retirada voluntaria motivada del entorno mediante comunicación a la SEDIA.

En la gobernanza del Sandbox existirán varios actores intervinientes, entre los que destacan la SEDIA, los asesores expertos y, los sistemas de IA. También se prevé la participación de la Comisión Europea y, de otros organismos nacionales y europeos.

Para la correcta gestión cada sistema estará acompañado de un mentor con conocimientos en el ámbito de la inteligencia artificial, que tendrá a su disposición también al grupo asesor de expertos.

Asimismo, para la coordinación y gobernanza de todos los agentes implicados, se definirán diversas reuniones de trabajo y, Comités, con unos temas a tratar y periodicidad establecida. En función de cada temática será necesario la representación y/o asistencia de unos actores u otros. Este modelo de gobernanza se transmitirá a los sistemas que accedan al Sandbox de IA.

La garantía de confidencialidad se aplicará sobre la información que aporten tanto los proveedores IA participantes como, en su caso, los usuarios y colaboradores participantes sobre procedimientos propios de las empresas u otras entidades, planes comerciales, derechos de propiedad industrial e intelectual o secretos empresariales, así como sobre los datos e información facilitados durante el proceso de autoevaluación. Es decir, tanto las solicitudes que se presenten como las preguntas que se formulen en dicho buzón, serán confidenciales y, cualquier información que se publique se realizará de manera generalista y anonimizada.

• Los participantes que hayan finalizado todo el proceso recibirán un documento acreditativo de la participación en el entorno y un informe de evaluación de su participación.
• Las guías técnicas entregadas al inicio del entorno controlado de pruebas, actualizadas con los conocimientos obtenidos durante la experiencia, darán lugar a las guías técnicas de ejecución y supervisión definitivas basadas en la evidencia y la experimentación
• La SEDIA publicará un informe de conclusiones sobre el resultado del entorno controlado de pruebas, buenas prácticas y recomendaciones, así como otros aspectos que considere relevantes de la aplicación experimental del Reglamento.
• Los resultados obtenidos podrían servir como punto de partida para el desarrollo de una plataforma de software que facilite una primera autoevaluación no vinculante sobre el cumplimiento de los principios del Reglamento.

Tanto los desarrollos que se vean pertinentes dentro del transcurso del Sandbox como las pruebas técnicas que se pretendan realizar sobre los sistemas de IA, serán abordados en los entornos de desarrollo del proveedor de IA.

Para facilitar el arranque del Sandbox y asegurar la confidencialidad no se podrán medios tecnológicos a disposición de los participantes.

La formación únicamente está contemplada para las entidades participantes.

Las guías técnicas iniciales sólo se facilitarán a las entidades participantes.

Terminado el entorno controlado de pruebas, las guías técnicas definitivas basadas en la experimentación y experiencia surgidas durante el entorno controlado de pruebas podrán ponerse de libre acceso al público.

A lo largo del sandbox se contempla la participación de observadores a través de dos vías bajo:

• Reuniones puntuales
• Asesoramiento de grupo de expertos

El grupo de personas asesoras expertas estará integrado por profesionales independientes de reconocido prestigio y experiencia en el ámbito de la inteligencia artificial, tanto desde una perspectiva técnica como jurídica. Los expertos podrán pertenecer al ámbito académico, instituciones colegiales, asociaciones de otro tipo, a la Administración o al sector empresarial.

En 2023 se realizó una manifestación de interés para ser formar parte del grupo asesor de expertos. De esta manifestación se obtendrá una selección de 35 expertos independientes que serán nombrados por resolución de la Secretaría de Estado. El resto de las personas interesadas pasará a formar parte de una bolsa de reserva que podrán ser incorporados a este grupo según la demanda.

El objetivo principal de los expertos del entorno regulado de pruebas es el asesoramiento específico durante la ejecución del Sandbox en función de la casuística planteada. Además, se creará un Grupo de Trabajo antes de arrancar de forma operativa el Sandbox, donde se crearán entornos participativos y colaborativos en los que se realizará una revisión y/o valoración de las Guías Técnicas con el fin de poder implementar mejoras que aumenten la calidad ya demostrada de las mismas.