Formulas la misma petición de un modo algo distinto y un modelo de lenguaje responde de forma completamente diferente. Según el equipo del proyecto QuantPi, es el problema más habitual que sale a la luz al probar la inteligencia artificial generativa. Los investigadores crearon una plataforma que genera pruebas por sí sola, detecta inestabilidad y sesgos y prepara documentación para los auditores. La probaron también en un sistema que recomienda candidatos, y al final puedes comprobar cuánto confías en las respuestas de la IA.
La inteligencia artificial generativa ayuda cada vez más a evaluar candidatos, atender a los clientes y apoyar decisiones empresariales. Su mayor virtud es la rapidez. Sin embargo, tiene una debilidad fácil de pasar por alto: puede reaccionar de forma completamente distinta ante un pequeño cambio en la redacción de una pregunta, en el idioma o en el contexto. Para las empresas esto supone una doble tarea. Tienen que detectar esas anomalías y, además, contar con documentación que demuestre que el riesgo se ha probado y está bajo control.
Del problema se ocupó el equipo del proyecto QuantPi, respaldado por el Consejo Europeo de Innovación. Así surgió una plataforma para la gestión de riesgos de la inteligencia artificial generativa, cuyo corazón es la tecnología PiCrystal. La herramienta crea automáticamente conjuntos de pruebas, comprueba el comportamiento del modelo y convierte los resultados en documentación lista para las auditorías, vinculada a los requisitos del Reglamento de Inteligencia Artificial de la Unión Europea. La plataforma examina los sistemas desde tres ángulos: resultados inestables, sesgos y disponibilidad de pruebas que puedan presentarse en una auditoría.
¿Qué es lo que más a menudo sale a la luz en este tipo de pruebas? Lukas Bieringer, responsable de Políticas y Subvenciones de QuantPi, responde sin rodeos: «Suele tratarse de un comportamiento incoherente o inestable ante una variación realista de las entradas, es decir, la misma clase de pregunta produce resultados materialmente diferentes según la redacción, el lenguaje o el contexto».
En la práctica, un sistema puede superar sin problemas una prueba comparativa sencilla y fallar después al encontrarse con usuarios reales, que formulan sus solicitudes a su manera. Solo entonces salen a la luz sesgos y desigualdades entre grupos que en los resultados medios no se ven en absoluto.
El equipo lo comprobó en un caso concreto. Se evaluó un sistema de recomendación de candidatos basado en un gran modelo lingüístico, con la plataforma de contratación Stepstone y el laboratorio de garantía de IA TÜV AI.Lab como socios. La conclusión importa a cualquiera cuyo currículum pueda acabar en un sistema así. Las pruebas de las herramientas de IA que se usan en la contratación requieren conjuntos de datos amplios y representativos. Solo ellos permiten realizar pruebas interseccionales, en las que se comprueban las características coincidentes de distintos grupos. Calcular medias funciona aquí como una cortina: oculta diferencias importantes en cómo trata el sistema a cada segmento.
La segunda idea de QuantPi es separar la capa de las pruebas de la capa de la presentación. Parte de una observación sencilla: distintas personas de la empresa necesitan información diferente sobre el mismo sistema.
Para que estas vistas no se separen entre sí, rige una sola regla. Bieringer lo explica así: «El principio clave del diseño es que todas las opiniones deben derivarse de la misma base de pruebas estadísticas, de modo que una declaración a nivel de la junta directiva siempre pueda rastrearse hasta un resultado de prueba específico».
La automatización no significa que el juicio humano deje de ser necesario. Las personas definen para qué sirve el sistema, eligen qué definiciones de equidad o seguridad se aplican, fijan umbrales de aceptación y deciden si se despliega, se retrasa o se retira una herramienta. El reparto de papeles está claro: la plataforma mide el riesgo y las personas responsables deciden qué nivel de riesgo es aceptable.
Tampoco basta con hacer una prueba una sola vez para siempre. La supervisión se activa cada vez que cambia la situación: tras una actualización del modelo, una indicación revisada o un nuevo índice de recuperación. También exigen una reevaluación el cambio en las entradas o salidas y la variación de las normas, porque cualquiera de estas cosas puede invalidar los resultados anteriores.
Según Bieringer, para muchas empresas el mayor obstáculo ya no es conocer las reglas vigentes. Lo dice con franqueza: «Lo que no pueden hacer es presentar pruebas técnicas de conformidad que se sostengan ante un organismo notificado o un auditor, sobre todo en el caso de los sistemas generativos, donde los informes de referencia tradicionales son insuficientes y faltan normas armonizadas hasta la fecha». La plataforma de QuantPi pretende cubrir precisamente esa carencia, convirtiendo las pruebas técnicas en pruebas que los distintos equipos pueden utilizar antes y después de la puesta en marcha.
La IA generativa puede ser caprichosa: la misma pregunta formulada con otras palabras puede dar una respuesta completamente distinta, y los resultados medios de las pruebas pueden ocultar un trato desigual a determinados grupos. El proyecto QuantPi demuestra que una evaluación rigurosa de estos sistemas exige pruebas automáticas y repetibles, datos representativos y una única base de pruebas común para todos, desde el analista hasta la dirección. La última palabra sobre qué riesgo es aceptable sigue correspondiendo, sin embargo, a las personas.
5 preguntas · un minuto
English
Čeština
Deutsch
Español
Français
Magyar
Italiano
Polski
Português
Русский
Slovenčina
Türkçe
Українська
العربية
中文