Formula la stessa richiesta in modo un po’ diverso e un modello linguistico risponde in maniera completamente diversa. Secondo il team del progetto QuantPi è il problema più frequente che emerge nei test dell’intelligenza artificiale generativa. I ricercatori hanno creato una piattaforma che genera da sola i test, individua instabilità e distorsioni e prepara documentazione per i revisori. L’hanno provata anche su un sistema che raccomanda candidati — e alla fine puoi verificare quanto ti fidi delle risposte dell’IA.
L’intelligenza artificiale generativa aiuta sempre più spesso a valutare i candidati, a rispondere ai clienti e a sostenere le decisioni aziendali. Il suo punto di forza maggiore è la velocità. Ha però una debolezza facile da trascurare: può reagire in modo completamente diverso a una piccola modifica nella formulazione di una domanda, nella lingua o nel contesto. Per le aziende questo significa un doppio compito. Devono individuare queste anomalie e inoltre avere una documentazione che dimostri che il rischio è stato testato ed è sotto controllo.
Di questo problema si è occupato il team del progetto QuantPi, sostenuto dal Consiglio europeo per l’innovazione. È nata una piattaforma per la gestione del rischio dell’intelligenza artificiale generativa, il cui cuore è la tecnologia PiCrystal. Lo strumento crea automaticamente suite di test, verifica il comportamento del modello e trasforma i risultati in documentazione pronta per le ispezioni, collegata ai requisiti del regolamento sull’IA dell’Unione europea. La piattaforma esamina i sistemi da tre punti di vista: risultati instabili, distorsioni e disponibilità di prove che si possano presentare durante un’ispezione.
Che cosa emerge più spesso in questi test? Lukas Bieringer, responsabile delle politiche e delle sovvenzioni di QuantPi, risponde senza giri di parole: «si tratta tipicamente di un comportamento incoerente o instabile in presenza di una variazione realistica degli input: la stessa classe di prompt produce risultati molto diversi a seconda della formulazione, del linguaggio o del contesto.»
In pratica, un sistema può superare senza difficoltà un semplice test di riferimento e poi fallire a contatto con utenti reali, che formulano le richieste a modo loro. Solo allora vengono a galla pregiudizi e disuguaglianze tra i gruppi, che nei risultati medi non si vedono affatto.
Il team lo ha verificato su un caso concreto. È stato valutato un sistema di raccomandazione dei candidati basato su un modello linguistico di grandi dimensioni, con la piattaforma di reclutamento Stepstone e il laboratorio di garanzia dell’IA TÜV AI.Lab come partner. La conclusione conta per chiunque possa vedere il proprio CV finire in un sistema simile. I test degli strumenti di IA usati per le assunzioni richiedono set di dati ampi e rappresentativi. Solo questi permettono test intersezionali, in cui si possono verificare le caratteristiche sovrapposte di gruppi diversi. Qui la media funziona come un sipario: nasconde differenze importanti nel modo in cui il sistema tratta i singoli segmenti.
La seconda idea di QuantPi è separare il livello delle prove dal livello della presentazione. Nasce da un’osservazione semplice: persone diverse in azienda hanno bisogno di informazioni diverse sullo stesso sistema.
Perché queste visualizzazioni non divergano, vale una sola regola. Bieringer la spiega così: «Il principio chiave della progettazione è che tutte le visualizzazioni devono derivare dalla stessa base di prove statistiche, in modo che un’affermazione di un CdA possa sempre essere ricondotta a un risultato specifico del test.»
L’automazione non significa che il giudizio umano diventi superfluo. Sono le persone a definire a cosa serve il sistema, a scegliere quali definizioni di equità o sicurezza applicare, a stabilire le soglie di accettazione e a decidere se distribuire, rimandare o ritirare uno strumento. La ripartizione dei ruoli è chiara: la piattaforma misura il rischio, mentre le persone responsabili decidono quale livello sia accettabile.
Anche un test eseguito una volta non basta per sempre. Il monitoraggio scatta ogni volta che la situazione cambia: dopo un aggiornamento del modello, un prompt modificato o un nuovo indice di recupero. Una nuova valutazione richiedono anche la deriva degli input e degli output e le modifiche delle regole, perché ognuna di queste cose può invalidare i risultati precedenti.
Secondo Bieringer, per molte aziende l’ostacolo più grande non è più la consapevolezza delle regole in vigore. Lo dice in modo diretto: «Quello che non possono fare è produrre prove tecniche di conformità che reggano di fronte a un organismo notificato o a un ente di ispezione, in particolare per i sistemi generativi, dove i tradizionali rapporti di benchmark sono insufficienti e mancano ad oggi norme armonizzate.» La piattaforma QuantPi vuole colmare proprio questa lacuna, convertendo i test tecnici in prove che i diversi gruppi di lavoro possono usare prima e dopo la distribuzione.
L’IA generativa può essere capricciosa: la stessa domanda posta con altre parole può dare una risposta del tutto diversa, e i risultati medi dei test possono nascondere un trattamento disuguale di singoli gruppi. Il progetto QuantPi mostra che una valutazione seria di questi sistemi richiede test automatici e ripetibili, dati rappresentativi e un’unica base di prove comune a tutti, dall’analista al consiglio di amministrazione. L’ultima parola su quale rischio sia accettabile spetta però ancora alle persone.
5 domande · un minuto
English
Čeština
Deutsch
Español
Français
Magyar
Italiano
Polski
Português
Русский
Slovenčina
Türkçe
Українська
العربية
中文