Dieselbe Anfrage, nur ein wenig anders formuliert, und ein Sprachmodell antwortet völlig anders. Laut dem Team des Projekts QuantPi ist das das häufigste Problem, das bei Tests generativer künstlicher Intelligenz auftritt. Die Forschenden entwickelten eine Plattform, die selbst Tests erstellt, Instabilität und Verzerrungen aufspürt und Dokumentation für Prüfer liefert. Erprobt wurde sie auch an einem System, das Bewerbende empfiehlt — und am Ende kannst du prüfen, wie sehr du den Antworten von KI vertraust.
Generative künstliche Intelligenz hilft immer häufiger bei der Bewertung von Bewerberinnen und Bewerbern, im Kundenservice und bei geschäftlichen Entscheidungen. Ihre größte Stärke ist die Schnelligkeit. Sie hat jedoch eine Schwäche, die leicht übersehen wird: Auf eine kleine Änderung im Wortlaut einer Frage, in der Sprache oder im Kontext kann sie völlig anders reagieren. Für Unternehmen bedeutet das eine doppelte Aufgabe. Sie müssen solche Auffälligkeiten erkennen und außerdem Unterlagen vorweisen, die belegen, dass das Risiko getestet wurde und unter Kontrolle ist.
Dieses Problem hat das Team des Projekts QuantPi angepackt, das vom Europäischen Innovationsrat (EIC) gefördert wird. Entstanden ist eine Plattform für das Risikomanagement generativer künstlicher Intelligenz, deren Herzstück die PiCrystal-Technologie ist. Das Werkzeug erstellt automatisch Testsuiten, überprüft das Verhalten des Modells und wandelt die Ergebnisse in eine auditfähige Dokumentation um, die mit den Anforderungen der EU-Verordnung über künstliche Intelligenz verknüpft ist. Die Plattform untersucht Systeme unter drei Gesichtspunkten: instabile Ergebnisse, Verzerrungen und die Verfügbarkeit von Nachweisen, die sich bei einem Audit vorlegen lassen.
Was zeigt sich in solchen Tests am häufigsten? Lukas Bieringer, bei QuantPi für den Bereich Governance und Finanzhilfe zuständig, antwortet ohne Umschweife: „Typischerweise handelt es sich dabei um Verhaltensinkonsistenzen oder -instabilitäten bei realistischen Eingabevariationen – die gleiche Eingabeaufforderungsklasse führt je nach Formulierung, Sprache oder Kontext zu wesentlich anderen Ergebnissen.“
In der Praxis kann ein System einen einfachen Vergleichstest mühelos bestehen und dann im Kontakt mit echten Nutzerinnen und Nutzern versagen, die ihre Anfragen auf ihre Weise formulieren. Erst dann treten Verzerrungen und Ungleichheiten zwischen Gruppen zutage, die in den Durchschnittsergebnissen gar nicht zu sehen sind.
Das Team hat dies an einem konkreten Fall überprüft. Bewertet wurde ein Empfehlungssystem für Bewerbende auf der Basis eines großen Sprachmodells; Partner waren die Einstellungsplattform Stepstone und das KI-Prüflabor TÜV AI.Lab. Die Erkenntnis ist für alle wichtig, deren Lebenslauf in einem solchen System landen könnte. Tests von KI-Werkzeugen, die bei Einstellungen genutzt werden, brauchen große, repräsentative Datensätze. Nur sie ermöglichen eine intersektionale Testung, bei der sich überschneidende Merkmale verschiedener Gruppen überprüfen lassen. Durchschnittswerte wirken hier wie ein Vorhang: Sie verbergen wesentliche Unterschiede darin, wie das System mit einzelnen Gruppen umgeht.
Die zweite Idee von QuantPi besteht darin, die Ebene der Nachweise von der Ebene der Darstellung zu trennen. Sie beruht auf einer einfachen Beobachtung: Verschiedene Personen im Unternehmen brauchen unterschiedliche Informationen über dasselbe System.
Damit diese Ansichten nicht auseinanderlaufen, gilt eine Regel. Bieringer erklärt: „Das wichtigste Gestaltungsprinzip: Alle Anzeigen müssen auf derselben statistischen Nachweisgrundlage beruhen, damit eine Aussage auf Führungsebene immer auf ein bestimmtes Testergebnis zurückgeführt werden kann.“
Automatisierung heißt nicht, dass die Beurteilung durch Menschen überflüssig wird. Menschen legen fest, wofür das System gedacht ist, wählen die geltenden Definitionen von Fairness oder Sicherheit, setzen Akzeptanzschwellen und entscheiden, ob ein Werkzeug eingesetzt, verschoben oder zurückgezogen wird. Die Rollen sind klar verteilt: Die Plattform misst das Risiko, und die Verantwortlichen entscheiden, welches Maß davon akzeptabel ist.
Ein einmal durchgeführter Test genügt auch nicht für immer. Die Überwachung wird jedes Mal ausgelöst, wenn sich die Lage ändert: nach einer Modellaktualisierung, einer überarbeiteten Eingabeaufforderung oder einem neuen Abrufindex. Auch Abweichungen bei Ein- und Ausgaben sowie Änderungen von Vorschriften erfordern eine Neubewertung, denn jede dieser Veränderungen kann frühere Ergebnisse ungültig machen.
Laut Bieringer ist für viele Unternehmen das größte Hindernis nicht mehr das Wissen um die geltenden Regeln. Er sagt es unverblümt: „Die Unternehmen können keinen Nachweis zur technischen Konformität erstellen, der vor einer benannten Stelle oder einer Audit-Stelle Bestand hat – insbesondere mit Blick auf generative Systeme, bei denen herkömmliche Benchmark-Berichte nicht ausreichen und denen es bis heute an harmonisierten Normen fehlt.“ Die Plattform von QuantPi soll genau diese Lücke schließen, indem sie technische Tests in Nachweise umwandelt, die verschiedene Teams vor und nach der Bereitstellung nutzen können.
Generative KI kann launisch sein: Dieselbe Frage mit anderen Worten gestellt, kann eine völlig andere Antwort ergeben, und durchschnittliche Testergebnisse können die ungleiche Behandlung einzelner Gruppen verbergen. Das Projekt QuantPi zeigt, dass eine seriöse Bewertung solcher Systeme automatisierte, wiederholbare Tests, repräsentative Daten und eine gemeinsame Nachweisgrundlage für alle erfordert, vom Analysten bis zur Unternehmensführung. Das letzte Wort darüber, welches Risiko hinnehmbar ist, haben aber weiterhin die Menschen.
5 Fragen · eine Minute
English
Čeština
Deutsch
Español
Français
Magyar
Italiano
Polski
Português
Русский
Slovenčina
Türkçe
Українська
العربية
中文