Weniger Halluzinationen durch die richtige Problemstellung

Flüssiger Text ist nicht gleich richtiger Inhalt

Textbasierte KI-Modelle wie ChatGPT, Claude oder Gemini sind Textgeneratoren. Sie können Informationen falsch wiedergeben oder sogar erfinden. Dabei klingen sie oft sehr selbstsicher und produzieren flüssigen Text. Die Qualität des Textes ist von der Qualität der enthaltenen Informationen zu trennen.

Ansätze wie die Integration einer Websuche und die Möglichkeit, Ergebnisse zu zitieren, reduzieren solche sachlichen Fehler häufig. Doch auch dann kommt es oft vor, dass Modelle Quellen falsch zitieren oder interpretieren oder Ergebnisse zugunsten der Lesbarkeit zu stark vereinfachen.

Je nach Anwendungsfall lassen sich Halluzinationen durch eine Umstrukturierung der Problemstellung reduzieren, oder ihre negativen Auswirkungen lassen sich ganz vermeiden.

Beispiel: Widersprüche zwischen zwei Datenquellen finden

Betrachten wir den Abgleich zwischen zwei Informationsquellen mit dem Ziel, Widersprüche zwischen ihnen zu finden. Hier hat es Priorität, möglichst alle Fehler zu finden, die anschließend von Menschen eingeordnet und berichtigt werden. Werden dabei auch Diskrepanzen gemeldet, die keine Relevanz haben oder fälschlicherweise markiert wurden, kann der Mensch sie aussortieren.

Der naive Ansatz: Ein KI-Modell vergleicht Datenpunkte, zum Beispiel einzelne Dokumente, direkt miteinander. Das ist einfach umsetzbar. Allerdings kann das Modell dabei Probleme übersehen oder Fehler erfinden, die nicht vorhanden sind oder keine Relevanz haben.

Hinzu kommt eine Kostenabwägung: Mächtigere Modelle mit höherem Reasoning-Level erzielen präzisere Ergebnisse, aber zu höheren Kosten. Eine Garantie bieten auch sie nicht.

Unser Ansatz: erst strukturiert extrahieren, dann im Code vergleichen

Eine Alternative ist ein System, das aus den Dokumenten beider Informationsquellen Daten strukturiert extrahiert. Werden die Daten in ein präzise definiertes Format überführt und anschließend programmatisch verglichen, lassen sich die genannten Fehlerarten eliminieren. Statt Fehlern im Vergleich können KI-Modelle dann nur noch Fehler bei der Extraktion und Strukturierung der Daten machen. Diese Aufgabe lösen auch kleine Modelle.

Ein Fehler in den extrahierten Daten führt zunächst nur dazu, dass ein nicht vorhandener Widerspruch gemeldet wird. Zu einem falsch-negativen Ergebnis kommt es nur, wenn bei der Extraktion aus den Dokumenten beider Systeme ein Fehler passiert, der unterschiedliche Daten auf das gleiche Ergebnis verfälscht. Das könnte zum Beispiel eine verschluckte Tabellenzeile sein.

Indem wir das ursprüngliche Problem von einem Vergleichs- in ein Datenextraktionsproblem umformulieren, senken wir die Fehlerwahrscheinlichkeit und die laufenden Kosten deutlich.