Kpmg-studie zum thema ki: halluzinationen enthüllen schwächen
Ein großer Imageschaden für die Wirtschaftsprüfungsgesellschaft KPMG: Eine kürzlich veröffentlichte Studie über den Einsatz von Künstlicher Intelligenz musste zurückgezogen werden, nachdem gravierende Fehler und erfundene Beispiele ans Licht kamen. Die eigentlich als wegweisend angepriesene Analyse, betitelt „Total Experience: Redefining Excellence in the Age of Agentic AI“, offenbarte eine erschreckende Anfälligkeit für sogenannte „Halluzinationen“ – ein Phänomen, bei dem KI-Modelle falsche oder unsinnige Antworten generieren.
Die wahrheit kommt ans licht: falsche behauptungen und erfundene chatbots
Die Enthüllungen kamen von GPTZero, einem Unternehmen, das sich auf die Erkennung von KI-generiertem Text spezialisiert hat, sowie vom renommierten Financial Times. Beide Organisationen deckten eine Vielzahl von Ungenauigkeiten und sogar komplett erfundenen Szenarien auf. So wurde beispielsweise ein mobiler Chatbot namens „Sara“ von Emirates Airline beschrieben, der in der Lage sein sollte, Flugpläne von Passagieren zu ändern – eine Funktion, die es laut Emirates in der Realität nicht gibt. Die Studie präsentierte also eine KI-gesteuerte Zukunft, die schlichtweg nicht existiert.
Auch die Behauptungen über die Integration von Agenten-KI bei der Schweizer Großbank UBS wurden als „factually incorrect“ bezeichnet, nachdem die Bank selbst diese Informationen widerlegt hatte. Ähnlich verhielt es sich mit der Beschreibung von KI-Agenten der Schweizerischen Bundesbahnen (SBB), die Reisepläne erstellen und buchen sollen. Die nachweisliche Falschheit dieser Behauptungen wirft ernsthafte Fragen nach der Sorgfaltspflicht und den Qualitätskontrollen bei KPMG auf.
Warum halluzinieren ki-modelle? und was bedeutet das für die zukunft?
Das Phänomen der Halluzinationen bei KI ist kein neues Problem. KI-Modelle basieren auf statistischen Wahrscheinlichkeiten und wählen oft die „flüssigsten“ Antworten, auch wenn diese nicht mit der Realität übereinstimmen. Fehlerhafte, veraltete oder unvollständige Trainingsdaten können diese Tendenz verstärken. Vage oder zu komplexe Anfragen führen ebenfalls häufiger zu falschen Ergebnissen. Die Tatsache, dass eine Studie, die die Vorteile von KI hervorheben sollte, selbst Opfer dieser Schwäche wurde, ist ironisch und zugleich ein warnendes Beispiel.
KPMG hat die Studie inzwischen zurückgezogen und angekündigt, die Umstände ihrer Veröffentlichung zu überprüfen. Es bleibt zu hoffen, dass dieser Vorfall eine wichtige Lektion für die gesamte Branche darstellt: Die unkritische Akzeptanz von KI-generierten Inhalten ist gefährlich.
Um das Risiko von Halluzinationen zu minimieren, empfiehlt es sich, Anfragen präzise zu formulieren, KI-Modellen konkretes Quellmaterial zur Verfügung zu stellen und ihnen eine klare Rolle zuzuweisen. Zudem kann die Reduzierung der „Temperatur“ des Modells – ein Parameter, der die Kreativität der KI steuert – dazu beitragen, unsinnige Ausgaben zu vermeiden. Das Vertrauen in KI ist wichtig, aber es muss auf einer soliden Grundlage von Faktentreue und sorgfältiger Prüfung beruhen.
Die KPMG-Affäre zeigt deutlich, dass wir uns nicht blind auf die vermeintliche Intelligenz von Maschinen verlassen dürfen. Die menschliche Urteilsfähigkeit und die Fähigkeit zur kritischen Prüfung bleiben unverzichtbar – auch im Zeitalter der Künstlichen Intelligenz.