Je mehr KI-Chatbots über uns lernen, desto eher stimmen sie uns zu. Eine neue Studie des MIT und der Penn State University zeigt, wie Personalisierung hilfreiche Tools unbemerkt in digitale Ja-Sager verwandeln kann.
Wenn sich Ihr bevorzugter KI-Chatbot Ihre Vorlieben und früheren Gespräche merkt, kann er sich fast wie ein vertrauter Begleiter anfühlen. neue Forschung Eine Studie des MIT und der Penn State University legt nahe, dass diese Art der Personalisierung große Sprachmodelle (LLMs) stillschweigend dazu verleiten kann, zu digitalen Ja-Sagern zu werden – die eher zustimmen als korrigieren.
Im Verlauf längerer, alltäglicher Gespräche stellte das Team fest, dass Personalisierungsfunktionen dazu führen können, dass Sprachmanager die Meinungen ihrer Nutzer eher übernehmen und seltener auf deren Fehler hinweisen. Dieses als Schmeichelei bekannte Muster kann die Genauigkeit beeinträchtigen, politische Vorurteile verstärken und zur Bildung einflussreicher Echokammern beitragen.
Die Forscher konzentrierten sich auf zwei Arten von Schmeichelei: die Zustimmungsschmeichelei, bei der ein Modell übermäßig gefällig wird, selbst auf Kosten der Wahrheit, und die Perspektivenschmeichelei, bei der ein Modell beginnt, die Werte oder politischen Ansichten eines Benutzers widerzuspiegeln.
Aus Nutzersicht ist diese Veränderung mitunter schwer zu erkennen.
„Aus Nutzersicht verdeutlicht diese Arbeit, wie wichtig es ist zu verstehen, dass diese Modelle dynamisch sind und sich ihr Verhalten im Laufe der Zeit durch die Interaktion mit ihnen verändern kann. Wer sich über einen längeren Zeitraum mit einem Modell auseinandersetzt und anfängt, sein Denken an es auszulagern, gerät möglicherweise in eine Echokammer, aus der es kein Entrinnen gibt. Dieses Risiko sollten Nutzer unbedingt im Auge behalten“, erklärte Hauptautor Shomik Jain, Doktorand am MIT Institute for Data, Systems, and Society, in einer Pressemitteilung.
Im Gegensatz zu vielen früheren Studien, die Schmeichelei mit isolierten Aufforderungen im Labor testeten, wurden in diesem Projekt Menschen bei der Nutzung eines KI-Chatbots in ihrem realen Leben begleitet.
Das Team entwickelte eine Chat-Oberfläche auf Basis eines LLM (Lernmodells für Sprachverarbeitung) und rekrutierte 38 Probanden, die diese zwei Wochen lang wie gewohnt nutzten – für Ratschläge, Erklärungen oder alltägliche Fragen. Alle Nachrichten jedes Teilnehmers blieben im selben Kontextfenster, sodass das Modell auf den gesamten Gesprächsverlauf zurückgreifen konnte, ähnlich wie kommerzielle Chatbots mit Gedächtnisfunktion.
Im Verlauf von zwei Wochen sammelten die Forscher durchschnittlich etwa 90 Anfragen pro Nutzer. Anschließend verglichen sie das Verhalten von fünf verschiedenen Sprachlernprogrammen, wenn diese Zugriff auf den umfangreichen Gesprächsverlauf hatten, mit dem Verhalten, wenn ihnen keinerlei vorheriger Kontext zur Verfügung stand.
Ein klares Muster kristallisierte sich heraus: Der Kontext spielt eine große Rolle.
„Wir nutzen diese Modelle in längeren Interaktionen, und sie verfügen über viel Kontext und Gedächtnis. Unsere Evaluierungsmethoden hinken jedoch hinterher. Wir wollten LLMs so evaluieren, wie sie tatsächlich genutzt werden, um zu verstehen, wie sie sich in der Praxis verhalten“, fügte die Co-Seniorautorin Dana Calacci, Assistenzprofessorin an der Penn State, hinzu.
In vier der fünf Modelle führte der Zugriff auf den Interaktionskontext zu verstärkter Zustimmung und Unterwürfigkeit. Der größte Sprung ergab sich, als dem Modell ein komprimiertes Nutzerprofil – eine Zusammenfassung der Nutzeridentität und -interessen – zur Verfügung gestellt wurde. Solche Profilfunktionen werden zunehmend in neue KI-Produkte integriert, um diese personalisierter und hilfreicher zu gestalten.
Die Studie enthüllte zudem einen überraschenden Effekt: Selbst zufällig generierte, synthetische Konversationstexte ohne reale Nutzerinformationen führten mitunter dazu, dass die Modelle eher zustimmten. Dies deutet darauf hin, dass allein ein längeres Gespräch – unabhängig vom Inhalt – manche Modelle zu größerer Zustimmung bewegen kann.
Die Anpassung an die eigene Perspektive hing jedoch viel stärker vom Inhalt ab. Der Gesprächsverlauf verstärkte die Spiegelung politischer Überzeugungen nur dann, wenn er Aufschluss über die Ansichten des Nutzers gab. Um dies zu untersuchen, ließen die Forscher Modelle die politischen Neigungen jedes Nutzers anhand der Chatprotokolle ableiten und befragten die Teilnehmer anschließend, ob diese Ableitungen zutreffend waren. Die Nutzer gaben an, dass die Modelle ihre politischen Ansichten in etwa der Hälfte der Fälle richtig vorhergesagt hatten.
Diese Erkenntnis verdeutlicht ein doppeltes Risiko: Je besser die Modelle darin werden, zwischen den Zeilen unserer Gespräche zu lesen, desto besser werden sie möglicherweise auch darin, unsere Überzeugungen an uns zurückzuspiegeln, wodurch es schwieriger wird, alternative Sichtweisen kennenzulernen.
„Wir wissen viel über die Vorteile sozialer Kontakte zu Menschen mit ähnlichen oder unterschiedlichen Ansichten. Aber wir wissen noch nichts über die Vorteile und Risiken längerer Interaktionen mit KI-Modellen, die ähnliche Eigenschaften aufweisen“, fügte Calacci hinzu.
Die Arbeit unterstreicht auch, wie sehr sich das Verhalten von KI verändern kann, sobald Modelle so eingesetzt werden, wie Menschen sie tatsächlich nutzen: in langen, unübersichtlichen, kontextreichen Chats, nicht in kurzen, klaren Eingabeaufforderungen.
„Wir haben festgestellt, dass der Kontext die Funktionsweise dieser Modelle grundlegend verändert, und ich würde behaupten, dass dieses Phänomen weit über Speichelleckerei hinausgeht. Speichelleckerei nahm zwar tendenziell zu, aber nicht immer. Es hängt wirklich vom jeweiligen Kontext ab“, fügte die Co-Seniorautorin Ashia Wilson, Lister Brothers Career Development Professorin am MIT Department of Electrical Engineering and Computer Science, hinzu.
Um eine solche Studie durchführen zu können, musste das Team die Menschen miteinbeziehen, indem es die Teilnehmer bat, die Schlussfolgerungen der Modelle über sie zu bestätigen und echte Gespräche anstelle synthetischer Testfälle analysierte.
„Im Nachhinein lässt sich leicht sagen, dass KI-Unternehmen solche Evaluierungen durchführen sollten. Doch es ist schwierig und erfordert viel Zeit und Investitionen. Der Einsatz von Menschen im Evaluierungsprozess ist kostspielig, aber wir haben gezeigt, dass er neue Erkenntnisse liefern kann“, fügte Jain hinzu.
Obwohl das Hauptziel darin bestand, das Problem zu verstehen, skizzierten die Forscher auch einige mögliche Lösungswege.
Eine Möglichkeit besteht darin, Modelle zu entwickeln, die selektiver mit relevanten Kontexten umgehen, um nicht auf jedes Detail im Chatverlauf eines Nutzers überzureagieren. Eine andere Möglichkeit ist, Systeme zu entwickeln, die übermäßige Zustimmung oder Spiegelung der Nutzeransicht erkennen und diese Antworten kennzeichnen oder anpassen. Entwickler könnten Nutzern zudem mehr Kontrolle über die Personalisierung geben, insbesondere in längeren Chats – beispielsweise durch die Möglichkeit, den Speicherverbrauch zu reduzieren oder bestimmte Anpassungen zu deaktivieren.
„Es gibt viele Möglichkeiten, Models zu personalisieren, ohne sie dabei übermäßig gefällig wirken zu lassen. Die Grenze zwischen Personalisierung und Schmeichelei ist fließend, aber die Trennung von Personalisierung und Schmeichelei ist ein wichtiges Feld für zukünftige Arbeiten“, fügte Jain hinzu.
Für Studierende, Berufstätige und Alltagsnutzer, die zunehmend auf KI-Tools angewiesen sind, gilt: Personalisierung sollte nicht aufgegeben, sondern kritisch hinterfragt werden. Personalisierte Chatbots können wertvolle Hilfen sein, aber sie können auch unmerklich unsere Annahmen bestärken, insbesondere wenn wir ihre Antworten nicht mehr überprüfen.
„Letztendlich brauchen wir bessere Methoden, um die Dynamik und Komplexität dessen zu erfassen, was während langer Gespräche mit LLMs geschieht, und wie es im Laufe dieses langfristigen Prozesses zu Missverständnissen kommen kann“, fügte Wilson hinzu.
Das Team hofft, dass ihre Studie KI-Unternehmen und Forscher dazu anregen wird, Modelle unter realistischeren, langfristigen Bedingungen zu testen – und eine Personalisierung zu entwickeln, die kritisches Denken unterstützt, anstatt es zu ersetzen.