KI-generierte Nachrichten sind schwerer verständlich

Traditionell verfasste Nachrichtentexte sind verständlicher als automatisch erstellte Artikel. Das hat eine neue LMU-Studie ergeben, deren Ergebnisse kürzlich im Fachmagazin Journalism: Theory, Practice, and Criticism erschienen sind. Dazu befragte das Forschungsteam des Instituts für Kommunikationswissenschaft und Medienforschung (IfKW) mehr als dreitausend Konsumentinnen und Konsumenten von Online-Nachrichten in Großbritannien. Die Befragten bewerteten jeweils einen von vierundzwanzig Texten, von denen die Hälfte automatisiert erstellt, die andere von menschlichen Journalisten verfasst worden war. „Insgesamt fanden die Leserinnen und Leser die zwölf automatisierten Artikel deutlich weniger verständlich“, fasst Hauptautorin Sina Thäsler-Kordonouri das Ergebnis zusammen. Und das, obwohl die KI-generierten Artikel vor der Veröffentlichung von Journalisten redigiert wurden.

Falscher Umgang mit Zahlen und Wortwahl

Das liege laut der Befragung unter anderem an der Art und Weise, wie die künstlich generierten Texte mit der Wortwahl umgehen. Laut den Leserinnen und Lesern beinhalten die mit KI-erstellten Artikel zu viel unpassende, komplizierte oder unübliche Sprache. Die Leserinnen und Leser beurteilten auch den Umgang mit Zahlen und Daten bei den automatisierten Artikeln als deutlich schlechter.

Die von den befragten Personen wahrgenommenen Schwächen im Umgang mit Zahlen und in der Wortwahl der automatisierten Artikel erklären laut den Autorinnen und Autoren zum Teil, warum sie schwerer zu verstehen waren. Mit dem „Charakter“ des Textes, der Erzählstruktur sowie dem Erzählfluss waren die Lesenden bei automatisierten und manuell verfassten Artikeln hingegen gleichermaßen zufrieden.

Mehr menschliche Nachbearbeitung nötig

Studienleiter Professor Neil Thurman schlägt daher vor, dass „Journalisten und Informatikerinnen bei der Erstellung und Nachbearbeitung automatisierter Nachrichtenartikel darauf achten sollten, die Menge an Zahlen zu reduzieren, Wörter, die Lesende wahrscheinlich nicht verstehen, besser zu erklären und den Anteil an Sprache zu erhöhen, der den Lesern hilft, sich ein Bild davon zu machen, worum es in der Geschichte geht.“

Diese Studie sei die erste, die sowohl die relative Verständlichkeit von manuell und automatisch verfassten Nachrichtenartikeln untersucht als auch die Gründe für die wahrgenommenen Unterschiede aufzeigt. „Unsere Ergebnisse zeigen, wie wichtig die menschliche Beteiligung an der automatisierten Produktion datengestützter News-Inhalte ist, und schlägt vor, wie diese verfeinert werden kann“, sagt Sina Thäsler-Kordonouri.

Sina Thaesler-Kordonouri, Neil Thurman, Ulrike Schwertberger & Florian Stalph: Too many numbers and worse word choice: Why readers find data-driven news articles produced with automation harder to understand. Journalism: Theory, Practice, and Criticism 2024