Hatespeech moderieren: Wo KI den Menschen braucht

Vergrößern

Sahana Udupa ist Professorin für Medienethnologie an der LMU und leitet zwei ERC-Projekte zu Digitalpolitik und sozialen Medien. Zudem wurde sie als Joan Shorenstein Fellow an der Harvard Kennedy School ausgewählt. Gemeinsam mit dem Team des Projekts AI4Dignitiy hat sie soeben den Policy Brief „Artificial Intelligence, Extreme Speech, and the Challenges of Online Content Moderation“ als ERC-Forschungsergebnis veröffentlicht, der auf der Website des European Digital Media Observatory zur Verfügung steht.

Im Interview erläutert sie die verschiedenen Facetten von Extreme Speech und erklärt, wie Social-Media-Unternehmen und Regierungen Strukturen institutionalisieren sollten, die sicherstellen, dass bei der Content-Moderation durch künstliche Intelligenz gesellschaftliche Gruppen involviert sind.

Könnten Sie das Phänomen von Hatespeech beziehungsweise Extreme Speech einordnen: Ist es nur ein individuelles Problem, das jene betrifft, die Zielscheibe von Hatespeech werden, oder betrifft es die Gesellschaft als Ganze?

Sahana Udupa: Extreme Speech ist auf jeden Fall ein gesellschaftliches Thema. Das Problem lässt sich keinesfalls auf das Individuum reduzieren, das Hatespeech äußert oder dessen Zielscheibe ist; es ist viel größer. Es gibt verschiedene Faktoren, die den Umfang, die Zirkulation und den Inhalt solch problematischer Äußerungen beeinflussen. Wenn wir Hatespeech etwas entgegensetzen wollen, müssen wir das Phänomen daher in all seinen Dimensionen erfassen.

Hatespeech als kulturelles Phänomen begreifen

Wie lässt sich aus Ihrer Sicht das Phänomen anpacken?

Sahana Udupa: Extreme Speech ist immer abhängig vom jeweiligen Kontext und entwickelt sich sehr dynamisch. Formulierungen, die darunterfallen, sind zunehmend kulturell kodiert und suggestiv, mit vermeintlich witzigen Beiwörtern gespickt. Daher ist es so wichtig, über die rein rechtlich-regulatorischen Herangehensweisen hinauszugehen und Extreme Speech als kulturelles Phänomen zu begreifen. Wenn wir das tun, wirft das eine ganze Reihe von Fragen auf. Zum Beispiel: Was motiviert Menschen zu Hatespeech? Und wie können wir Onlinenutzerinnen und -nutzer als historisch verankerte Akteure begreifen und nicht nur als Opfer oder Angreifer?

Diese Fragen berühren die Architektur sozialer Medien und die Art und Weise, wie verschiedene Anreize in den Sozialen Medien gestaltet sind, die polarisierende und menschenfeindliche Sprache befördern.

Es gibt außerdem riesige Herausforderungen bei der Moderation von Inhalten seitens der Social-Media-Plattformen, aber auch von Regierungen. Und wir müssen hinterfragen, welche historischen Kräfte diese Entwicklungen bedingen. Es stimmt einfach nicht, dass Hatespeech ein völlig neues Phänomen ist. Hatespeech gab es bereits vor dem Beginn der digitalen Kommunikation.

KI-Systeme bei der Moderation von Hatespeech unterstützen

Welche Rolle spielt Künstliche Intelligenz, um im Internet Extreme Speech zu erkennen und zu löschen?

Sahana Udupa: Künstliche Intelligenz und die automatische Moderation von Inhalten wird als wichtiges Instrument angepriesen, um Extreme Speech online zu begegnen. Das liegt vor allem an der Geschwindigkeit und dem Ausmaß, mit dem sich Extreme Speech online verbreitet. Systeme Künstlicher Intelligenz sollen Skalierbarkeit ermöglichen und Kosten reduzieren.

Außerdem wird angenommen, dass sie den emotionalen Stress bei Menschen lindern können, deren Aufgabe es ist, solche Inhalte zu identifizieren und zu löschen. Aber die Annahme, dass der Einsatz Künstlicher Intelligenz neutral und effizient sei, halte ich für sehr optimistisch und sogar irreführend. Die große Frage ist, welche KI-Systeme nötig sind.

Welche Lösung schlagen Sie vor?

Sahana Udupa: In unserem Forschungsprojekt schlagen wir vor, bei der KI-basierten Content-Moderation den Menschen in den Mittelpunkt zu stellen und verschiedene gesellschaftliche Gruppen mit einzubeziehen.

KI-Systeme, die Extreme Speech erkennen sollen, sind momentan weder weltweit einsetzbar noch inklusiv. Ihre Fähigkeit, Sprache zu erkennen, hat große Lücken.

In unserem Forschungsprojekt entwickeln wir daher ein kollaboratives Modell: Sogenannte Faktenprüfer, die ausreichend Wissen über den Kontext von Online-Diskursen und eine Nähe zum professionellen Journalismus haben, sind im Dialog mit Ethnographen und KI-Entwicklern. Das führt zu einem, wie wir es nennen, Community-basierten Mensch-Maschine-Modell („community based human-machine process model“) mit einer kuratierten Programmierung („curated space of coding“).

Sie haben kürzlich eine Publikation dazu veröffentlicht – mit welchen Empfehlungen?

Sahana Udupa: In unserem jüngst veröffentlichten Policy Brief empfehlen wir, dass Social-Media-Unternehmen und Regierungen solche auf den Menschen zentrierten Strukturen installieren sollten, indem sie auf gesellschaftliche Gruppen zugehen und deren Feedback bei der Weiterentwicklung von KI-Systemen berücksichtigen.

Social-Media-Unternehmen sollten ihr Engagement für die Allgemeinheit nicht einfach nur als Möglichkeit oder philanthropischen Akt verstehen oder sich dabei nur auf kritische Momente wie Wahlen beschränken. Vielmehr sollten sie es zum festen Bestandteil des Jobs ihrer KI-Entwicklerinnen und -Entwickler machen, Beiträge aus der Gesellschaft zu berücksichtigen, und ein transparentes System aufbauen, das sicherstellt, dass gesellschaftliche Gruppen und Wissenschaftlerinnen und Wissenschaftler dauerhaft eingebunden sind.

Besteht auch die Gefahr, dass durch den Einsatz von KI die Meinungsfreiheit eingeschränkt wird, weil zu viel gelöscht wird?

Sahana Udupa: Ja, das ist eine echte Gefahr. Regierungen und Unternehmen investieren bereits sehr stark in KI-Systeme. Es gibt Beweise dafür, dass repressive Regime KI-Systeme nutzen, um Widerstand zu unterdrücken und grundlegende Rechte der Teilhabe und Meinungsfreiheit einzuschränken. Der Missbrauch von KI-Systemen kann die Sicherheit von Bürgerinnen und Bürgern bedrohen und sich gegen besonders verletzliche Gruppen richten. Es geht also auch darum, unabhängige Räume zu schaffen, in denen ein Dialog zwischen KI-Entwicklern, gesellschaftlichen Gruppen sowie Wissenschaftlerinnen und Wissenschaftlern stattfinden kann, losgelöst von Regierungen und Unternehmen.

Policy Brief: „Artificial Intelligence, Extreme Speech, and the Challenges of Online Content Moderation“

Projekt: For Digital Dignity

ERC Proof of Concept Projekt: AI4Dignity