„ChatGPT ist der Beginn einer neuen NLP-Ära – aber es ist noch ein langer Weg“

Vergrößern

Barbara Plank ist Inhaberin des Lehrstuhls Künstliche Intelligenz und Computerlinguistik am Centrum für Informations- und Sprachverarbeitung (CIS) der LMU. Im folgenden Gastbeitrag antwortet die LMU-Professorin auf die Frage, was ChatGPT kann:

„Das Ziel der Computerlinguistik (auch bekannt als Natural Language Processing, NLP) ist es, Computern Sprache beizubringen oder menschliche Sprache automatisch zuverstehen durch Anwendung von Künstlicher Intelligenz und maschinellem Lernen.

ChatGPT ist ein Beispiel eines Sprachverarbeitungsmodells aus der Computerlinguistik (in Englisch: ein language model, LM). ChatGPT wurde am 30.11.2022 von OpenAI veröffentlicht – genau einen Tag vor unserem Workshop im Rahmen des Schwerpunkts ‚Next Generation AI‘ am Center for Advanced Studies der LMU ‚Writing with Artificial Intelligence‘.

Das Sprachverarbeitungsmodell kann vieles, zum Beispiel Fragen beantworten, Texte generieren, Stories generieren und auch Softwarecode schreiben. Texte aus Daten zu generieren, wie zum Beispiel Wetter- oder Sportberichte, ist einfach (siehe das Beispiel unten). Solche Data-to-text-Generation ist weit verbreitet, Associated Press setzt sie bereits seit circa zehn Jahren ein.

Fragen sachlich richtig zu beantworten (‚faithful‘ generation), da stößt man an seine Grenzen. Wenn wir zum Beispiel fragen: ‚Wie komme ich von München nach Venedig, ohne die Alpen zu durchqueren?‘ Dann antwortet ChatGPT (in der Version vom 30. Januar 2023) wie folgt. Auf den ersten Blick kohärent, aber ohne die Essenz der Frage zu verstehen (siehe auch das Beispiel 2 weiter unten):

Beispiel 1: Eine Frage an ChatGPT

Barbara Plank: Wie komme ich von München nach Venedig, ohne die Alpen zu überqueren?

ChatGPT: 1. Fahre oder nimm einen Zug von München nach Venedig. 2. Von Verona aus nimmst du einen Zug nach Venedig. Du kannst auch von München nach Venedig fliegen, was ebenfalls das Überqueren der Alpen vermeidet.

Sehr viel menschliche Arbeitszeit investiert

Ist ChatGPT neu? Nein. ChatGPT wurde vor Kurzem veröffentlicht, ein ähnliches Modell und Vorgänger gibt es aber bereits seit einem Jahr (InstructGPT, Januar 2022). Ein großerUnterschied zwischen den beiden Modellen ist der öffentliche Zugang: OpenAI hat ChatGPT auf seiner Plattform für die breite Öffentlichkeit zugänglich gemacht. Jeder kann das Modell jetzt testen. Dahinter steckt mühsame Arbeit: Im letzten Jahr wurde die Technologie verbessert und sicherer gemacht. Nicht nur Rechenkraft, sondern auch Arbeitskraft war nötig, um die Modelle auf den Stand von heute zu bringen.

Im Vergleich zu älteren Modellen zeichnen sich neue Modelle wie ChatGPT durch die zunehmende Kohärenz und sprachliche Gewandtheit aus. Die neueren, größeren Modelle werden mit Unmengen an Textdateien aus dem Internet gefüttert und bei ChatGPT anschließend mit sehr vielen zusätzlichen Daten verfeinert, wofür es Stunden von menschlicher Arbeitskraft braucht.

Ein großes Problem bleibt die sachliche Korrektheit, das Vermeiden von Bias, das Unterstützen von kleineren Sprachen und Dialekten, aber auch Halluzination. Halluzination (‚hallucination‘) bezieht sich auf das Phänomen, dass ein KI-Modell eine Antwort generiert, die nicht sinnvoll, unlogisch oder nicht relevant ist.

Ein weiteres Problem ist, dass es auch zunehmend schwieriger ist, KI-generierten Text von menschlichem Text zu unterscheiden. Klassifikatoren hierfür gibt es immer mehr (OpenAI hat erst ein Modell veröffentlicht), Ideen zur Erkennung und Forschung dazu gibt es auch seit Jahren.

Kooperation von Mensch und Maschine nötig

ChatGPT und ähnliche Sprachverarbeitungsmodelle werden bleiben und die Zukunft mitgestalten. Hierfür sind Forschung und viele Ressourcen nötig. Eine besondere Herausforderungen ist das Lernen von Sprachvarianten, für die es wenig digitale Daten gibt, worunter auch germanische Dialekte fallen. Daran arbeiten wir zurzeit auch in meinem vor Kurzem gestarteten ERC-Projekt ‚Natural Language Understanding for non-standard languages and dialects‘.

ChatGPT und Co werden sich in Zukunft verbessern, sachlich korrektere Antworten liefern, wahrscheinlich auch Quellenangaben mitliefern, die bei ChatGPT heute fehlen. Um das Modell zu verbessern, braucht es meiner Meinung nach aber eine starke Verknüpfung mit Wissensdatenbanken und die Kooperation von Mensch und Maschine (human-centric NLP), denn ohne Kooperation kann die Maschine nur bis zu einem gewissen Grad Sprache verstehen und Aufgaben lösen.

Beispiel 2: Was ChatGPT über seine Zukunft meint

Zum Abschluss frage ich ChatGPT selbst:

Barbara Plank: Wohin werden sich die Textroboter entwickeln?

Chat GPT: Es ist schwierig vorherzusagen, wohin sich Textroboter in Zukunft entwickeln werden, aber es gibt einige Trendbereiche, in denen sie sich voraussichtlich weiterentwickeln werden:

1. Künstliche Intelligenz und maschinelles Lernen: Textroboter werden weiterhin verbessert, um menschliche Kommunikation besser nachahmen und Verständnis zeigen zu können.

2. Natürliche Sprachverarbeitung: Textroboter werden immer besser darin, natürliche Sprache zu verstehen und zu verarbeiten, einschließlich der Verwendung von Kontext und emotionalen Signalen.

3. Personalisierung und Kontextualisierung: Textroboter werden in der Lage sein, ihre Antworten auf die Bedürfnisse und den Kontext einer einzelnen Person oder Situation anzupassen.

4. Mehrkanal-Integration: Textroboter werden weiterhin in andere Kanäle wie Sprachassistenten, Chatbots und virtuelle Kundenbetreuer integriert, um eine bessere Nutzererfahrung zu bieten.

5. Übergang von regelbasierten Systemen zu lernfähigen Systemen: Textroboter werden von festen Regeln zu Systemen, die in der Lage sind aus Daten zu lernen und sich anzupassen, übergehen.

Es ist jedoch wichtig zu beachten, dass die Entwicklung von Textrobotern auch von anderen Faktoren wie den technologischen Fortschritten, regulatorischen Überlegungen und sozialen Trends beeinflusst wird."

Was ist von ChatGPT zu halten? Einschätzungen von LMU-Forschenden