„Wir machen den Skalierungswettlauf mit unseren Algorithmen nicht mit“

Vergrößern

Large Language Models (LLM) sind die algorithmische Grundlage der Künstlichen Intelligenz (AI), die allerdings Unmengen an Trainingsdaten benötigen, um Texte, Bilder und Audio-Dateien generieren zu können. Derzeit tobt ein Marketingkampf, in dem die Größe der Modelle Aussagen über deren Leistungsfähigkeit signalisieren soll, im Sinne von: je größer, je besser. Dabei wird meist übersehen, dass LLMs neben vielen Daten auch sehr viel Rechenpower und sehr viel Energie für den Betrieb der zugrundeliegenden Rechnerfarmen benötigen, Aufwände an Terabyte, TeraFLOPS und Terawatt, die sich nur die üblichen Big Player der Digitalindustrie bislang leisten können und wollen. Die Computing Power für Training und Anwendung der KI ist jedoch alles andere als eine saubere „grüne Technologie“.

Professor Björn Ommer, Inhaber des Lehrstuhls für KI für Computer Vision und Digital Humanities/die Künste an der LMU und bekannt durch seinen schlanken Text zu Bild-Generator „Stable Diffusion“, findet im Interview jedoch nicht nur Nachhaltigkeitsgründe, die gegen den gegenwärtigen Überbietungskampf der LLMs sprechen.

Professor Ommer, Sie sind ein Vorreiter der aktuellen Entwicklung von KI-Anwendungen. Mit Ihrem Namen ist die Anwendung „Stable Diffusion“ verbunden, mit der jeder Bilder über einen Text-Prompt erstellen kann. Das Besondere an Ihrer Entwicklung ist, dass Sie auf Personal Computern, ja sogar auf Smartphones laufen kann. Verglichen mit dem aktuellen Hype um die „greatest“ der Large Models zeigt die Richtung Ihrer Forschung eher auf „small“.

Björn Ommer: Anscheinend ist das „Large“ der LLMs zu einem Gütekriterium geworden. Man denkt, durch reines Größermachen wird Künstliche Intelligenz immer leistungsfähiger. Doch die Entwicklung von Künstlicher Intelligenz befindet sich gerade an einem Wendepunkt: Die Modelle werden eben nicht mehr allein durch bloße Skalierung unter Einsatz von noch mehr Computing Power und noch mehr Trainingsdaten intelligenter. Diese Überlegung hat uns bei der Entwicklung von „Stable Diffusion" geleitet, die Weiterentwicklung dieser Technologie kann nun von mehr Forschern und Forscherinnen mit geringeren Anforderungen an Hardware und Daten betrieben werden.

In jüngster Zeit scheint ein Überdenken der bisherigen Entwicklung eingesetzt zu haben. Man fragt sich: Wollen wir uns diese gigantischen Aufwände an Ressourcen leisten und wer betreibt eigentlich die Serverfarmen? Also was kostet das alles und wem nützt es?

Künstliche Intelligenz hat immer einen Preis. Am Anfang wurden viele Ressourcen benötigt, um KI überhaupt aufzusetzen. Doch inzwischen nutzt man die so entwickelten Technologien ja auch, um Energie zu sparen. KI wird zum Ermöglicher neuer Verfahren, die wiederum effizienter sind als die alten. Es gibt aber eben noch etwas anderes: Meistens steht versteckt im Kleingedruckten der Anbieter, dass die Daten, die die Verbraucher eingeben, im Eigeninteresse weitergenutzt werden, etwa, um die LLMs damit zu trainieren. Das können Unternehmen mit extrem sensiblen Daten, etwa im medizinischen Bereich, nicht tolerieren. Auch darum wollten wir diesen Skalierungswettlauf mit unseren Algorithmen nicht mitmachen.

Eine Frage von Rechenpower

Wie halten Sie Ihre Modelle denn kleiner?

Wie gesagt: Erst einmal waren die großen Modelle unerlässlich. Aber dann eben nicht mehr. Damit ein Modell über die Breite der visuellen Welt, damit ein Textmodell über die Breite dessen, was sich in Sprache sagen lässt, funktionieren kann, muss es nun einmal eine Menge „gesehen" und „gelesen" haben. Davon ausgehend kann man die Modelle jedoch auf spezifische Anwendungen anpassen und entsprechend verkleinern.

Doch die großen Player haben hier bereits die Rolle von Gatekeepern übernommen: Sie bestimmen, wer auf ihre Technologie zugreifen darf und wer nicht. Gatekeeper sind sie aber noch in anderer Hinsicht, und darauf muss man heute ein viel größeres Augenmerk legen. Denn es braucht zu Training und Betrieb einer KI nicht nur Unmengen an Daten, sondern vor allem Rechenpower von dezidierten Prozessoren (GPU). Während man bei der Abwägung der Kosten von KI bislang vor allem über Energie- und Wasserverbrauch für Betrieb und Kühlung der Rechner, zunehmend auch noch über den Datenhunger nachgedacht hat, sind die faktischen Anforderungen ans Computing durch die GPUs noch nicht genügend berücksichtigt worden.

Diese enorme Rechenpower ist ein entscheidender kompetitiver Wettbewerbsfaktor für die weitere Entwicklung, die breite Nutzung und die Monetarisierung von KI. Das wurde deutlich, als die USA den Export der Topmodelle des GPU-Herstellers Nvidia nach China untersagt haben. Man sieht, dass Computing immer mehr zur bestimmenden Größe in diesem Wettlauf der KI geworden ist.

Sensible Daten nicht aus der Hand geben

Also begibt man sich als Nutzer von KI gleich in eine doppelte Abhängigkeit: Einmal durch die eingegebenen Daten und einmal durch die Rechenpower der Unternehmen, die jede KI-Anfrage bearbeiten.

Genau. Und darauf gilt es hinzuweisen. Wenn Sie etwa im medizinischen Bereich eine KI unterstützend einsetzen, verwenden Sie ja keine Trainingsdaten aus dem Internet mehr, sondern sehr konkrete Patientendaten, die Sie für eine Diagnose einsetzen. Wenn Sie dies aber nur können, indem Sie auf die Rechner der großen Player zugreifen, geben Sie heikles Wissen aus der Hand. Wenn KI aber nur läuft, wenn Sie die großen Player mit deren Computing Power bedienen, befinden Sie sich in Abhängigkeit. Darum befürworte ich unbedingt, dass hiesige Firmen, die über proprietäre Datenschätze verfügen, kleinere, eigenständige und unabhängige Lösungen für genau ihre Bedarfsfälle entwickeln.

Doch selbst dann wird man weiterhin die gigantischen Ressourcen an Rechenpower brauchen, um selbst kleinere Anwendungen lauffähig zu machen.

Es besteht auf mehreren Ebenen Bedarf. Die unterste Ebene ist eine haptische, gemeint sind die Rechenzentren voller GPU-Power. Das führt in die erwähnten Abhängigkeiten. Deshalb war ein Ziel unserer Entwicklung von Stable Diffusion, sogenannte „Foundation Models", also Generalisten, die auf Text oder Bildern in der ganzen Breite trainiert wurden, zu demokratisieren – sie also open-source und so schlank zu machen, dass sie nach dem Training auch auf gewöhnlicher Hardware laufen. Die freie Zugänglichkeit bietet den Vorteil, dass das aufwendige initiale Training nur einmal durchgeführt werden muss. Ein anschließendes Finetunen, also ein Anpassen auf konkrete Anwendungen, kann dann von Nutzern mit eigenen Daten durchgeführt werden, ohne diese mit Firmen aus dem Ausland teilen zu müssen.

Völlig unabhängig sind Sie so aber immer noch nicht.

Und das ist die Crux. Deutschland benötigt eine zentrale Computing-Infrastruktur, damit KI hier auf individuelle Bedürfnisse zugeschnitten werden kann. KI wird bald in nahezu allen gesellschaftlich relevanten Bereichen auftauchen. Der Bedarf wächst jetzt bereits enorm. Deutschland hat gerade in jüngster Vergangenheit erlebt, was es heißt, sich etwa auf dem Energie-Sektor abhängig von einem einzigen externen Lieferanten zu machen. Wie sieht das also aus, wenn Deutschland seine wachsenden Computing-Bedürfnisse von ausländischen, dazu noch privatwirtschaftlich orientierten Firmen abhängig macht? Es bedarf eines Entschlusses, die Rechenzentren entsprechend aufzurüsten, schnell aus- und aufzubauen. Dieses Problem existiert jetzt, ist keine Zukunftsmusik. Es geht darum, dieses exponentielle Wachstum nicht zu verpassen. Die Weiterentwicklung der KI ist weltweit nicht mehr aufzuhalten.

Interview: Bernd Graff

Mehr zum Thema

Harvard Business Review: How to Make Generative AI Greener

Forbes Magazine: Bigger isn't always better when it comes to generative ai