Stromfresser Chat-GPT: Warum Sprachmodelle unbedingt effizienter werden müssen

Der KI-Chatbot Chat-GPT erreichte in den Tagen nach seinem Launch mehr Nutzer*innen als Instagram oder TikTok. Was im neuen KI-Boom allerdings außer Acht gelassen wird: Die Entwicklung der Systeme und ihre Verwendung verbrauchen Unmengen an Energie.

Autor*in Benjamin Lucks, 30.05.23

Übersetzung Lana O'Sullivan:

Seit dem Launch des Chatbots Chat-GPT im November 2022 führt sowohl in der Medienwelt als auch im Alltag kaum ein Weg an KI-Systemen vorbei. Die neuen Programme, die scheinbar intelligent und menschennah auf Fragen und Eingaben reagieren, sollen den Arbeitsmarkt und die Welt verändern. Auch wir haben Chat-GPT auf die Probe gestellt und Klimafragen an das Sprachmodell gestellt. Die Ergebnisse werfen zumindest einige Fragezeichen auf.

Im Hype um die neuen Sprachmodelle ist es aber durchaus erstaunlich, wie wenig Menschen Chat-GPT und Co. in Bezug auf ihren Energieverbrauch hinterfragen. Denn bereits das Training neuer Sprachmodelle benötigt Studien zufolge Unmengen an Energie – und setzt dementsprechend viele Emissionen frei.

Wie arbeiten Sprachmodelle überhaupt?

Um nachzuvollziehen, wie stark Chatbots wie Chat-GPT die Umwelt belasten, müssen wir erst einmal verstehen, wie man sie entwickelt und wie sie arbeiten. Am Beispiel des von OpenAI entwickelten Chat-GPT können wir grob in Sprachmodell und Chatbot unterscheiden. Als Nutzer*innen haben wir die Möglichkeit, einem Chatbot über eine Eingabemaske Fragen zu stellen.

Dessen Antworten basieren auf dem Sprachmodell GPT-3.5, das mit Daten aus September 2021 trainiert wurde. Der Datensatz bestand aus Büchern, Wikipedia-Einträgen, Gedichten und weiteren Textinhalten. Und diese Inhalte musste das Sprachmodell durch maschinelles Lernen verstehen, um heute auf Anfragen reagieren zu können.

Bei diesem Training lernt ein Sprachmodell zu Anfang, Muster sowie Unterschiede in den Textstücken zu finden. Anschließend folgen geführte Trainingsdurchläufe. Und auch an unseren Suchanfragen verfeiert OpenAI sein Sprachmodell.

Wie man ein Sprachmodell trainiert

Der Version 3 von Chat-GPT standen für das initiale Training 175 Milliarden Parameter zur Verfügung. Beim Nachfolger GPT-4 waren es bereits 100 Billionen Parameter, die als Grundlage für das Training sogenannter Transformer dienten.

Wie genau Transformer dazu in der Lage sind, Textinhalte zu verstehen, ist an dieser Stelle weniger wichtig. Relevant ist jedoch, dass ihr Training viel Rechenleistung über einen langen Zeitraum benötigt. Hierfür setzen Unternehmen wie OpenAI Supercomputer ein. Einem Artikel aus dem Februar 2023 zufolge wurde ChatGPT auf insgesamt 10.000 Grafikkarten trainiert. Diese Grafikkarten müssen, wie in herkömmlichen Computern, in Systemen mit Prozessoren, Arbeitsspeichern und weiteren Komponenten eingebettet sein. Schon recht früh bekam OpenAI dabei Unterstützung von Microsoft, die dem Unternehmen die benötigte Rechenleistung über ihre Azure-Cloud zur Verfügung stellten.

Eigens entwickelte man dafür Supercomputer, deren Grafikprozessoren sich über extrem hohe Übertragungsbandbreiten verknüpfen ließen. Laut Microsofts Senior Director Phil Waymouth benötigte das Training von ChatGPT „exponentiell größere Cluster von vernetzten GPUs, als irgendjemand in der Branche je zu bauen versucht hatte.“

Trotz dieser gewaltigen Rechenleistung schätzen Expert*innen den Zeitraum, den OpenAI für das Training von Chat-GPT 4.0 benötigte, auf mehrere Monate. Genaue Informationen über das Training ihres Sprachmodells sowie die dafür benötigten Informationen hält OpenAI zwar geheim. Eine Studie aus dem Jahr 2019 weist aber darauf hin, dass das Training großer Sprachmodelle ungefähr so viele Treibhausgase freisetzt, wie die Herstellung und der Betrieb von fünf Verbrennerautos während ihrer gesamten Lebensdauer.

Und dieser Rechenaufwand erfolgt, noch bevor Nutzer*innen ihre ersten Fragen an einen neuen KI-Chatbot stellen können.

Anfragen deutlich rechenintensiver als eine Google-Suche

Nach dem Training muss ein Sprachmodell wie OpenAIs GPT-3 in einer Anwendung eingesetzt werden. Beim KI-Chatbot ChatGPT, den inzwischen Millionen von Menschen ausprobiert haben, geschieht das über eine sprachbasierte Anwendung. Der Software-Riese Microsoft, der Anfang 2023 in OpenAI investierte, integriert das Sprachmodell inzwischen aber sogar in die eigene Suchmaschine Bing.

Und obwohl sich Sprachmodelle auch auf eigener Hardware betreiben ließen, wählen die meisten Nutzer*innen den Weg über Web-Services. Im Falle von Chat-GPT stellt OpenAI seinen Chatbot kostenfrei zur Verfügung, gehostet auf eigenen Servern sowie über Microsofts Azure-Cloud.

Tippen wir in Deutschland eine Anfrage in die Befehlszeile von ChatGPT ein, wird diese an die Serverfarmen im globalen Azure-Cloud-Netzwerk übertragen und dort verarbeitet. Und obwohl Microsoft damit wirbt, dass „die Microsoft Cloud je nach spezifischem Vergleich zwischen 22 und 93 Prozent energieeffizienter als herkömmliche Unternehmensrechenzentren ist“, wird der Energieverbrauch pro Anfrage um ein Vielfaches höher geschätzt als das Eingeben einer Suchanfrage bei Google. Wie stark die Nutzung von Google die Umwelt belastet und welche Alternativen es gibt, führen wir übrigens in unserem Ratgeber zu grünen Suchmaschinen weiter aus.

Der Vergleich zeigt allerdings recht deutlich, wie viel höher der Rechenaufwand von KI-Chatbots im Vergleich zu Suchmaschinen aktuell noch ist. Hinzu kommt, dass GPT die Ergebnisse dabei nicht einmal aus Echtzeit-Daten generiert, sondern aus einem veralteten Datensatz. Wir bekommen also (aktuell noch) schlechtere Ergebnisse, die deutlich mehr Rechenaufwand benötigen – sie werden dafür aber schöner präsentiert.

Wie können LLMs energieeffizienter werden?

Auch wenn der aktuelle KI-Boom abflachen wird, ist es sehr wahrscheinlich, dass Unternehmen Sprachmodelle oder weitere KI-Anwendungen in immer mehr Programme, Computersysteme und Web-Anwendungen integrieren. Womöglich werden wir zukünftig sogar nicht mehr wirklich nachvollziehen können, wann gebotene Informationen vorprogrammiert sind und wann sie von einem Sprachmodell stammen.

Es besteht also ein dringender Bedarf an energieeffizienteren Lösungen, die sowohl im Training als auch in der Nutzung stromsparender werden. Zumal zukünftige Systeme neben ihren Trainingsdaten eben auch auf Echtzeit-Informationen aus dem Internet zugreifen müssen, um nicht ständig veraltete Daten zu liefern.

Forscher*innen der Berkeley-Universität haben zusammen mit Google-Mitarbeiter*innen Best Practices vorgestellt, mit denen sich der Energieaufwand beim ML-Training um das 100-fache verringern ließe. Der Ausstoß an Kohlenstoffdioxid ließe sich dadurch sogar um das 1.000-fache reduzieren.

© Unsplash / Mojahid Mottakin

Googles eigenes Sprachmodell GLaM war demnach das leistungsstärkste Sprachmodell, das in 2021 trainiert wurde. Und obwohl es somit nur ein Jahr nach GPT-3 entwickelt wurde, benötigte Google für dessen Training trotz höherer Leistungsfähigkeit bereits 14-mal weniger Kohlenstoffdioxid. Daraus schlussfolgern die Forscher*innen, dass der Energiehunger neuer KI-Systeme in den nächsten Jahren erst stagnieren und anschließend sogar sinken wird.

Ein effizientes Training bedeutet allerdings noch nicht, dass auch der Energiehunger während der Nutzung sinkt. Hierfür arbeiten Forscher*innen an mehreren Möglichkeiten, die von einem besonders effizienten neuronalen Netzwerk inspiriert sind: dem menschlichen Gehirn.

GLaM ist hierfür in 64 kleinere neuronale Netze unterteilt. Hierdurch muss das Sprachmodell Anfragen nicht zwingend mit dem gesamten Datensatz beantworten, es kann stattdessen einen Großteil seiner Netze inaktiv lassen. Pro Anfrage nutzte GLaM in Versuchen nur 8 Prozent seiner mehr als einer Billion Parameter. Und benötigte dementsprechend auch deutlich weniger Rechenaufwand, um in ausreichender Qualität auf Anfragen reagieren zu können.

Bewusster Umgang mit KI-Systemen wird immer wichtiger

Zukünftige KI-Systeme werden also deutlich effizienter arbeiten als Chat-GPT und GLaM heute. Ein bewusster Umgang mit derartigen Systemen wird dadurch aber nicht weniger relevant. Dabei müssen Nutzer*innen einerseits sensibel dafür sein, ob benötigte Informationen tatsächlich von einem Sprachmodell generiert werden müssen oder ob eine eigene Recherche nicht eventuell doch ausreicht.

Wie kann Künstliche Intelligenz nachhaltig gestaltet werden?

Welche Potenziale hat KI für den Umwelt- und Klimaschutz? Wie kann man KI-Anwendungen selbst nachhaltiger gestalten? Und was können Unternehmen, Entwickler*innen oder Regierungen dafür tun?

Darüber haben wir uns mit Stephan Richter vom Institut für Innovation und Technik unterhalten: Wie kann Künstliche Intelligenz nachhaltig gestaltet werden?

Andererseits muss auch in Zukunft transparent bleiben, wann Programme Suchanfragen oder Prozesse offline und wann sie diese online über Sprachmodelle oder sonstige KI-Systeme verarbeiten. Der Trend geht hier aktuell jedoch in eine andere Richtung. Ein entsprechender politischer Rahmen ist daher unverzichtbar, um den Energieverbrauch heutiger und zukünftiger KI-Anwendungen schon beim Training möglichst niedrig zu halten.

Künstliche Intelligenz – Können wir mit Rechenleistung unseren Planeten retten?

Längst löst Künstliche Intelligenz komplexe Aufgaben und erleichtert unseren Alltag. Doch liefern die intelligenten Computerprogramme auch neue Lösungen für den Umwelt- und Klimaschutz?

Kann ChatGPT Klimafragen richtig beantworten? Wir haben es ausprobiert!

Die Antworten des Sprachmodells sind weitgehend korrekt - jedoch stecken Fehler im Detail. Auf diese Weise spiegeln die Antworten von ChatGPT gesellschaftliche Missverständnisse über den Klimawandel wider.

Für mehr Transparenz und gegen gelernte Vorurteile – neues Open-Source-Sprachmodell

Bisher lag die Entwicklung KI-basierter Technologien zum Erkennen von Text und Sprache in der Hand großer Technologieunternehmen. Mit BLOOM soll das transparenter gestaltet werden.

Mit KI Kondensstreifen vermeiden: Ein Durchbruch in der Luftfahrt?

Kondensstreifen sind ein wenig bekannter, aber bedeutender Verursacher von Treibhausgasemissionen. Eine neue KI-Lösung könnte sie vermeiden helfen.

BEEHAVE – Honigbienen als Bestäuber besser verstehen und schützen

BEEHAVE simuliert die Entwicklung eines Honigbienenvolkes – darunter auch sein Nektar- und Pollensuchverhalten – unter verschiedenen Bedingungen.

Wie viel Geld fließt tatsächlich in Klimamaßnahmen? Ein neues Modell gibt Antworten

ETH-Forschende haben ein neues Modell vorgestellt, das mithilfe von maschinellem Lernen Ungenauigkeiten in der globalen Klimafinanzierung aufdeckt.

Super-Sortierroboter steigern Recycling-Quote

Durch ineffizientes Sortieren landen 25 Prozent der Abfälle fälschlicherweise auf der Mülldeponie. Immer öfter helfen Roboter beim Recycling.

Destination Earth: Digitaler Zwilling soll in die Zukunft navigieren

Das EU-initiierte Projekt Destination Earth setzt auf einen Erd-Zwilling, um die Auswirkungen des Klimawandels vorherzusagen und die Wechselwirkungen zwischen Mensch und Umwelt zu analysieren.