Seit dem Launch des Chatbots Chat-GPT im November 2022 führt sowohl in der Medienwelt als auch im Alltag kaum ein Weg an KI-Systemen vorbei. Die neuen Programme, die scheinbar intelligent und menschennah auf Fragen und Eingaben reagieren, sollen den Arbeitsmarkt und die Welt verändern. Auch wir haben Chat-GPT auf die Probe gestellt und Klimafragen an das Sprachmodell gestellt. Die Ergebnisse werfen zumindest einige Fragezeichen auf.
Im Hype um die neuen Sprachmodelle ist es aber durchaus erstaunlich, wie wenig Menschen Chat-GPT und Co. in Bezug auf ihren Energieverbrauch hinterfragen. Denn bereits das Training neuer Sprachmodelle benötigt Studien zufolge Unmengen an Energie – und setzt dementsprechend viele Emissionen frei.
Wie arbeiten Sprachmodelle überhaupt?
Um nachzuvollziehen, wie stark Chatbots wie Chat-GPT die Umwelt belasten, müssen wir erst einmal verstehen, wie man sie entwickelt und wie sie arbeiten. Am Beispiel des von OpenAI entwickelten Chat-GPT können wir grob in Sprachmodell und Chatbot unterscheiden. Als Nutzer*innen haben wir die Möglichkeit, einem Chatbot über eine Eingabemaske Fragen zu stellen.
Dessen Antworten basieren auf dem Sprachmodell GPT-3.5, das mit Daten aus September 2021 trainiert wurde. Der Datensatz bestand aus Büchern, Wikipedia-Einträgen, Gedichten und weiteren Textinhalten. Und diese Inhalte musste das Sprachmodell durch maschinelles Lernen verstehen, um heute auf Anfragen reagieren zu können.
Bei diesem Training lernt ein Sprachmodell zu Anfang, Muster sowie Unterschiede in den Textstücken zu finden. Anschließend folgen geführte Trainingsdurchläufe. Und auch an unseren Suchanfragen verfeiert OpenAI sein Sprachmodell.
Wie man ein Sprachmodell trainiert
Der Version 3 von Chat-GPT standen für das initiale Training 175 Milliarden Parameter zur Verfügung. Beim Nachfolger GPT-4 waren es bereits 100 Billionen Parameter, die als Grundlage für das Training sogenannter Transformer dienten.
Wie genau Transformer dazu in der Lage sind, Textinhalte zu verstehen, ist an dieser Stelle weniger wichtig. Relevant ist jedoch, dass ihr Training viel Rechenleistung über einen langen Zeitraum benötigt. Hierfür setzen Unternehmen wie OpenAI Supercomputer ein. Einem Artikel aus dem Februar 2023 zufolge wurde ChatGPT auf insgesamt 10.000 Grafikkarten trainiert. Diese Grafikkarten müssen, wie in herkömmlichen Computern, in Systemen mit Prozessoren, Arbeitsspeichern und weiteren Komponenten eingebettet sein. Schon recht früh bekam OpenAI dabei Unterstützung von Microsoft, die dem Unternehmen die benötigte Rechenleistung über ihre Azure-Cloud zur Verfügung stellten.
Eigens entwickelte man dafür Supercomputer, deren Grafikprozessoren sich über extrem hohe Übertragungsbandbreiten verknüpfen ließen. Laut Microsofts Senior Director Phil Waymouth benötigte das Training von ChatGPT „exponentiell größere Cluster von vernetzten GPUs, als irgendjemand in der Branche je zu bauen versucht hatte.“
Trotz dieser gewaltigen Rechenleistung schätzen Expert*innen den Zeitraum, den OpenAI für das Training von Chat-GPT 4.0 benötigte, auf mehrere Monate. Genaue Informationen über das Training ihres Sprachmodells sowie die dafür benötigten Informationen hält OpenAI zwar geheim. Eine Studie aus dem Jahr 2019 weist aber darauf hin, dass das Training großer Sprachmodelle ungefähr so viele Treibhausgase freisetzt, wie die Herstellung und der Betrieb von fünf Verbrennerautos während ihrer gesamten Lebensdauer.
Und dieser Rechenaufwand erfolgt, noch bevor Nutzer*innen ihre ersten Fragen an einen neuen KI-Chatbot stellen können.
Anfragen deutlich rechenintensiver als eine Google-Suche
Nach dem Training muss ein Sprachmodell wie OpenAIs GPT-3 in einer Anwendung eingesetzt werden. Beim KI-Chatbot ChatGPT, den inzwischen Millionen von Menschen ausprobiert haben, geschieht das über eine sprachbasierte Anwendung. Der Software-Riese Microsoft, der Anfang 2023 in OpenAI investierte, integriert das Sprachmodell inzwischen aber sogar in die eigene Suchmaschine Bing.
Und obwohl sich Sprachmodelle auch auf eigener Hardware betreiben ließen, wählen die meisten Nutzer*innen den Weg über Web-Services. Im Falle von Chat-GPT stellt OpenAI seinen Chatbot kostenfrei zur Verfügung, gehostet auf eigenen Servern sowie über Microsofts Azure-Cloud.
Tippen wir in Deutschland eine Anfrage in die Befehlszeile von ChatGPT ein, wird diese an die Serverfarmen im globalen Azure-Cloud-Netzwerk übertragen und dort verarbeitet. Und obwohl Microsoft damit wirbt, dass „die Microsoft Cloud je nach spezifischem Vergleich zwischen 22 und 93 Prozent energieeffizienter als herkömmliche Unternehmensrechenzentren ist“, wird der Energieverbrauch pro Anfrage um ein Vielfaches höher geschätzt als das Eingeben einer Suchanfrage bei Google. Wie stark die Nutzung von Google die Umwelt belastet und welche Alternativen es gibt, führen wir übrigens in unserem Ratgeber zu grünen Suchmaschinen weiter aus.
Der Vergleich zeigt allerdings recht deutlich, wie viel höher der Rechenaufwand von KI-Chatbots im Vergleich zu Suchmaschinen aktuell noch ist. Hinzu kommt, dass GPT die Ergebnisse dabei nicht einmal aus Echtzeit-Daten generiert, sondern aus einem veralteten Datensatz. Wir bekommen also (aktuell noch) schlechtere Ergebnisse, die deutlich mehr Rechenaufwand benötigen – sie werden dafür aber schöner präsentiert.
Wie können LLMs energieeffizienter werden?
Auch wenn der aktuelle KI-Boom abflachen wird, ist es sehr wahrscheinlich, dass Unternehmen Sprachmodelle oder weitere KI-Anwendungen in immer mehr Programme, Computersysteme und Web-Anwendungen integrieren. Womöglich werden wir zukünftig sogar nicht mehr wirklich nachvollziehen können, wann gebotene Informationen vorprogrammiert sind und wann sie von einem Sprachmodell stammen.
Es besteht also ein dringender Bedarf an energieeffizienteren Lösungen, die sowohl im Training als auch in der Nutzung stromsparender werden. Zumal zukünftige Systeme neben ihren Trainingsdaten eben auch auf Echtzeit-Informationen aus dem Internet zugreifen müssen, um nicht ständig veraltete Daten zu liefern.
Forscher*innen der Berkeley-Universität haben zusammen mit Google-Mitarbeiter*innen Best Practices vorgestellt, mit denen sich der Energieaufwand beim ML-Training um das 100-fache verringern ließe. Der Ausstoß an Kohlenstoffdioxid ließe sich dadurch sogar um das 1.000-fache reduzieren.
Googles eigenes Sprachmodell GLaM war demnach das leistungsstärkste Sprachmodell, das in 2021 trainiert wurde. Und obwohl es somit nur ein Jahr nach GPT-3 entwickelt wurde, benötigte Google für dessen Training trotz höherer Leistungsfähigkeit bereits 14-mal weniger Kohlenstoffdioxid. Daraus schlussfolgern die Forscher*innen, dass der Energiehunger neuer KI-Systeme in den nächsten Jahren erst stagnieren und anschließend sogar sinken wird.
Ein effizientes Training bedeutet allerdings noch nicht, dass auch der Energiehunger während der Nutzung sinkt. Hierfür arbeiten Forscher*innen an mehreren Möglichkeiten, die von einem besonders effizienten neuronalen Netzwerk inspiriert sind: dem menschlichen Gehirn.
GLaM ist hierfür in 64 kleinere neuronale Netze unterteilt. Hierdurch muss das Sprachmodell Anfragen nicht zwingend mit dem gesamten Datensatz beantworten, es kann stattdessen einen Großteil seiner Netze inaktiv lassen. Pro Anfrage nutzte GLaM in Versuchen nur 8 Prozent seiner mehr als einer Billion Parameter. Und benötigte dementsprechend auch deutlich weniger Rechenaufwand, um in ausreichender Qualität auf Anfragen reagieren zu können.
Bewusster Umgang mit KI-Systemen wird immer wichtiger
Zukünftige KI-Systeme werden also deutlich effizienter arbeiten als Chat-GPT und GLaM heute. Ein bewusster Umgang mit derartigen Systemen wird dadurch aber nicht weniger relevant. Dabei müssen Nutzer*innen einerseits sensibel dafür sein, ob benötigte Informationen tatsächlich von einem Sprachmodell generiert werden müssen oder ob eine eigene Recherche nicht eventuell doch ausreicht.
Wie kann Künstliche Intelligenz nachhaltig gestaltet werden?
Welche Potenziale hat KI für den Umwelt- und Klimaschutz? Wie kann man KI-Anwendungen selbst nachhaltiger gestalten? Und was können Unternehmen, Entwickler*innen oder Regierungen dafür tun?
Darüber haben wir uns mit Stephan Richter vom Institut für Innovation und Technik unterhalten: Wie kann Künstliche Intelligenz nachhaltig gestaltet werden?
Andererseits muss auch in Zukunft transparent bleiben, wann Programme Suchanfragen oder Prozesse offline und wann sie diese online über Sprachmodelle oder sonstige KI-Systeme verarbeiten. Der Trend geht hier aktuell jedoch in eine andere Richtung. Ein entsprechender politischer Rahmen ist daher unverzichtbar, um den Energieverbrauch heutiger und zukünftiger KI-Anwendungen schon beim Training möglichst niedrig zu halten.
