Einfach erklärt

Nachhaltige KI: Ein Widerspruch in sich?

Ist KI ein Mittel, um die Klimakrise zu bewältigen, oder eine schlimmere Umweltsünde als das Fliegen? Wir erklären, wie viel Energie KI-Systeme wirklich fressen, warum wir bessere Messungen brauchen und wie KI nachhaltiger werden kann.

KI-Systeme haben viele Einsatzmöglichkeiten: Sie sollen den Ressourcenverbrauch effizienter gestalten, komplexe gesellschaftliche Gestaltungsaufgaben wie die Energie- oder Mobilitätswende lösen, ein nachhaltigeres Energiesystem kreieren oder auch die Erforschung neuer Materialien erleichtern. KI wird sogar als wichtiges Werkzeug zur Bewältigung der Klimakrise gesehen. Nur blenden solche Hoffnungen aus, dass auch der Einsatz von KI in einem beträchtlichen Ausmass CO2-Emissionen verursacht, die ja eine wesentliche Ursache der Klimakrise sind.

Generell zielt ökologische Nachhaltigkeit darauf ab, die Natur zu erhalten, um künftigen Generationen einen lebenswerten Planeten zu hinterlassen. Oft sind KI-Systeme aber das Gegenteil von ökologisch nachhaltig. Insbesondere sehr grosse KI-Systeme funktionieren vielfach nur durch die Ausbeutung von Ressourcen. Dennoch wird ihnen aktuell oft ein Vertrauensvorschuss gewährt: Die Technik werde alles schon regeln. Tatsächlich hat KI ein grosses gesellschaftliches Potenzial, aber ihr Einsatz kann gleichzeitig Gefahren und schädliche Folgen mit sich bringen.

KI auf Abwegen: Unverantwortliche Fehlentwicklungen

Es liegen kaum Informationen über den Energieverbrauch von KI-Systemen und die von ihnen verursachten Emissionen vor. Das erschwert es, politische Lösungsansätze zu entwickeln, um die Emissionen zu reduzieren. Es ist bekannt, dass Rechenzentren oder auch die Produktion und der Betrieb der Hardware erheblich zum globalen Kohlenstoffdioxid-Ausstoss beitragen. Sie bilden die für den Betrieb von KI-Systemen notwendige Infrastruktur. Die Emissionen aus der Anwendung der KI-Systeme kommen noch hinzu.

In der Fachsprache heisst diese Phase «Inferenz». Jede Anwendung oder Inferenz eines KI-Systems verbraucht in der Regel relativ wenig Energie. Sie läuft aber oft extrem häufig ab. Ende 2022 gaben Forscher*innen von Facebook AI in einem wissenschaftlichen Paper an, dass in den Facebook-Rechenzentren täglich Billionen von Inferenzen zu beobachten seien. Zwischen Anfang 2018 und Mitte 2019 habe sich die Anzahl der Server, die in Facebooks Rechenzentren speziell auf Inferenzen ausgelegt sind, um das 2,5-fache gesteigert.

Bei einem Unternehmen wie Facebook kommt die Masse an Inferenzen durch Empfehlungs- und Rankingalgorithmen zustande. Diese Algorithmen kommen jedes Mal zum Einsatz, wenn die fast drei Milliarden Facebook-Nutzer*innen weltweit die Plattform aufrufen und sich Inhalte in ihrem Newsfeed anzeigen lassen. Weitere typische Anwendungen, die auf Online-Plattformen zu hohen Inferenzzahlen beitragen, sind die Klassifizierung von Bildern, die Objekterkennung in Bildern und auf grossen Sprachmodellen basierende Übersetzungs- und Spracherkennungsdienste. Wissenschaftler*innen sind zu dem Schluss gekommen, dass die in der Inferenzphase anfallenden Emissionen vermutlich deutlich höher liegen als die aus der Entwicklungs- und Trainingsphase von KI-Modellen. Diese Vermutung wird durch interne Zahlen von Facebook gestützt, die bestätigen, dass in den hauseigenen Systemen die Inferenzphase einen signifikanten Ressourcenverbrauch hat, der je nach Anwendung wesentlich höher als in der Entwicklung und im Training ausfallen kann.

Schon beim Training des Sprachmodells BLOOM sind etwa 24,7 Tonnen CO2-Äquivalente an Emissionen entstanden, wenn nur der direkte Energieverbrauch berücksichtigt wird. Wenn allerdings anteilig auch Prozesse wie die Herstellung der Hardware oder der betriebsbedingte Energieverbrauch in die Schätzung einfliessen, verdoppeln sich die Emissionswerte. Das Training allein reicht also bei der Erfassung der von KI-Systemen verursachten Emissionen nicht aus. Methodisch exakte Messungen müssen ihren gesamten Lebenszyklus umspannen, um Unternehmen, Entwickler*innen oder auch Forscher*innen zu sensibilisieren und gezielte politische Massnahmen anzustossen.

BLOOM beinhaltet 175 Milliarden Parameter. Parameter sind Werte, die ein Machine-Learning-Modell im Trainingsprozess lernt und auf deren Grundlage es anschliessend Ergebnisse produziert. Die Anzahl der Parameter bestimmt auch die Anzahl der notwendigen Rechenvorgänge und damit den Energieverbrauch für die Rechenleistung. Ein 540 Milliarden Parameter umfassendes KI-Sprachmodell wie das 2022 von Google veröffentlichte PaLM übertrifft den Energieverbrauch von BLOOM sehr wahrscheinlich noch. Während eines einzigen Trainingslaufs von PaLM wurden in einem Google-Rechenzentrum in Oklahoma, das zu 89 Prozent mit kohlenstofffreier Energie betrieben wird, 271,43 Tonnen CO2 emittiert. Das entspricht in etwa den Emissionen, die ein vollbesetztes Flugzeug auf 1,5 transamerikanischen Flügen ausstösst. Solche Prozesse finden aber tausendfach statt.

Vermutlich stellen die Emissionswerte von PaLM angesichts seiner der Grösse relativ gesehen eine deutliche Verbesserung dar, da das dazugehörige Rechenzentrum auf Nachhaltigkeit ausgerichtet ist und Emissionen reduziert. Aber trotzdem stellt sich die Frage, warum eine viel effizientere Hardware und neue Methoden nur eingesetzt werden, um Modelle grösser zu machen, anstatt die Energieeffizienz bei kleineren, aber immer noch sehr grossen Modellen zu steigern.

KI verbraucht Rechenleistung und somit Energie. Es ist sehr rechenintensiv, beim Training verwertbare Muster in Datensätzen zu finden und während der Inferenz der KI-Systeme zu prüfen, ob die darauf beruhenden Vorhersagen auch eintreffen. Eine bestimmte Hardware ist dafür notwendig, die in Rechenzentren untergebracht wird. Für die Server dort werden Mineralien benötigt, die in Batterien und Mikroprozessoren stecken. Die Menschen, die diese Mineralien abbauen, sind furchtbaren Arbeitsbedingungen ausgesetzt. Der Elektroschrott, zu dem irgendwann die Server werden, landen oft in asiatischen oder afrikanischen Ländern, wo die Menschen unter den Umweltfolgen leiden müssen.

Wenn die Server in Betrieb sind, wird elektrische Energie in Wärme umgewandelt. Um eine Überhitzung der Server zu verhindern, müssen die Server gekühlt werden. Oft wird dazu Wasser verwendet. Beim Training grosser Sprachmodelle wie GPT-3 und LaMDA können Millionen Liter Frischwasser für die Kühlung der Kraftwerke und KI-Server verdampfen. Dies ist umso besorgniserregender, als Wasser durch ein rasantes Bevölkerungswachstum und/oder veraltete Wasserinfrastrukturen immer knapper wird. Die enorm gestiegene Nachfrage nach KI-Technologien führt auch zu einem immer grösseren Wasserbedarf. Der direkte Wasserverbrauch von Google ist beispielsweise zwischen 2021 und 2022 um 20 Prozent gestiegen und hat sich in bestimmten Dürregebieten sogar verdoppelt. In diesem Zeitraum verzeichnete Microsoft einen Anstieg seines direkten Wasserverbrauchs um 34 Prozent. ChatGPT benötigt 500 Milliliter Wasser für einen einfachen Dialog mit 20 bis 50 Fragen und Antworten. Da der Chatbot mehr als 100 Millionen aktive Nutzer*innen hat, von denen alle mehrere Dialoge eröffnen, ist der Wasserverbrauch von ChatGPT schwindelerregend. Und diese Zahlen beziehen sich nur auf den Anwendungsmodus: Das Training von GPT-3 in den State-of-the-Art-Rechenzentren von Microsoft in den USA kann direkt 700.000 Liter sauberes Frischwasser verbrauchen, was für die Produktion von 370 BMWs oder 320 Teslas ausreichen würde.

Die EU handelt gegen Risiken für die Umwelt: die KI-Verordnung

Die KI-Verordnung der EU (AI Act) sieht erste wichtige Schritte für den Umweltschutz vor. Die Umwelt ist eines der explizit erwähnten schützenswerten Rechtsgüter. Es müssen nun standardisierte Berichts- und Dokumentationsverfahren zur effizienten Ressourcennutzung von KI-Systemen erstellt werden. Diese Verfahren sollen dazu beitragen, den Energie- und sonstigen Ressourcenverbrauch von KI-Systemen mit hohem Risiko während ihres Lebenszyklus zu reduzieren, oder auch eine energieeffiziente Entwicklung von KI-Modellen für allgemeine Zwecke („general-purpose AI models“, GPAI) voranzutreiben.

Zwei Jahre nach dem Inkrafttreten der Verordnung muss die Kommission einen Bericht darüber vorlegen, ob die neuen Dokumentationsnormen zu Fortschritten bei der energieeffizienten Entwicklung von GPAI-Modellen geführt haben. In ihrem Bericht muss sie bereits durchgeführten Massnahmen bewerten und einschätzen, welche weiteren Massnahmen notwendig sind. So einen Bericht muss sie anschliessend alle vier Jahre abgeben.

Anbieter von GPAI-Modellen, die mit grossen Datenmengen trainiert werden und einen hohen Energieverbrauch haben, müssen diesen Energieverbrauch nach dem neuen Entwurf genau dokumentieren. Die Kommission hatte diesen Aspekt in ihrem ersten Entwurf völlig vernachlässigt. Deshalb haben Forschungsorganisationen immer wieder gefordert, den Energieverbrauch von KI-Modellen transparent zu machen. Die Kommission hat jetzt die Aufgabe, eine geeignete Methodik für die Bewertung des Energieverbrauchs zu entwickeln. GPAI-Modelle, die ein systemisches Risiko darstellen, müssen grössere Auflagen erfüllen. Sie müssen zum Beispiel intern Massnahmen zum Risikomanagement und Testverfahren entwickeln. Diese Massnahmen und Verfahren müssen von einer dazu eigens eingerichteten Behörde genehmigt werden, damit sichergestellt wird, dass die Anbieter die Auflagen erfüllen.

Und die Schweiz?

In der Schweiz stehen mögliche Regulierungen rund um Künstliche Intelligenz und Algorithmen bevor. Der Bundesrat hat das zuständige Departement, das Eidgenössisches Departement für Umwelt, Verkehr, Energie und Kommunikation (UVEK), beauftragt, bis Ende 2024 eine Auslegeordnung über den Regulierungsbedarf zu erstellen. Auf dieser Grundlage wird der Bundesrat prüfen, ob er 2025 entsprechende Gesetzgebungsprozesse einleiten soll. In seiner jüngsten Antwort auf die Interpellation 24.3663 erklärt der Bundesrat, es sei aktuell «noch nicht ersichtlich, welche Auswirkungen KI auf den Energieverbrauch hat oder welche Massnahmen ergriffen werden können». Ob und wie die Nachaltigkeitsaspekte im Rahmen der Auslegeordnung des Bundesrats berücksichtigt werden, ist unklar.

Geht doch: Nachhaltige KI in der Praxis

In Diskussionen über KI ist oft zu hören, dass Kontrollmechanismen ein Hemmschuh für Innovationen seien. Doch warum sollten soziale und ökologische (Nachhaltigkeits-)Standards Innovationspotenziale eindämmen? Warum sollte es eine unüberwindliche Hürde sein, KI auf eine richtige Art und Weise einzusetzen? Es mangelt nicht an praktikablen technischen Möglichkeiten, um die Folgen von KI-Systemen auf die Umwelt zu messen und Ressourcen einzusparen. Unternehmen können bereits ökologisch nachhaltig handeln. Sie müssen nur die vorhandenen Möglichkeiten nutzen. Ein erster Schritt könnte zum Beispiel darin bestehen, mit unserem Self-Assessment-Tool zu ermitteln, wie nachhaltig ihre KI-Systeme sind.

Das Start-up Hugging Face arbeitet zum Beispiel daran, KI-Modelle nachhaltiger zu gestalten, indem es Open-Source-Ansätze in der Machine-Learning-Community unterstützt. Durch Open-Source-Ansätze können Modelle besser wiederverwendet werden. Statt sie nur für eine Anwendung zu trainieren, können sie in vielen Anwendungen eingesetzt werden. Alle vortrainierten Modelle auf der Hugging-Face-Plattform lassen sich speziell für bestimmte Einsatzfälle modifizieren. Das ist umweltfreundlicher, als jedes Mal Modelle von Grund auf neu zu entwickeln.

Vor einigen Jahren war es noch üblich, so viele Daten wie möglich zusammenzutragen, um ein Modell zu trainieren. Die Modelle waren dann nicht frei zugänglich. Inzwischen werden datenreiche Modelle nach dem Training geteilt, damit andere sie so umgestalten können, wie es für ihren Anwendungsbedarf nötig ist.

Hugging Face hat auch eine Datenbank eingerichtet, mit der gezielt nach emissionsarmen Modellen gesucht werden kann. Die darin angegebenen Emissionen wurden aus dem Training heraus ermittelt. Oft lässt sich aber nicht sagen, welche Emissionen sich darüber hinaus aus der Anwendung eines KI-Systems ergeben. Die meisten Unternehmen interessieren sich dafür, wie viel CO2 bei der Anwendung freigesetzt wird. Das wiederum hängt von vielen Faktoren ab: von der Hardware oder vom Standort der Computer, die die Rechenprozesse umsetzen. Ohne diese Faktoren zu kennen, können keine Angaben zu den Emissionswerten gemacht werden. Aber viele Unternehmen wünschen sich solche Orientierungswerte.

Je mehr Tools genutzt werden, um Emissionen zu messen, und je häufiger diese Ergebnisse geteilt werden, desto eher können KI-Modelle auf Grundlage von belegbaren Zahlen bewertet werden. Tools wie Code Carbon errechnen den CO2-Fussabdruck eines Modells in Echtzeit. Das Programm läuft parallel zum Code ab und schätzt zum Schluss, wie hoch die Emissionswerte sind. Hugging Face hat eine Website eingerichtet, auf der auf der Grundlage von Daten wie der Trainingsdauer oder der für das Training genutzte Hardware-Typen ein geschätzter CO2-Fussabdruck ermittelt wird. Die Schätzungen sind nicht so genau wie die von Code Carbon, aber sie vermitteln eine ungefähre Vorstellung.

Um den Energiebedarf in der Trainings- und Anwendungsphase von KI-Modellen zu reduzieren, sind datenminimalistische Ansätze eine Möglichkeit. Beim Datenminimalismus werden die für Training und Anwendung genutzten Datensätze klein gehalten werden. Minimalismus bezieht sich auf die Datenmengen, die mit KI verarbeitet werden. Die KI-Anwendung soll so effizient und effektiv wie möglich eine Aufgabe erfüllen. Je kleiner eine Datenmenge für die gleiche Leistung ist, desto besser ist also das Ergebnis. Viel zu oft ist noch die Tendenz zu beobachten, alle Daten in das Training zu stecken, die zur Verfügung stehen. Aber gerade in industriellen Umgebungen liegen oft sehr viele Daten vor. Dann ist es manchmal gar nicht nötig, alle zu nutzen. Ab einer bestimmten Menge an Trainingsdaten lassen sich dann vielleicht nur noch minimale Verbesserungen herbeiführen. Und je weniger Daten verarbeitet werden, desto weniger Energie wird nachweisbar auch verbraucht.

Zwar wird die Hardware immer effizienter. Die Rechenleistung ist im Verhältnis zum Energieaufwand in den letzten drei bis vier Jahren um das Zehnfache gestiegen. Dadurch werden die Betreiber und Entwickler von KI-Modellen aber animiert, noch mehr Rechenprozesse laufen zu lassen. Dieses Phänomen wird Rebound-Effekt genannt. Wenn wir die Grösse der Modelle und den erforderlichen Rechenumfang auf einem konstanten Niveau halten könnten, wäre das ein Fortschritt in Richtung Nachhaltigkeit. Beides schiesst aber durch die Decke. Bei der Entwicklung von KI-Modellen ist die «Je grösser, desto besser»-Mentalität völlig ausser Kontrolle geraten.

Vor der KI-Verordnung der EU wurde kaum darüber diskutiert, ob die von KI-Systemen verursachten CO2-Emissionen gemessen werden sollten. Dieser Umstand hing auch damit zusammen, dass früher dafür kaum Instrumente vorhanden waren. Politische Entscheidungsträger*innen konnten also auch nicht den nötigen Druck aufbauen, da Daten zu den Emissionen fehlten. Nun sind solche Tools aber verfügbar. Endlich könnten politische Rahmenbedingungen, auch in der Schweiz, dafür sorgen, dass Unternehmen die Emissionswerte ihrer Produkte ermitteln – und damit einen ersten Schritt machen, um eine nachhaltige Nutzung von KI sicherzustellen.

AlgorithmNews CH - abonniere jetzt unseren Newsletter!