Forscher der Universität Bonn haben eine neuartige Trainingsmethode für aktive Neuronen vorgestellt, die den Energieverbrauch von KI-Systemen deutlich senken soll. Diese Studie könnte den Weg für nachhaltigere und effizientere KI-Technologien ebnen.
Forscher der Universität Bonn haben einen neuen Fortschritt in der künstlichen Intelligenz angekündigt, der den Energieverbrauch von KI-Systemen deutlich senken könnte. Ihre neue Methode zum Trainieren von neuronalen Netzwerken verspricht, KI-Anwendungen wie ChatGPT deutlich energieeffizienter zu machen.
Die Ergebnisse sind veröffentlicht in der Zeitschrift Physical Review Letters.
Nachahmung des bemerkenswerten menschlichen Gehirns
Künstliche neuronale Netze, die das Rückgrat vieler moderner KI-Anwendungen bilden, sind von den komplexen Nervenzellen des menschlichen Gehirns inspiriert. Trotz der beeindruckenden Fähigkeiten solcher KI-Systeme ist ihr Energiebedarf beträchtlich.
Raoul-Martin Memmesheimer, Professor am Institut für Genetik der Universität Bonn, beleuchtet das anhaltende Streben nach Effizienz.
„Biologische Neuronen machen die Dinge anders“, sagte er in einem Pressemitteilung„Sie kommunizieren mithilfe kurzer Spannungsimpulse, sogenannter Aktionspotentiale oder Spikes. Diese treten relativ selten auf, sodass die Netzwerke mit deutlich weniger Energie auskommen.“
Im Gegensatz zu herkömmlichen künstlichen Neuronen, die kontinuierlich arbeiten, signalisieren sporadische Neuronen nur durch diese gelegentlichen Spitzen. Diese sporadische Aktivität könnte potenziell enorme Mengen an Energie sparen und KI-Systeme nachhaltiger machen.
Trainingsherausforderungen meistern
Das Trainieren neuronaler Netzwerke zur Ausführung spezifischer Aufgaben war schon immer ein arbeitsintensiver Prozess, der erhebliche Rechenleistung erforderte.
Mit herkömmlichen Methoden ist es aufgrund der binären Natur der Spiking-Netzwerke schwierig, diese effektiv zu trainieren – Spikes sind entweder vorhanden oder nicht vorhanden, ohne Zwischenzustände.
„Das bedeutet, dass es auch nicht so einfach ist, die Gewichtung der Verbindungen fein abzustimmen“, sagte Erstautor Christian Klos, ein Postdoktorand in Memmesheimers Gruppe, in der Pressemitteilung.
Trotz anfänglicher Bedenken, dass Spiking-Netzwerke mit der herkömmlichen Gradientenabstiegs-Lernmethode schwierig zu trainieren sein würden, entdeckte das Team der Universität Bonn eine überraschende Lösung.
„Wir haben festgestellt, dass die Spikes in einigen Standardneuronmodellen nicht einfach erscheinen oder verschwinden können. Stattdessen können sie im Wesentlichen nur in der Zeit nach vorne oder nach hinten verschoben werden“, fügte Klos hinzu.
Diese zeitliche Anpassung ist feinjustierbar und ermöglicht so eine kontinuierliche Optimierung der Verbindungen.
Eine vielversprechende Zukunft für KI
Diese neue Trainingsmethode hat ihre Wirksamkeit bereits unter Beweis gestellt. Die Forscher haben erfolgreich ein neuronales Netzwerk trainiert, das handgeschriebene Zahlen präzise unterscheiden kann.
Die nächste Herausforderung ist noch anspruchsvoller: das Netzwerk darin zu trainieren, Sprache zu verstehen.
„Obwohl wir noch nicht wissen, welche Rolle unsere Methode in Zukunft beim Training von Spiking-Netzwerken spielen wird, glauben wir, dass sie großes Potenzial hat, einfach weil sie exakt ist und genau die Methode widerspiegelt, die bei nicht-spikenden neuronalen Netzwerken hervorragend funktioniert“, fügte Memmesheimer hinzu.
Implikationen und nächste Schritte
Die Auswirkungen dieser Studie sind tiefgreifend. Indem die neue Trainingsmethode KI-Systeme energieeffizienter macht, könnte sie zu nachhaltigeren Technologien führen und die Umweltauswirkungen des steigenden Energiebedarfs der KI verringern.
Dies könnte insbesondere bei Anwendungen bahnbrechende Veränderungen mit sich bringen, die eine kontinuierliche Verarbeitung großer Datenmengen erfordern, wie etwa bei der Verarbeitung natürlicher Sprache und der Bilderkennung in Echtzeit.
Die Forschung eröffnet neue Wege für die Entwicklung künstlicher Intelligenz. Die nächsten Schritte bestehen darin, diese Trainingsmethode auf noch komplexere Aufgaben anzuwenden und ihr Potenzial in anderen Arten neuronaler Netzwerke zu erkunden.