Reinforcement Learning (RLHF)

Über diese Seite Werk

Gründet auf dem Werk „KI-Revolution“ Arnold Oberleiter
25. Oktober 2024 n. Chr. hrsg.  
AI mit Arnie
LLMs meistern
Funktionsweise von LLMs
Überarbeitung Liste Werke von Klaus Feldmann 
AbschriftAbschrift
28. November 2024 n. Chr. erst.  
17:56 Uhr Ausgabe 00
Ausgabe 00
veröffentlicht
geprüft
↑ Das Finetuning
→ Reinforcement Learning (RLHF)
↓ LLM Scaling Laws
Der abschließende Schritt, Reinforcement Learning RLHF.mp4 Der abschließende Schritt, Reinforcement Learning RLHF.pages

🎓 Reinforcement Learning (RLHF)

📽️ 8 Der abschließende Schritt, Reinforcement Learning RLHF (11:45)

Zuerst das Pretraining, danach machen wir unser Assistant-Model, und zum Schluss verbessern wir unser Assistant-Model mit dem Reinforcement Learning from Human Feedback. Und genau darum wird es jetzt gehen. Das heißt, der letzte Prozess, um das Modell zu verbessern, ist das sogenannte Reinforcement Learning. Und es kann auch Reinforcement Learning from Human Feedback sein. Reinforcement Learning bedeutet nichts anderes, als dass ein Modell einen Output gibt und man dem Modell sagt: „Hey, das war gut“, „Hey, das war nicht gut.“ Reinforcement Learning from Human Feedback heißt, dass ein Human, also ein Mensch, das Feedback gibt.

Mittlerweile verwendet man auch hierfür einen Mix zwischen Mensch und Maschinen. Und ich nehme an, über Zeit werden sich hier Maschinen wieder und wieder selbst verbessern. Das haben wir im Laufe der Geschichte auch immer wieder gesehen, und auch aktuell geht alles in diese Richtung.

Also Reinforcement Learning. Das hier ist ein Artikel von Hugging Face. Hugging Face ist eine Webseite für, ich sag mal, KI-Learning, Machine-Learning-Experten, was auch immer. Wir machen das Ganze so einfach wie möglich. Scrollen wir hier runter, dann bekommen wir erstmal schon was richtig Cooles. Nämlich, es wurde ChatGPT gefragt, wie Reinforcement Learning funktioniert, und wir sollten hier eine Erklärung bekommen, als wären wir 5 Jahre alt.

Also, das generelle Konzept ist hier ganz einfach. Wir haben einen Roboter haben, der Rufus heißt, und das Ziel ist, dass dieser Rufus wie ein Mensch spricht. Rufus sagt irgendetwas, z. B. „I am a robot“. Danach hört sich ein Mensch diesen Satz an, und der sagt z. B.: „Hey, dieser Satz ist gar nicht schlecht, aber noch nicht ganz so, wie in Menschen sagen würde. Ein Mensch würde nicht sagen: ‚I am a robot‘, er würde vielleicht sagen: ‚I'm a robot‘ oder ‚I am a machine‘.“ Rufus nimmt sich danach dieses Feedback, und nächstes Mal sagt er dann tatsächlich: „I'm a robot.“ Und danach wird dieser Rufus tatsächlich belohnt.

Das ist das generelle Konzept. Also ganz, ganz einfach: Wir bekommen einen Output, und ein Mensch sagt: „Hey, der Output war nicht ganz richtig. So würde das in richtig aussehen.“ Und das nimmt sich das LLM danach zu Herzen, und es antwortet nächstes Mal besser. Und das funktioniert auch sehr, sehr gut.

Im restlichen Artikel erklären sie uns das Ganze Schritt für Schritt. Es wird natürlich gestartet beim Pretraining, danach bei so etwas wie das Finetuning – sie nennen das danach Reward Model Training – und dann kommt das Fine-Tuning with Reinforcement Learning. Das heißt, das Reinforcement Learning from Human Feedback. In kurz: Ein Human, also ein Mensch, gibt ganz einfach Feedback. Und wir können das sogar selbst machen.

Wir waren ja hier vorhin in ChatGPT. „Wer ist Marie Lee Pfeifers Sohn?“ Und: „Das ist Tom Cruise.“ Und jetzt könnten wir hier selbst Reinforcement Learning machen. Beim Reinforcement Learning geht es darum, zumindest so wie wir es machen können in ChatGPT, zu sagen: „Hey, die Antwort war gut“ oder „Die Antwort war nicht gut“. Warum war sie gut? Wenn sie nicht gut war, warum war sie nicht gut? Wir können also selbst das Reinforcement Learning in dieser Maschine drinnen machen. War die Antwort gut, können wir z. B. „Gute Reaktion“ klicken. War die Antwort nicht gut, könnten wir „Schlechte Reaktion“ klicken. Und wenn wir „Schlechte Reaktion“ klicken, könnten wir das Ganze sogar benennen, warum es schlecht ist. Das heißt, wir geben hier „Schlechte Reaktion“, und danach sollten wir hier machen, also „Erzählen Sie uns mehr“, „Don’t like the style“. Und hier z. B. wäre das Ganze nicht komplett korrekt. Wir könnten aber auch eingeben, dass nicht alles verstanden wurde, das geantwortet wurde. Wenn es nicht antworten sollte, dass das Modell faul war, klicken wir auf „Mehr“. Dann könnten wir auch hier die Daten mit eingeben. Und so können wir tatsächlich auch als Menschen helfen, ein Large Language Model besser zu lernen.

Das ist also die letzte Stufe des Fine-Tunings, das sogenannte Reinforcement Learning from Human Feedback. Und ich muss jetzt schon anmerken, dass über Zeit höchstwahrscheinlich Maschinen sich selbst verbessern werden. Ich will hier ganz, ganz kurz in die Geschichte eingehen zu AlphaGo, und danach sehen wir uns an, wie das Ganze in Zukunft passiert bzw. sogar jetzt schon mit Robotern, also, nicht direkt in einem Large Language Model.

Es gibt ein Spiel. Das Spiel nennt sich Go. Und bei diesem Spiel, das ist ähnlich wie Schach, aber hundertmal komplexer, gibt es wahnsinnig viele Spielzüge. Und im Jahr 2016 war tatsächlich der erste Schlüsselmoment hier. Denn es gab einen Algorithmus, der nannte sich AlphaGo. Und dieser Algorithmus ist gegen den weltbesten Go-Spieler angetreten. Go ist ein wahnsinnig, wahnsinnig komplexes Spiel. Und AlphaGo war ganz einfach das Ding, das trainiert wurde, um besser zu werden als Menschen.

Und wie macht man Maschinen besser als Menschen? Erstmal kann man sie natürlich trainieren an Daten von Menschen. Aber irgendwann funktioniert das halt nicht mehr ganz so gut. Denn dann kann man ja immer nur so gut werden wie Menschen. Mit der Zeit muss man dann versuchen, das Modell mit sich selbst zu trainieren. Und das ist auch wieder und wieder hier passiert. Wir machen das jetzt einfach. Vielleicht sehen wir uns später noch etwas mehr dieser Geschichte an. Jedenfalls, dieses Modell war mit der Zeit imstande bzw. genau 2016 in einem Spiel imstande, den weltbesten Spieler Lee Sedol zu besiegen. Und das war ein Schlüsselmoment der KI.

Das Kernding, das ich dir hier zeigen will, ist folgendes: Nachdem hier Lee Sedol besiegt wurde von AlphaGo durch den sogenannten Monte-Carlo-Algorithmus, war erstmal die ganze Welt erstaunt. Da an… da eine Maschine einen spezifischen Task besser machen kann, als ein Mensch. Und das war natürlich der absolute Wahnsinn. Aber ein Schlüsselmoment war eben auch, dass die Maschine einen Spielzug gemacht hat. Alle dachten: „Hey, dieser Spielzug ist dumm, jetzt wird die Maschine verlieren.“ Und erst im Nachhinein, nach langen, langen Analysen, stellte sich raus, dass die Maschine genau wegen diesen Spielzug gewonnen hat. So konnte man tatsächlich rausfinden, dass Maschinen so schlau und intelligent denken können, dass wir Menschen noch nicht mal mehr imstande sind, zu verstehen, warum Maschinen denken, wie sie denken.

Das heißt, hier wurde verstanden: Maschinen können tatsächlich, wenn man sie an sich selbst trainiert, schlauer werden als Menschen in gewissen Dingen. Und das ist natürlich ein wahnsinnig, wahnsinnig mächtiger Durchbruch. Das ist übrigens auch der Grund, warum viele davon ausgehen, dass wir irgendwann an einem Punkt ankommen, wo Maschinen das aller Allermeiste mes… besser machen können als Menschen.

Noch mal ganz, ganz kurz zurück zu diesem Artikel. Denn was wurde später hier tatsächlich gemacht? Es wurde AlphaGo Zero tatsächlich ins Leben gerufen. Und AlphaGo Zero war bereits nach drei Tagen Training stärk… stärker als die normale AlphaGo-Version. Das ist natürlich der komplette Wahnsinn, weil man AlphaGo Zero mit AlphaGo zusammen trainieren konnte. Und natürlich, nach 40 Tagen Training besiegte tatsächlich AlphaGo Zero die erste KI, die bereits Lee Sedol geschlagen hat, 100:0. Das sah man tatsächlich: Man bekommt exponentielles Wachstum, wenn man Maschinen mit Maschinen trainieren kann. Und die Dinger werden so verdammt gut, dass Menschen einfach nicht mehr verstehen, warum sie so gut sind.

Das heißt, erstmal macht man lange Reinforcement Learning from Human Feedback. Irgendwann sind Humans, also Menschen, nicht mehr schlau genug. Und man verwendet Maschinen, um den Maschinen Feedback zu geben. Und die werden schlauer, schlauer, schlauer, schlauer. Und irgendwann versteht man nicht mehr, warum die Dinger so schlau sind. Das wird auch jetzt gerade bei Robotern angewendet. Und ich will das da zeigen: das Eureka-Paper. Das Eureka-Paper kommt tatsächlich von Nvidia. Nvidia trainiert Roboter in der Simulation, und die machen das sehr, sehr, sehr erfolgreich. Und hierfür hat man im letzten Stadium auch dieses Reinforcement Learning from Human Feedback verwendet. Und das hat für eine Zeit auch gut funktioniert.

Irgendwann kamen sie jeo… jedoch zu diesem Problem. Das heißt, Menschen mussten Code schreiben, um die Roboterhand, die das da macht, zu belohnen. Und das wurde für Menschen so komplex, dass sie nicht mehr wirklich verstanden haben, welchen Code sie schreiben müssen, um diesen Roboter zu belohnen. Danach haben sie tatsächlich versucht, ChatGPT zu verwenden, also ein Large Language Model, um diesen Reward-Code für diese Roboterhand zu schreiben, die in der Simulation trainiert. Und das war auch wahnsinnig erfolgreich.

Das da ist das Paper. Wenn wir hier etwas runterscrollen, dann können wir uns das auch ansehen. Das heißt, diese Hand macht ganz einfach Bewegungen. Sie versucht zu jonglieren. Immer wenn etwas gut ist, dann belohnt hier tatsächlich ChatGPT das LLM. Das heißt, ChatGPT schreibt den Reward-Code, die Maschine führt etwas aus, ChatGPT schreibt den Code, und ChatGPT kann die Maschine besser belohnen als Menschen. Sobald sie hier ChatGPT verwendet haben, um den Reward-Code zu schreiben, wurde die Maschine besser, und besser und besser – und zwar viel schneller, als wenn Menschen das Ding belohnt haben. Und so oder so ähnlich passiert das mit großer Wahrscheinlichkeit auch bei Large Language Models. Auch Large Language Models, die machen nicht nur ganz normales Reinforcement Learning from Human Feedback, sondern ich gehe davon aus, dass in Zukunft hier Maschinen Maschinen belohnen werden. Und dass sie auch dadurch besser und schlauer denken können als Menschen.

Das ist hier der nächste Schritt tatsächlich. Das erste Fine-Tuning, das wurde tatsächlich erstmal von OpenAI veröffentlicht. Das gibt es in TensorFlow. Das war schon 2/19 zugänglich. Man bekommt auf GitHub auch den Code. Das heißt, das kann man sich auch genauer ansehen, wenn man möchte. Ich denke nicht, dass das unbedingt nötig ist.

In diesem Video hast du einige Dinge gelernt: Es geht um das Reinforcement Learning. Erstmal startet man mit Reinforcement Learning from Human Feedback. Das heißt, Menschen geben ganz einfach dem Large Language Model ChatGPT die Antwort. Das heißt, ChatGPT schreibt etwas zurück, und wir als Menschen sagen ChatGPT: „Hey, das war nicht so gut. Ein Mensch würde das machen. Hey, das war gut.“ Daumen hoch. Dementsprechend bekommt ChatGPT hier Reward-Code oder eben das Beispiel, wie man es besser macht, und ChatGPT wird somit besser.

Der nächste Schritt vom Reinforcement Learning ist tatsächlich nicht Reinforcement Learning from Human Feedback, sondern man versucht tatsächlich, Maschinen zu verwenden, um Maschinen zu verbessern. Das hat man bei AlphaGo gesehen. Das sah man im Eureka-Paper, wo Nvidia versucht, Roboter in der Simulation zu trainieren. Und ChatGPT war besser beim Reward-Code-Schreiben. Und das wird auch mit LLMs passieren. Das heißt, ein LLM macht das nächste LLM besser. Und irgendwann werden die Dinge so gut, dass wir Menschen nicht mehr wirklich verstehen, warum diese Maschinen schlauer geworden sind als wir.

Also soweit zum Reinforcement Learning. Das ist der letzte Schritt, wie man ein LLM tatsächlich verbessert. Bis jetzt haben wir über die Standard-LLMs gesprochen. Das heißt, wir sind noch nicht wirklich bei der sogenannten Multimodalität angekommen. Du weißt jetzt im Detail, was ein Large Language Model ist, wie es funktioniert, warum es wie funktioniert und wie es besser funktioniert. Und über Multimodalität geht es natürlich später.