LLM Scaling Laws

Über diese Seite Werk

Gründet auf dem Werk „KI-Revolution“ Arnold Oberleiter
25. Oktober 2024 n. Chr. hrsg.
AI mit Arnie
LLMs meistern
Funktionsweise von LLMs
Überarbeitung Liste Werke von Klaus Feldmann
Abschrift
28. November 2024 n. Chr. erst.
17:09 Uhr Ausgabe 00
Ausgabe 00
veröffentlicht
geprüft
↑ Reinforcement Learning (RLHF)
→ LLM Scaling Laws
↓ Rückblick - Was hast du bis jetzt gelernt (Funktionsweise von LLMs)
LLMSC~1.mp4 LLMSC~1.pages

🎓 LLM Scaling Laws

📽️ 9LLMSC~1 (7:14)

In diesem Video sprechen wir darüber, wie wir LLMs besser machen können. Denn eigentlich braucht man nur zwei Dinge: wir brauchen nur mehr Text und mehr Parameter. Wenn wir diese zwei Dinge erhöhen, dann wird der Output eigentlich immer besser. Und das nennt man sozusagen auch die "LLM Scaling Laws". Das heißt, wenn wir mehr Input geben und mehr Parameter, dann bekommen wir bessere Outputs.

Ja, auch das Reinforcement Learning ist wichtig, und eventuell sogar das "Reinforcement Learning“ sagen wir einfach mal „from Machine Feedback". Eventuell können Maschinen sich sozusagen danach selbst ein klein wenig verbessern. Aber das Wichtigste ist: Je mehr Text wir reinschmeißen und je mehr verschiedene Parameter wir haben, umso besser werden die Outputs.

Lasst uns ein klein wenig tief eintauchen. Wir haben hier einen super Artikel, der ist auf Medium, und der Artikel ist von diesem Typen hier. Ich will hier tatsächlich runter scrollen zu einer kleinen Grafik. Die Grafik, die ich zeigen will, ist das da. Eigentlich geht es nur darum, dass je mehr Parameter wir haben und je mehr Text, umso besser werden die Modelle.

Und aktuell gibt es nach oben noch nicht wirklich ein Limit. Das heißt, je mehr Computing Power, umso besser die Modelle. Punkt. Aus. Ende. Das ist aktuell, was wir wissen. Deshalb sind wir auch in diesem Goldrausch bei diesen Computing-Power-Systemen. Nvidia – also die Nvidia-Aktie – ist komplett "to the moon" gegangen, weil wir eben ganz, ganz viel Computing Power haben und es sieht auch so aus, als ob wir immer mehr und mehr und mehr Computing Power brauchen.

Ja, all das wird in Zukunft auch effizienter werden. Das heißt, Algorithmen werden besser, dann wird auch das LLM besser. Aber wenn wir einfach nur mehr Computing Power draufschmeißen auf diese Modelle, dann werden die automatisch besser, ohne dass zwanghaft der Algorithmus besser werden kann. Das wird natürlich alles immer teurer und teurer und teurer. Aber wir haben ja natürlich immer noch Moore's Law und Wright's Law.

Das bedeutet einfach nur, dass wir wegen technologischen Fortschritts immer günstiger und günstiger Computing Power machen können. Das heißt, Nvidia und all die großen KI-Unternehmen, die werden immer bessere und effizientere Chips bauen, und all das wird immer günstiger und günstiger werden. Ark Invest in ihrem Artikel von "Big Ideas 2024" geht davon aus, dass Trainingskosten in etwa um 75 % pro Jahr zurückgehen sollten. Denn hier greift Wright's Law und eventuell auch Moore's Law. Das heißt ganz einfach, dass wir immer mehr und mehr und mehr Computing Power bekommen sollten, und das wird gleichzeitig noch günstiger. Deshalb geht man auch davon aus, dass diese Modelle immer besser und besser und besser werden. Und dass das automatisch auch heißt, dass es nicht unendlich teuer wird, weil einfach alles effizienter wird.

Das heißt, wir brauchen noch nicht mal bessere Algorithmen, obwohl wir wahrscheinlich auch das bekommen werden. Alleine wenn wir mehr Computing Power draufschmeißen, wird das Zeug besser. Und Computing Power sollte über Zeit günstiger werden. Dazu noch die Chance, dass wir das Reinforcement Learning machen können mit Maschinen, die sich gegenseitig verbessern.

Deshalb weiß man aktuell absolut nicht, wo das Limit ist bei diesen Maschinen. Es sieht so aus, als ob die einfach besser und besser und besser werden können. Wir brauchen einfach nur mehr Zeit, mehr Computing Power, mehr Daten, besseres Reinforcement Learning, und das war's.

Es gibt ganz, ganz viele verschiedene Benchmarks, die wir uns ansehen können. Wir haben hier z. B. die Benchmark, die GPT-4 Omni vergleicht mit GPT-4 Turbo, mit dem normalen GPT-4, mit Claude 3 Opus, Gemini 1.5, Gemini Ultra und dem LLaMA-3-400-Billionen-Modell, zu dem ich aktuell noch keinen Zugriff habe – vielleicht du, sobald du dir den Kurs ansiehst.

Man sieht ganz einfach, dass diese Benchmarks immer besser und besser und besser werden mit jedem neuen Modell, das rauskommt. Wir sind mittlerweile wirklich sehr, sehr gut bei verschiedensten Dingen. Hier vergleichen wir jetzt einfach mal GPT-3.5 mit GPT-4. Der einzige Unterschied ist einfach nur, dass auf GPT-4 mehr Computing Power draufgeschmissen wurde, und man sieht, dass es bei den allermeisten Benchmarks einfach immer besser und besser und besser geworden ist.

Wenn du dir ansehen willst, welches Modell jetzt aktuell das Beste ist, dann gehst du natürlich auf diese Chatbot-Arena. Das weißt du ja mittlerweile schon. Die ranken einfach die Modelle. Aktuell haben wir hier tatsächlich GPT-4 Omni ganz oben, aber vielleicht haben wir hier danach das sogenannte "Frontier Model" ganz oben, sobald du dir den Kurs ansiehst.

Aktuell gehen ein paar Spekulationen zu diesem Frontier Model die Runde von OpenAI. Also ganz, ganz einfach ausgedrückt: mehr Computing Power und mehr Text, mehr Leistung. Wir bekommen das alles, weil alles sogar noch günstiger wird, dazu noch besseres Reinforcement Learning.

In diesem Video hast du gelernt, wie man LLMs besser macht: mehr Computing Power und mehr Trainingsdaten. Wenn wir alleine diese zwei Variablen erhöhen, dann heißt das eigentlich automatisch, dass wir bessere Modelle bekommen.

Und wir haben aktuell noch nicht wirklich gesehen, dass es hier ein Top gibt. Erhöht man diese zwei Dinge, bekommt man bessere Modelle. Punkt. Aus. Amen. Das haben wir bis jetzt zumindest verstanden über diese Modelle. Und dazu brauchen wir noch nicht mal bessere Algorithmen. Wenn wir effizientere Algorithmen bekommen, ist das einfach nur ein Bonus … zusätzlich. Es wird nicht unendlich teurer werden, da Computing Power durch Moore's Law und Wright's Law günstiger werden sollte.

Das bedeutet ganz einfach, dass technologischer Fortschritt Dinge günstiger macht. So war das einfach schon immer. Das erste Handy früher, das kostete ein paar Tausend DM, was auch immer damals die Währung war im Land, wo du dir das ansiehst, und das konnte nichts außer schäbig telefonieren. Jetzt können wir mit unserem Handy so gut wie alles machen, und es gibt sogar Handys, die kosten, keine Ahnung, 50 €, und man kann immer noch relativ viele Dinge damit machen.

Auch das ist Moore's Law: Technologie wird über Zeit günstiger. Das heißt, wir werden mit ganz, ganz, ganz großer Wahrscheinlichkeit bessere Modelle bekommen, weil wir viele Daten haben, weil wir immer mehr und mehr und mehr Computing Power draufschmeißen, weil die Computing Power günstiger wird, zusätzlich eventuell noch bessere Algorithmen und besseres Reinforcement Learning – das Reinforcement Learning eventuell zusätzlich auch noch von Maschinen.

Das ist, wie LLMs besser werden. Aktuell haben wir noch nicht gesehen, dass es hier irgendwas gibt, das das beenden oder stoppen sollte. Das heißt, wir können davon ausgehen, dass diese LLMs zumindest noch für eine Weile um einiges besser werden.

Und im Groben war es das auch schon. Das war, wie schon erwähnt, das Standard-LLM. Das Standard-LLM kann Text zusammenfassen, Text erweitern, und natürlich sehen wir uns danach an, was das genau bedeutet. Denn das war natürlich erst die Spitze des Eisbergs.