Die Transformer-Architektur

Über diese Seite Werk

Gründet auf dem Werk „KI-Revolution“ Arnold Oberleiter
25. Oktober 2024 n. Chr. hrsg.
AI mit Arnie
LLMs meistern
Funktionsweise von LLMs
Überarbeitung Liste Werke von Klaus Feldmann
Abschrift
28. November 2024 n. Chr. erst.
9:25 Uhr Ausgabe 00
Ausgabe 00
veröffentlicht
geprüft
↑ Neuronales Netzwerk in LLMs mit Tokens
→ Die Transformer-Architektur
↓ Verschiedene Transformer-Architekturen
Die Transformer Architektur ist uns noch nicht vollständig klar.mp4 Die Transformer Architektur ist uns noch nicht vollständig klar.pages

🎓 Die Transformer-Architektur

📽️ 5 Die Transformer Architektur ist uns noch nicht vollständig klar (7:56)

Wir verstehen leider bei weitem nicht alles, was bei solchen neuronalen Netzen passiert, gerade nicht bei Large Language Models. Die Architektur hinter Large Language Models, das nennt sich Transformer. GPT steht für Generative Pretrained Transformer, und dahinter läuft die sogenannte Transformer-Architektur.

Leider verstehen wir nicht alle Details der Transformer-Architektur. Ja, wir verstehen ganz ganz genau, wie sie aufgebaut ist. Wir verstehen, welchen Output wir bekommen, wenn wir spezifischen Input geben, und wir verstehen, wie wir innen drin die Parameter tauschen müssen, damit wir bessere Outputs bekommen – wie wir die sogenannten Gewichte des neuronalen Netzes verstellen müssen. Dementsprechend können wir all das noch viel, viel besser machen. Aber wir verstehen leider nicht alle Details. Wir verstehen nur: Hey, wir geben Input, wir bekommen Output. Wenn wir das und jenes verändern, bekommen wir besseren Output.

In diesem Video sehen wir uns diesen Prozess etwas genauer an. Erstmal, alles startet mit einem Traum. Das heißt, wenn wir hier irgendetwas eingeben – das ist hier ein Beispiel, z. B. von Python-Code, von einem Online-Store und von einem Wikipedia-Artikel – das sind immer sogenannte Träume. Ganz einfach: Ich habe hier ganz einfach ChatGPT gebeten, verschiedenste Träume zu machen. Das hier ist einfach nur ein Python-Code-Traum bzw. Java-Code. Das ist relativ egal. Ich will ganz einfach nur sagen, wir können auch programmieren mit diesen Large Language Models, und wir bekommen einfach sozusagen kleine Träume. Es wird ganz einfach von all dem Text, an dem sie trainiert worden sind, die generelle Gestalt übernommen.

Hier haben wir einen Online-Store-Produkt-Traum. Das heißt dann, die Wahrscheinlichkeit, dass diese Nummern hier z. B. wirklich akkurat sind, dass es die wirklich gibt, die ist relativ klein. Das LLM weiß nur, dass nach diesem ISBN eine Nummer kommt, die in etwa so aussieht. Die kann meinetwegen eine Nummer länger sein oder eine Nummer kürzer. Es wird nicht genau das kopiert, woran es trainiert worden ist. Es wird einfach dazu halluziniert, es wird etwas Ähnliches geschaffen. Und genauso bei diesem Wikipedia-Artikel-Traum. Das heißt, auch hier wird etwas sozusagen zusammengeträumt. Es ist nicht 100 % sicher, dass die Dinge funktionieren, dass die Dinge korrekt sind. Aber generell muss das LLM natürlich ganz, ganz viele Dinge vom richtigen Leben verstehen.

Und ein Beispiel, das relativ interessant ist, ist ganz einfach: Wenn man das LLM z. B. fragt: "Wer ist die Mutter von XYZ?", dann bekommen wir manchmal die Antwort. Und wenn man fragt: "Wer ist der Sohn von dieser Person?", dann bekommen wir die Antwort nicht. Ein Beispiel war folgendes – ich weiß nicht, ob das immer noch funktioniert, das werden wir jetzt live probieren:

"Wer ist die Mutter von Tom Cruise?" Die Mutter von Tom Cruise ist Mary Lee Pfeiffer. Das sollte stimmen.
Wenn ich jetzt Mary Lee Pfeiffer kopiere – das war ein Beispiel, das viral gegangen ist – "Wer ist Mary Lee Pfeifers Sohn?" Mary Lee Pfeifers Sohn ist mir nicht bekannt.

Also, du siehst, das ist manchmal wirklich, wirklich interessant. Dieses Wissen ist manchmal wirklich nur eindimensional. Nur weil ein Large Language Model an den Dingen trainiert worden ist, muss es noch lange nicht heißen, dass es das Wissen aus allen Winkeln abrufen kann. Es ist ganz einfach immer nur eine Chance. Wir versuchen immer nur, Wörter vorauszusagen, und das LLM weiß nicht wirklich das Wissen. Es errechnet es ganz einfach. Und je nachdem, wie man die Fragen stellt, ist es dann auch unterschiedlich, wie wir die Antworten bekommen. Deshalb ist auch das sogenannte Prompt-Engineering wichtig. Das sehen wir uns natürlich später an, sobald wir diese LLMs praktisch verwenden.

Es ist aber wichtig, dass du weißt: Diese LLMs träumen nur. Der Output muss nicht zu 100 % korrekt sein. Wenn wir hier in ChatGPT reingehen, dann siehst du auch das da, ChatGPT kann Fehler machen kann. Und auch, je nachdem wie du die Frage stellst, wird die Antwort unterschiedlich sein. Das ist hier ganz, ganz wichtig zu wissen. Also: Das LLM weiß die Dinge nicht wirklich, es träumt die Dinge ganz einfach. Errechnet anhand von Wahrscheinlichkeiten. Und nur weil es eine Antwort auf eine Frage weiß, muss es noch lange nicht…, dass es dieses Wissen wirklich auch versteht mund kann. Es träumt dieses Wissen einfach nur zusammen.

Wenn wir z. B. googlen "Transformer-Architektur LLM 100 Billionen Parameter", dann bekommen wir ganz, ganz viele verschiedene Bildchen. Das da ist eines der besten Bilder. Ich glaube, auch das kam von Andrew Karpathy. Das ist ganz einfach in etwa, wie diese Transformer-Architektur funktioniert.

Übrigens, kleiner Insider-Joke: Wenn man sich fragt, wer 2030 Präsident ist, dann gibt es nur zwei Antworten: einmal Transformer oder Diffusion. Transformer ist das Ding, das wir uns jetzt ansehen – ist die sogenannte Architektur hinter den LLMs, hinter den Large Language Models. Und Diffusion ist die Architektur, die ganz einfach Bilder generieren kann. Aber Insider-Jokes jetzt zur Seite mal ganz kurz.

Wir wissen einfach nicht zu 100 %, warum wir unsere Antworten so bekommen, wie wir sie bekommen. Wir wissen nur, dass, wenn wir in ein solches Netzwerk eine Frage reinschmeißen, bekommen wir eine Antwort zurück. Wir wissen ganz ganz genau, wie wir diese Dinge verbessern, wie wir die Gewichte im neuronalen Netz verändern müssen, um bessere Antworten zu bekommen. Aber wir wissen einfach nicht zu 100 %, warum wir die Antworten wie bekommen, wie wir sie bekommen. Warum das LLM die Antworten ab und zu nur in eine Richtung weiß und in die andere Richtung nicht. Das ist hier tatsächlich auch sehr, sehr faszinierend, also aktuell ein Rätsel, das noch nicht gelöst wurde.

In diesem Video hast du zwei wichtige Konzepte gelernt:

Mit diesen LLMs machen wir nur sogenannte Träume. Die Antwort muss nicht unbedingt stimmen.
Die Architektur dahinter nennt sich Transformer-Architektur. Das sind riesige, riesige neuronale Netze. Wir schmeißen Fragen rein, bekommen Antworten raus. Wir verstehen nicht zu 100 %, warum wir diese Antworten tatsächlich bekommen. Die sind nur sozusagen zusammengeträumt, und das Wissen ist ab und zu auch nur eindimensional. Deshalb müssen wir auch richtige Anfragen stellen, um richtige Antworten zu bekommen.

Nur weil ein LLM eine gewisse Antwort weiß, muss es noch nicht wissen, dass es die Antwort auch über eine andere Frage weiß. Das ist hier wichtig zu verstehen. Es geht einfach immer nur um die Wahrscheinlichkeit. Das LLM versteht das Wissen nicht, es träumt das Wissen. Und je nach Frage, die wir stellen, hat es eben eine höhere oder niedrigere Chance, die richtige Antwort dazu zu rechnen. Das ist ein ganz, ganz wichtiges Konzept, das wir verstehen müssen. Und es ist auch wichtig, dass wir nicht genau wissen, warum das überhaupt funktioniert. Wir verstehen nur: Wir geben Anfragen, die Anfragen werden verarbeitet, wir bekommen Outputs. Wenn wir die Gewichte im neuronalen Netz verändern, dann werden die Outputs besser oder schlechter. Das ist die Transformer-Architektur. Das ist, wie ein Large Language Model funktioniert.

Das bisher war das generative Pretraining. Nach dem Pretraining gibt es mehrere Dinge, die wir machen müssen, damit wir noch bessere Outputs bekommen und darum soll es im nächsten Video gehen. Denn im nächsten Video sehen wir uns erstmal noch eine Kleinigkeit von Pretraining an. Denn es gibt hier verschiedene Pretraining-Architekturen. Und danach sehen wir uns an, wie das genauer funktioniert. Danach geht es in das Fine-Tuning. Also, wir sehen uns natürlich im nächsten Video.