Verschiedene Transformer-Architekturen

Über diese Seite Werk

Gründet auf dem Werk „KI-Revolution“ Arnold Oberleiter
25. Oktober 2024 n. Chr. hrsg.  
AI mit Arnie
LLMs meistern
Funktionsweise von LLMs
Überarbeitung Liste Werke von Klaus Feldmann 
AbschriftAbschrift
28. November 2024 n. Chr. erst.  
10:28 Uhr Ausgabe 00
Ausgabe 00
veröffentlicht
geprüft
↑ Die Transformer-Architektur
→ Verschiedene Transformer-Architekturen
↓ Das Finetuning
VERSC~1.mp4 VERSC~1.pages

🎓 Verschiedene Transformer-Architekturen

📽️ 6VERSC~1 (7:08)

Du kennst die Transformer-Architektur, und die aller, aller meisten Large Language Models bauen ganz, ganz genau auf dieser Transformer-Architektur auf. Es gibt minimale andere Architekturen. Wir wollen hier noch mal bei Meta bleiben, denn aktuell haben wir Lama 3, das 400-Billionen-Parameter-Modell. Das sollte Mitte 2024 in etwa online sein, und das funktioniert so, wie wir ganz genau gelernt haben.

Das heißt, wir schicken eine Anfrage. Es geht tatsächlich in dieses Transformer-Modell heraus, und wir bekommen eine Ausgabe. Das heißt, wir stellen hier unsere Frage. Die Frage ist natürlich in Form von Text. Das kann was auch immer sein, kann auch Code sein. Wir schicken das danach in dieses neuronale Netz. Hier feuern die ganzen Neuronen, und wir bekommen danach anhand von Wahrscheinlichkeiten unseren Text wieder zurück, unseren Traum vom Text tatsächlich.

Jetzt muss ich dazu sagen, es gibt noch weitere Architekturen. Ich will das noch mal ganz kurz löschen. Wir gehen auf einen Artikel von Hugging Face. Mittlerweile haben wir auch dieses Mixture of Experts, und dieser Artikel erklärt das Konzept ganz, ganz gut. Du kannst dir den Artikel durchlesen. Wir müssen das jedoch nicht zu komplex machen. Also, die haben ein paar Bildchen. Die Bildchen erklären das relativ gut. Ich denke aber, ich kann das noch einfacher erklären, denn diese Bildchen sind ab und zu auch etwas komplex, meiner Meinung nach.

Noch mal zurück, kurz im Paint: Du weißt ja noch, wir schicken eine Anfrage an das Netzwerk. Das Netzwerk gibt unsere Ausgabe zurück. Jetzt ist es natürlich so, dass dieses Netzwerk riesig, riesig groß sein muss. Im Fall von 400-Billionen-Parameter-Modell von Lama ist es eben 400 Billionen Parameter groß, und es ist ganz, ganz, ganz allgemein aufgebaut. Das heißt, das Netzwerk ist trainiert an allen möglichen Daten.

Jetzt haben wir aber auch diesen Mixture of Experts, und diese Architektur wird mehr und mehr und mehr verwendet. Wir haben Modelle, z. B. von Snowflake, die verwenden hier tatsächlich bis zu 20, 30, 40 verschiedene Experten. Wir haben Mistral, das ist tatsächlich ein europäisches Unternehmen, und das wurde bekannt, weil es das erste Unternehmen war, das diese Architektur verwendete.

Was passiert beim Mixture of Experts genau? Wir starten natürlich wie immer mit unserer Anfrage. Die kann Text sein, die kann Code sein, die kann irgendeine Frage sein. Danach kommen wir in einen sogenannten Router. Was macht der Router, Ruta, Ruter? Ich weiß nicht genau, wie man das nennt. Nennen wir es R, Router oder Ruter. Der entscheidet danach, was mit dieser Anfrage passiert.

Denn danach haben wir hier kleine Unterexperten. Wir haben hier z. B. ein klitzekleines Modell, und dieses Modell nennen wir einfach mal das C-Modell. Dieses Modell wurde z. B. trainiert an Code. Und hier haben wir nicht mehr 400 Billionen Parameter. Du hast ja gelernt: Das riesengroße Lama-Modell hat 400 Billionen Parameter, ist ein ganz, ganz allgemeines Modell, muss also alles in einem einzigen Modell machen.

Nein! Wir haben nicht mehr Billionen Parameter. Beim Mistral-Modell haben wir hier sieben verschiedene Experten. "7 x 8" nennt sich das Modell, denn wir haben sieben verschiedene Experten, und jeder Experte hat nur 8 Billionen verschiedenste Parameter. Und dadurch kann man etwas effizienter sein.

Das heißt, wir haben hier einen Experten, der für Code zuständig ist, und danach würde uns dieses Modell danach den Output liefern, wenn die Anfrage eben Code ist. Daneben haben wir noch ein anderes Modell, das z. B. für kreatives Schreiben zuständig ist. Wir nennen das einfach mal KS, kreatives Schreiben. Dementsprechend entscheidet dieses Modell selbst, welchen Experten wir brauchen.

Stellen wir hier eine Anfrage, wo es um Code geht, geht dieser Router her und nimmt den Coding-Experten und gibt uns den Output mit dem Coding-Experten. Fragen wir eine Frage, wo wir sagen: "Schreibe eine Geschichte von einem Fuchs, der im Wald spielt", dann wird der kreativen-Schreiben-Assistent verwendet. Haben wir eine Frage, wo es um Mathe geht, z. B. Mathe, dann verwenden wir den Mathe-Experten. Und wir haben einfach acht verschiedene Experten, die bei acht verschiedenen Themen besonders gut sind.

So kann die Architektur etwas effizienter werden. Wir haben tatsächlich nur acht verschiedene Experten. Jeder dieser Experten ist natürlich wieder ein Transformer-Modell, und es hat 8 Billionen Parameter innerhalb dieses Modells, anstatt eines riesen riesengroßen Modelles.

Und im Groben war das auch schon die Architektur. Und wir haben mehr und mehr und mehr Leute, die tatsächlich diese Architektur verwenden. Wir haben Mistral. Mistral arbeitet mit diesem Mixture of Experts. So nennt sich diese Architektur auch. ChatGPT bzw. OpenAI arbeitet ab und zu damit. Wir haben z. B. Snowflake, die ein neues Modell haben, die damit arbeitet.

Welche Architektur wir hier ganz genau haben, ist, um ehrlich zu sein, nicht ganz so wichtig. Ich will aber, dass du verstehst, dass das oft tatsächlich die neue Technologie ist, die verwendet wird, wenn wir von diesen Modellen sprechen. Das heißt, es muss nicht immer unbedingt ein riesen riesengroßes Modell sein, das wir haben. Es kann auch so sein, dass wir viele kleine Unterexperten haben, und ein Router oder Rauter entscheidet, welchen dieser Experten wir brauchen für unseren Output. Und im Groben war es das auch schon.

Also in diesem Video hast du gelernt, dass wir neben der Transformer-Architektur auch verschiedenste Unterarchitekturen haben. Wir haben z. B. den Mixture of Experts. Und bei Mixture of Experts haben wir nicht ein riesiges Modell, das unendlich viele verschiedene Parameter hat und das ganz einfach alles wissen muss, das alles beantworten muss. Nein!

Wir haben verschiedene kleine Unterexperten, und ein Router entscheidet, welcher Experte uns helfen sollte. Dadurch können wir ein klein wenig effizienter arbeiten. Dadurch muss das Modell insgesamt weniger groß sein und kann dennoch gute Antworten liefern. Mistral war hier der Vorreiter, kommt aus Europa. Snowflake ist nachgezogen, hat ein Modell mit über 20 verschiedenen Experten, und auch ChatGPT verwendet ab und zu ganz genau diese Architektur.

Und im nächsten Video sehen wir uns den nächsten Prozess an. Denn bis jetzt waren wir tatsächlich noch beim Pretraining. Nach dem Pretraining sollte das Finetuning starten. Und beim Finetuning können wir die Antworten viel, viel besser hinbekommen. Das Zeug, was wir bis jetzt gesehen haben, ist also das Pretraining. Und das Pretraining ist wahnsinnig, wahnsinnig teuer. Das wird nur ein-, zweimal pro Jahr gemacht. Hier wird alles über den Haufen geschmissen. Und das Finetuning, das wird sehr, sehr viel öfter gemacht.

Also: Nächstes Video: Finetuning.