Behalte das Tokenlimit im Auge!

Über diese Seite Werk

Gründet auf dem Werk „KI-Revolution“ Arnold Oberleiter
25. Oktober 2024 n. Chr. hrsg.  
AI mit Arnie
LLMs meistern
Prompt Engineering im Standard-Interface
Überarbeitung Liste Werke von Klaus Feldmann 
AbschriftAbschrift
29. November 2024 n. Chr. erst.  
14:32 Uhr Ausgabe 00
Ausgabe 00
veröffentlicht
geprüft
↑ Warum ist Prompt Engineering wichtig, Ein Beispiel
→ Behalte das Tokenlimit im Auge!
↓ Prompt Engineering Basics
Behalte das Tokenlimit im Auge g.mp4 Behalte das Tokenlimit im Auge g.pages

🎓 Behalte das Tokenlimit im Auge!

📽️  2 Behalte das Tokenlimit im Auge g (6:46)

Wir haben bereits diesen Tokenizer gesehen, und du weißt, dass jedes LLM diese Texte – z. B. „Schreibe eine formelle Mail an Thomas: Er soll gefälligst seine dreckigen Schuhe ausziehen, wenn er das nächste Mal in die Küche geht, dieser Trottel!“* – Ja, dieser Satz ist falsch geschrieben. Du weißt jedoch, dass das LLM hier nicht die Buchstaben sieht, nicht die Sätze sieht, noch nicht mal die Wörter sieht, sondern dass diese Worte geteilt werden in diese Token.

Und diese Token werden ganz einfach so unterteilt. Klicken wir auf die Token-IDs, dann ist das da die Token-ID. Und diese Token-IDs werden danach natürlich im neuronalen Netz mit den Gewichten multipliziert, und es wird ganz einfach errechnet, welche Antwort am wahrscheinlichsten auf uns dazu passt. Dann ist es auch natürlich logisch, dass die Rechtschreibung hier nicht ganz so wichtig ist, weil natürlich dennoch ähnliche Token zumindest rauskommen und insgesamt die Multiplikation vom gesamten neuronalen Netz ganz einfach die gleiche bleibt oder eine ähnliche bleibt. Bzw. all diese Multiplikationen werden gemacht. Und wenn eine Multiplikation etwas anders ist, dann werden dennoch ähnlich viele Neuronen feuern.

Natürlich, du könntest richtig schreiben – so erhöhst du die Chance, dass wir die besseren Outputs bekommen. Aber jetzt noch mal zurück: Warum reite ich ständig auf diesen Token rum? Warum müssen wir das eigentlich überhaupt genau wissen?

Ja, es ist cool zu wissen, wie die Technologie dahinter funktioniert, aber es ist noch wichtiger zu verstehen, dass es Limits gibt für diese Token. Mit der Zeit werden diese Token-Limits höchstwahrscheinlich gelöst. Wir haben jetzt schon riesig, riesig große Modelle. Und wir haben auch das da: Wir haben das Paper von Microsoft, das nennt sich LongNet. Und in diesem Paper geht es darum, ein Problem zu lösen, von dem ich dir jetzt gleich erzählen werde. Also, Microsoft versucht, das Problem des Token-Limit’s zu lösen.

Lasst uns erst mal über das Token-Limit sprechen. Wenn du mich etwas fragst und ich bin ChatGPT, dann nehme ich deine Wörter erst mal und teile sie in Wort-Token. Ein Wort-Token ist z. B. in etwa vier Buchstaben auf Englisch. Das ist in etwa drei Viertel von einem Wort. Und dementsprechend sind 1.500 Wörter in etwa 2.000 Token.

Warum ist es aber wichtig, dass du diese Token hier verstehst? Das ist wichtig, weil jedes Modell auch ein Token-Limit hat. Es kommt drauf an, welches du nimmst. Hier wird es erklärt: Jedes verschiedene Modell hat ein verschieden großes Token-Limit. ChatGPT-4 Turbo hat aktuell 128.000 Token zur Verfügung. Einige andere Modelle haben weniger. ChatGPT-3.5 hatte z. B. mal 4.000 Token. Es gibt auch Gemini 1.5 Pro, das bis zu 1 Million Token hat, teilweise bis zu 10 Millionen Token. Das ist aktuell noch ein klein wenig in der Entwicklung. Aber man muss einfach nur wissen, dass jedes Modell verschieden hohe Token-Limits hat. Das normale Gemini-Modell hat aktuell 32.000 Token. Und das Gemini 1.5 Pro, wie gesagt, eine Million oder bis zu 10 Millionen Token, 700.000 Wörter – das sollte in etwa so viel sein wie die ganze Harry-Potter-Reihe.

Und wenn du mit kleineren Token-Limits arbeitest, dann musst du das im Hinterkopf behalten. Das Token-Limit ist nichts anderes, als dass das Modell irgendwann vergisst, worüber ihr sprecht. Das heißt, wir haben hier natürlich angefangen, unsere Mail an Thomas zu schreiben. Und wenn ich hier weiter und weiter und weiter schreiben würde, bis ich das Token-Limit überschreite – in diesem Chat sollten es wahrscheinlich 128.000 Token sein – dann wird das Modell jedoch die Dinge vergessen, die wir oben geschrieben haben.

Das heißt, das Modell kann immer nur ein Stück zurückblicken. Nehmen wir an, dass hier nach unten noch mal haufenweise Text ist, und zwar 128.000 Token. Dann weiß das Modell, was hier drüber steht, nicht mehr. Das Modell weiß nicht mehr, dass ich diese Anfrage gestellt hab. Es weiß nicht mehr, dass in meinen Augen Thomas ein Trottel ist mit seinen dreckigen Schuhen. Also müssen wir hier ein klein wenig aufpassen, wie gesagt.

Und wenn man in einem GPT-3.5-Modell arbeitet, dann ist dieses Token-Limit relativ klein. Denn dann hat man tatsächlich nur in etwa 4.000 Token zur Verfügung. Und wenn man nur 4.000 Token hat, dann muss man aufpassen, dass man das Token-Limit nicht überschreitet. Sobald man merkt, dass diese Modelle Dinge vergessen, ist der einfachste Tipp, nach einer Zusammenfassung zu fragen. So kann das Modell wieder auf die Zusammenfassung blicken, und es hat wieder alles im Kopf, im Blick oder wie du das auch sehen willst.

Also, du hast gelernt, dass genau diese Token limitiert sind. Und zwar aktuell in den meisten Modellen 128.000 Token. Zumindest wenn du in ChatGPT-4 Omni gehst, haben wir aktuell 128.000 Token. In einigen Modellen sind es mehr, in anderen Modellen sind es weniger. Und wir haben die Chance, dass wir durch Technologien wie LongNet das Token-Limit danach vergessen können. Dass wir auf eine Billion Token hoch skalieren können – das wäre tatsächlich, glaube ich, fast so viel, wie ein Mensch im gesamten Leben lesen würde. Einige sagen, es ist die Hälfte davon, andere sagen, es ist das Doppelte davon. Es kommt natürlich darauf an, wie viel du in deinem Menschenleben lesen willst.

Das generelle Konzept ist hier, dass man sich nicht den gesamten Text ansieht, sondern sozusagen immer in kleine Stückchen reinzoomt vom Text. Und danach dieses sogenannte Semantic Association verwendet. ChatGPT hat insgesamt einfach ein breites Wissen, das es anwenden kann. Und sie versuchen, das hiermit zu triggern. Also, das ist etwas komplex. Ich muss gestehen, diese gesamte Studie habe ich mir mal durchgelesen. Das ist schon eine Weile her. Aber ich denke, das ist hier die einfachste Zusammenfassung.

Einige erklären es so, als würde man ein Bild sehen, von einer großen Stadt. Man würde immer wieder auf kleine Dinge hier reinzoomen. Das ist also LongNet. Und auch Google hat bei ihrer Präsentation gesagt, dass sie ganz einfach versuchen wollen, das Token-Limit unendlich groß zu machen.

Dementsprechend: Ich hoffe, irgendwann wird dieses Token-Limit keine Limitation mehr sein. Solange wir es haben, müssen wir es aber verstehen, und wir müssen das natürlich auch bei unseren Prompts berücksichtigen.