Selbstverbesserung nach dem Vorbild von AlphaGo

Über diese Seite Werk

Gründet auf dem Werk „KI-Revolution“ Arnold Oberleiter
25. Oktober 2024 n. Chr. hrsg.  
AI mit Arnie
LLMs meistern
Weitere Fähigkeiten von LLMs
Überarbeitung Liste Werke von Klaus Feldmann 
AbschriftAbschrift
29. November 2024 n. Chr. erst.  
11:45 Uhr Ausgabe 00
Ausgabe 00
veröffentlicht
geprüft
↑ Was könnte in Zukunft passieren? Systemdenken!
→ Selbstverbesserung nach dem Vorbild von AlphaGo
↓ LLMs verbessern mit Prompts, RAG, Customization
Selbstverbesserung nach dem Vorbild von AlphaGo.mp4 Selbstverbesserung nach dem Vorbild von AlphaGo.pages

🎓 Selbstverbesserung nach dem Vorbild von AlphaGo

📽️ 5SELBS~1 (3:59)

Lasst uns über ein paar weitere Möglichkeiten sprechen, wie wir diese LLMs verbessern können. Das sind hier Möglichkeiten, die wir aktuell noch nicht verwenden. Wir sprechen in diesem Video über das sogenannte System-Thinking. Es gibt ein Buch, das nennt sich Thinking, Fast and Slow, und in diesem Buch geht es tatsächlich um das Konzept von verschiedenen Denkmustern.

Wenn ich dich jemand fragt: „Was ist 2 + 2?“, sagst du „4“, und das machst du ganz, ganz schnell. Das ist das System Nummer 1. System Nummer 1 ist wahnsinnig schnell, es ist sehr effizient, aber es ist dumm. Was wäre eine ähnliche Aufgabe, wo du das zweite System verwendest? 64 x 32. Hierfür musst du das zweite System verwenden. Ja, diese Matheaufgabe kannst du im Kopf lösen, aber hierfür mußt du tatsächlich das in kleine Stückchen runterbrechen.

Wenn du 64 x 32 machen willst, dann würdest du wohl erst 64 x 30 nehmen. Das würdest du machen, indem du z. B. 64 x 3 nehmen würdest und eine Null hinzufügst. 64 x 3 sollte 192 sein, eine Null dazu, und wir sind bei 1920. Jetzt müssen wir nur noch 2 x 64 dazu zählen, und das Ganze war’s. Und das sollte 2048 sein. Lass uns das mal kontrollieren. Wir nehmen einen Rechner: 64 x 32 = 2048.

Du siehst also, man ist sehr wohl imstande, solche Matheaufgaben zu lösen, aber man verwendet nicht mehr das schnelle System. Man macht das nicht intuitiv. „2 und 2 ist 4“, „64 x 32“ ist komplexer, und man braucht System Nummer 2. Man muss sich Zeit nehmen und man teilt die Aufgabe in kleinere, übersichtlichere Aufgaben aufteilen, z. B. 64 x 30 + 2 x 64, und danach hat man auch hier das Ergebnis.

Wenn dich das Buch genauer interessiert, ich habe das hier noch mal für mich runtergebrochen, damit wir das auch besser durchgehen können. Und es geht ganz einfach um System 1, das schnelle Denken, und System 2, das langsame Denken. Das schnelle Denken geht intuitiv, schnell und mühelos, beruht auf Heuristiken und Vorurteilen, spontanen und emotionale Reaktionen. Es ist nützlich für alltägliche Entscheidungen. „2 + 2 ist 4.“

Das System 2 ist natürlich analytisch und bewusst, langsam und anstrengend. Also, 64 x 32 ist vielleicht nicht so komplex, aber man muss sich schon etwas Zeit nehmen – zumindest ich. Vielleicht bist du in Mathe wahnsinnig schnell und hast auch das in System 1 drinnen, so auf Anhieb. Kann natürlich auch sein. System 2 beruht auf Logik und kritischem Denken. Man verwendet kontrollierte und überlegte Entscheidungen, und es ist wichtig für komplexe Probleme und Entscheidungen.

Dementsprechend: Das ist hier tatsächlich das Konzept. Hier noch ein paar Kernthemen vom Buch.

ChatGPT ist auch richtig, richtig gut, solche Dinge zu erklären. Warum zeige ich das alles? Weil wir aktuell bei Large Language Models nur dieses System verwenden, wir verwenden nur System 1. Und das Ziel ist es, dass man irgendwann auch das System 2 verwenden kann. Ich muss jetzt schon sagen: Aktuell sind wir noch nicht ganz da. Ich hoffe, dass wir irgendwann dorthin kommen.

Wenn wir jetzt in ChatGPT gehen und einfach irgendeine Frage stellen – wenn wir z. B. diese Frage machen (ich schreibe das ganz einfach noch mal, klicke auf Senden), dann siehst du: Wir bekommen die Antwort instant. Das heißt, es wird ganz einfach Schritt für Schritt das Ding dazugezählt, dazu gerechnet, und das läuft alles in System Nummer 1 ab. Das Ziel ist es, ins System 2 zu kommen. Das heißt, dass ich z. B. bei ChatGPT etwas dazu schreiben könnte, dass ich z. B. sagen könnte: „Nimm dir hier 10 Minuten Zeit und denke durch die Probleme Schritt für Schritt durch.“ Das würde man hier natürlich nicht nur mit so einer einfachen Frage für ChatGPT machen, sondern man würde wahrscheinlich fragen: „Wie baue ich eine gesamte Marketingkampagne, um mit meiner Firma über Nacht reich zu werden?“ Das wäre eine Frage.

Jedoch: Wenn ich hier auf Senden klicke, dann bekomme ich die Antworten immer noch instant. Das heißt, es läuft immer noch alles aus System 1, und ChatGPT geht hier nicht sozusagen durch alle die verschiedenen Dinge durch.

Ja, wir haben auch jetzt schon die Möglichkeit, durch spezielles Prompt Engineering – denn Prommt nennt man die Frage, die man ChatGPT stellt – das ein klein wenig zu triggern. Man verwendet dafür dieses Tree-of-Thoughts-Prompting. Das heißt, man stellt die Anfragen so, dass man verschiedene Outputs bekommt und danach von diesen auseinanderspinnen kann, um am Ende auf eine bessere Antwort zu kommen. Beim Prompt Engineering sind wir noch nicht ganz angekommen. Das Ziel ist aber, dass man das nicht mehr machen muss. Dass man ChatGPT ganz einfach sagen kann, daß man ChatGPT ganz einfach sagt: „Hey, nimm dir 10 Minuten Zeit und löse das Problem ganz ganz langsam.“ Wie gesagt: Aktuell sind wir leider noch nicht da.

In diesem Video haben wir uns angesehen, dass es eine Möglichkeit wäre, in Zukunft bessere LLMs zu bekommen, wenn wir irgendwie imstande sind, das zweite System zu aktivieren. Aktuell verwenden wir System 1 – das Ding, das wahnsinnig schnell agiert, z. B. „2 + 2 ist 4“ in unserem Kopf, instant. So arbeiten aktuell Large Language Models.

Wenn wir aber das ganze System 2 triggern könnten – wenn wir zu ChatGPT sagen könnten, genauso wie zu einem Menschen: „Was ist 64 + 32? Nimm dir ruhig Zeit. Zeig mir den Schritt, wie du denkst. Ich will, dass das stimmt.“ – dann könnten wir noch viel, viel bessere Antworten bekommen.

Wie gesagt: Leider sind wir noch nicht da, aber das ist eine Möglichkeit, die eventuell in Zukunft kommen könnte. Also, System Thinking ist wahrscheinlich eine Schlüsselrolle, wie wir bessere Large Language Models bekommen. Ich hoffe, dass wir das Ding bald bekommen, denn das wäre der absolute Wahnsinn.

Im nächsten Video sehen wir uns noch ein, zwei Dinge an, wie LLMs noch besser werden könnten in Zukunft und wo das alles tatsächlich hinführen könnte.