Werk:AI mit Arnie/LLMs als Operatives System

YTV: 1 LLMs als Operatives System (4:40)

Wir haben uns wirklich wahnsinnig, wahnsinnig viel angesehen bis jetzt und wir haben uns auch in der zweiten, dritten Sektion mal kurz angesehen, wo das alles hinführen könnte, was LLMs eventuell in Zukunft imstande sind. In dieser Sektion wollen wir uns darauf fokussieren, was das eventuell bedeuten könnte für uns Menschen. Und nein, das ist hier natürlich alles nur wilde Spekulation, denn keiner weiß, was in der Zukunft passiert. Wir versuchen aber einfach, noch einen Blick in die Zukunft zu werfen.

Und als Erinnerung: Wir haben in der Lektion damals besprochen, wie LLMs in der Zukunft eventuell als operatives System agieren können. Das heißt, in Zukunft können LLMs Texte lesen und generieren, können sie natürlich auch jetzt schon. Sie wissen eventuell mehr als jeder einzelne Mensch auf der Welt über alle Themen – also, jetzt wissen sie mehr als einzelne Menschen. Irgendwann wissen sie vielleicht mehr als alle Menschen, und zwar über alle Themen. Sie können im Internet surfen, kann die vorhandene Softwareinfrastruktur nutzen, z.B. den Rechner, Python, die Maus und die Tastatur – das sieht man teilweise auch jetzt schon kommen, ist noch nicht perfekt, muss man natürlich dazu sagen.

Kann Bilder und Videos sehen und generieren, also Bilder generieren und Bilder sehen funktioniert sehr gut. Videos sehen funktioniert auch, jedoch haben wir aktuell nicht serh sehr guten Zugriff darauf. Die Dinge sind noch etwas haperig und die Videogenerationen, ja, die ist auch okay, aber noch nicht komplett perfekt, natürlich. Generell natürlich Videos können angesehen werden, aber da werden meistens nur Screenshots von Videos gemacht und nicht das gesamte Video wird sozusagen verstanden.

LLMs können hören, sprechen und Musik generieren. Generell sind wir schon relativ nahe dran – also hören, sprechen, sehen, das auf alle Fälle. Musik generieren, ja, mit separaten Tools, zum Beispiel Eleven Labs, das macht schon wirklich richtig gute Musik. Es kann lange Zeit nachdenken, das sogenannte System-2-Thinking, haben wir aktuell noch nicht. Da kommen wir eventuell irgendwann hin. Es kann sich in Bereichen, die eine Belohnungsfunktion bieten, selbst verbessern – das wäre natürlich massiv, ganz genauso wie bei AlphaGo, erinnerst du dich natürlich noch daran.

Wenn wir tatsächlich ein Outcome haben, das wir sehen wollen, dann können wir LLMs ganz einfach trainieren lassen in der Simulation. Wenn es den Output richtig generiert, können wir es belohnen, so kann es sich selbst verbessern und schlauer werden als Menschen. Es kann für spezifische Aufgaben angepasst und feinabgestimmt werden. Viele Versionen existieren in App-Stores, teilweise sehen wir das auch jetzt schon. Wir haben den GPT-Store z.B.

Es kann mit anderen LLMs kommunizieren – haben wir noch nicht wirklich, da in Flowwise können wir das auch teilweise machen, funktioniert noch nicht perfekt. Es kann in Roboter eingebaut werden – ja, das funktioniert auch jetzt schon und einigermaßen gut funktioniert das Ganze. Und man kann KI-Agenten erschaffen – ja, wir können KI-Agenten erschaffen. Nicht alle sind perfekt, dieser "Devin" ist ein KI-Agent, der scheint einigermaßen gut zu funktionieren. Die Dinge, die wir gebaut haben, sind natürlich auch cool, aber all das ist noch nicht ganz da, wo es hingehen sollte, wo es hingehen könnte.

Dieser Post bzw. dieses Bild von Andrew Karpathy beschreibt das Ganze insgesamt relativ gut. Das heißt, LLMs, die sind sozusagen ein neues Betriebssystem. Ähnlich wie der RAM von unserer CPU kann man auch hier das LLM sehen. Und das LLM hat natürlich das Context-Window – das ist natürlich die Größe vom Modell, wie viele Tokens es verarbeiten kann. Das hat er mit dem RAM verglichen und das LLM an sich ist die CPU, so oder so ähnlich hat er das hier beschrieben. Und dieses LLM ist das Betriebssystem. Und das kann sprechen mit anderen LLMs, es kann das Internet durchsuchen, es kann Audio verstehen und erstellen, es kann Video verstehen und erstellen, es kann verschiedenste Tools verwenden und es hat natürlich auch die Embeddings. So oder so ähnlich sieht das Andrew Karpathy.

Und man sieht jetzt, wie diese Ideen tatsächlich vor unseren Augen passieren. Im nächsten Video wollen wir wirklich, wirklich sehr spekulativ in die Zukunft blicken. Ich will eine Frage aufwerfen: Sind wir eventuell die Pferde der Zukunft? Wir sehen uns im nächsten Video und finden das einfach mal heraus.