LLMs als neues Betriebssystem?

Über diese Seite Werk

Gründet auf dem Werk „KI-Revolution“ Arnold Oberleiter
25. Oktober 2024 n. Chr. hrsg.
AI mit Arnie
LLMs meistern
Weitere Fähigkeiten von LLMs
Überarbeitung Liste Werke von Klaus Feldmann
Abschrift
29. November 2024 n. Chr. erst.
12:09 Uhr Ausgabe 00
Ausgabe 00
veröffentlicht
geprüft
↑ LLMs verbessern mit Prompts, RAG, Customization
→ LLMs als neues Betriebssystem?
↓ Was hast du in diesem Abschnitt gelernt? (Weitere Fähigkeiten von LLMs)
LLMs als neues Betriebssystem?.mp4 LLMs als neues Betriebssystem?.pages

🎓 LLMs als neues Betriebssystem?

📽️ 7LLMSA~1 (19:21)

Wenn man über LLMs spricht und das Ganze tatsächlich nur für ein kleines Modell hält, das ab und zu ein Wort dazu errechnen kann, denke ich, dann übersieht man hier das ganze große Bild. Ich denke, über die nächste Zeit, über die nächsten Jahre, werden die Dinge viel, viel, viel größer, als man sich das Ganze vorstellen kann.

Ich nehme an, der beste Vergleich kommt hier wieder mal von Andrew Carpathi: Wir sollten das als Operating System verstehen. Genauso wie wir eben Windows haben, Linux und Apple und so weiter, haben wir auch bei den LLMs sozusagen operative Systeme. Auf diesen operativen Systemen kann man viele, viele, viele verschiedene Dinge laufen lassen sozusagen. Auf deinem Windows-Computer kannst du auch unendlich viele Programme installieren, und ich denke, mit LLMs geht das Ganze noch viel, viel, viel weiter, tatsächlich.

Lass uns einfach mal in diesem Video ansehen, was ein LLM eventuell in Zukunft machen kann, wo die Reise hingeht und warum uns das tatsächlich interessieren sollte. Denn ich bin wirklich der Meinung, das Ganze ist viel größer, als man hier tatsächlich denkt.

Also, was könnte ein LLM eventuell in der Zukunft sein?

Es kann Text lesen und generieren, natürlich kann es das auch jetzt schon.

Es hat mehr Wissen als jeder einzelne Mensch über alle Themen. Die Dinger sind also schlau, sie sind trainiert worden an wahnsinnig, wahnsinnig vielen Texten. Ich denke, das macht auch Sinn.

Es kann im Internet surfen, das sehen wir natürlich auch jetzt schon.

Es kann die vorhandenen Software-Infrastrukturen nutzen, z. B. den Rechner, Python, die Maus, die Tastatur. Das könnte man auch KI-Agenten nennen. Wir sind aktuell, sage ich mal so, teilweise da. Das funktioniert noch nicht ganz so, wie es soll, aber ich nehme an, das kommt immer schneller und schneller auf uns zu, sehen wir uns in diesem Video noch genau an.

Es kann Bilder und Videos sehen und generieren. Für jeden, der es nicht weiß: Ja, diese Modelle sind multimodal, also es kann Bilder sehen und generieren. Das haben wir uns bereits angesehen.

Es kann Videos sehen und generieren. Will ich jetzt zeigen: Das Video, das ich hier einblende, das kommt von OpenAI. Das wurde generiert von Sora. Alles wurde hier generiert mit einer einzelnen Zeile Text: A cartoon kangaroo, und so weiter. Und wir bekommen ein Känguru, das so tanzt. Das heißt, ja, diese Modelle sind da auch imstande, Videos zu generieren.

Aktuell haben noch nicht so viele Leute Zugriff auf Sora, nur einige ausgewählte Leute haben Zugriff auf Sora. Aber wir werden alle noch Zugriff auf Sora bekommen, und das ist dann der absolute Wahnsinn. Das heißt, ja, mit einer einzigen Zeile Text kann man solche oder ähnliche Videos generieren.

Sora ist nicht das einzige Tool. Wir haben ein Konkurrenztool von Google, z. B. Google ist jetzt in einer offenen Beta. Ich habe mich angemeldet, habe noch nicht Zugriff bekommen. Wir haben Tools wie Runway B count und so weiter. Die sind noch nicht ganz auf dem Level wie das da. Da muss man sehr viel bearbeiten und weitermachen, damit man anständige Ergebnisse bekommt.

Aber das große Bild ist ganz einfach, dass all diese LLMs auch solche coolen Videos erstellen können und dass man damit natürlich auch wahnsinnig, wahnsinnig viel machen kann. Aber nicht nur Videos erstellen ist möglich, sondern natürlich auch Videos lesen, sozusagen. Und das können wir auch jetzt schon machen, teilweise in Google, teilweise in ChatGPT.

Ich will was zeigen: Das hier ist der Artikel von GPT-4 Omni. Wir haben leider auf dieses Modell aktuell noch nicht Zugriff, bzw. nicht jeder. Aber wenn wir hier auf die Beispiele klicken, dann können wir uns ansehen, was das Ding alles kann. Es kann natürlich wahnsinnig viele gute Bilder generieren. Es kann sogar 3D-Logos generieren, z. B. dieses OpenAI-Logo. Also, all das ist etwas, auf das wir bald Zugriff bekommen.

Und es kann auch Videos analysieren. Hier haben wir z. B. ein Video, das dauert 45 Minuten lang. Ich schalte mal kurz den Ton aus. Also, das ist hier ein Vortrag, und das Ding wurde ganz einfach in ChatGPT hochgeladen. Und es wurde hier tatsächlich einfach nur gefragt, also: „hier ist ein Video von einer Präsentation zu LLM-Performance. Gib mir bitte eine detaillierte Zusammenfassung zur Präsentation.“ Und der Output ist hier tatsächlich alles, wie es in diesem Video aufgelistet ist: Also eine Introduction, danach die Challenges of Optimizing LLMs tatsächlich, danach den Optimization Flow, das Prompt Engineering, wozu ist das gut, wozu ist das nicht gut, das RAG-Thema, das Fine-Tuning, die Best Practices und so weiter.

Das heißt, hier wird das gesamte Video erklärt. Natürlich musst du dir das Video nicht mehr ansehen, aber dennoch: Das ist ein gutes Video. Das Video kann man sich ansehen, wenn man will, aber in diesem Kurs lernst du natürlich all die wichtigen Dinge kennen.

Also, ChatGPT sollte auch dazu bald imstande sein. Wenn du das jetzt schon probieren willst, das kann man mit Gemini machen. Dafür nimmt man Gemini 1.5 Preview, das ist das beste Gemini-Modell aktuell. Und wir können hier über die API arbeiten. Keine Sorge, später dazu mehr.

Wir könnten auf Medium einfügen klicken, und du siehst, wir können hier vom Computer hochladen. Und das Coole ist, dieses Modell ist multimodal. Das heißt, hier können wir auch Videos hochladen. Ich muss dazu sagen, das funktioniert aktuell leider noch relativ lausig. Aber das sind für immer die schlechtesten Modelle, die wir verwenden werden. Das wird über Zeit besser und besser und besser werden.

Wir werden also Videos erstellen können und auch Fragen zu Videos stellen. Videos zusammenfassen. Über ein paar Umwege klappt das auch jetzt schon. Wir können uns z. B. das Transkript geben lassen von einem YouTube-Video und danach nach der Zusammenfassung fragen. Also, das ist absolut jetzt schon möglich. Dafür zeige ich dir eine Chrome Extension. Aber das wird in Zukunft auch mit den gesamten Videos gehen.

Das heißt, die Modelle sehen sich danach die Frames von dem Video an und können sogar z. B. Dinge rauslesen, die in einem kleinen Video vorgestellt werden. Es kann hören, sprechen und Musik generieren. Hören und sprechen das haben wir uns bereits angesehen. Musik generieren klappt aktuell in diesen Modellen leider noch nicht ganz so gut. Ja, ChatGPT kann einigermaßen singen, wenn du es darum bittest. Es ist noch nicht perfekt.

Ich will dir jetzt aber etwas zeigen, was wirklich schon wahnsinnig gutes Musik generieren ist. Auch das wird in solche LLMs integriert werden, wie z. B. ChatGPT. Hier ist ein Beispiel von ElevenLabs: Dieser Song wurde gemacht mit dem Prompt Pop Pop Rock Country Topcharts Song. Hören wir einfach mal zusammen rein, denn ich finde, diese Lieder sind mittlerweile wahnsinnig, wahnsinnig gut.

(Musik: „Programming young, dreaming that one day we make it...“)

Also hör dir das Lied selbst an! Ich finde das Lied so cool mittlerweile, und ich denke, wir müssen nicht mehr in 100 verschiedene Programme reingehen. Wie Andrew Carpathi anmerkte, das wird höchstwahrscheinlich ein operatives System sein. Das heißt, alles können wir aus ChatGPT raussteuern: Erstelle ein Lied, erstelle ein Video, durchsuche das Video. Wir werden höchstwahrscheinlich fast alles aus ChatGPT raus machen können. Das ist der absolute Wahnsinn. Diese Modelle sind viel, viel, viel größer, als man denkt.

Etwas, was auch noch kommen wird, höchstwahrscheinlich, ist dieses System 2 Thinking. Wir haben ja natürlich schon gelernt: Das Modell sollte eventuell dazu imstande sein, das zweite System zu verwenden und nicht mehr nur instant zu antworten. Aktuell müssen w… wir das mit Prompt Engineering machen. Über Prompt Engineering sprechen wir natürlich danach noch ganz genau, daß du auch weißt, wie man diese Modelle verwendet.

Es kann sich in Bereichen, die eine Belohnungsfunktion bieten, selbst verbessern. Das ist natürlich der absolute Wahnsinn. Also überall, wo wir das Modell anständig belohnen können, da wird es sich auch selbst verbessern können, so wie wir es bei AlphaGo gesehen haben. So wie wir es auch natürlich von den Nvidea gesehen haben mit diesem Eureka-Paper. Und die Dinge werden höchstwahrscheinlich viel, viel besser werden als Menschen – zumindest mit der Zeit.

Deshalb ist es für mich wichtig, dass ich dir das hier tatsächlich alles aufschlüssele, bevor wir die Dinge verwenden. Du sollst einfach verstehen, wie wichtig es ist, dass du die Dinge weißt.

Daneben: Es kann für spezielle Aufgaben angepasst und feinabgestimmt werden. Viele Versionen existieren jetzt schon in diesen ganzen App-Stores. Das heißt, willst du etwas in Canva machen, findest du ein passendes GPT dazu. Willst du etwas in Excel machen, findest du ein GPT dazu. Wir werden einfach fein abgestimmte Modelle finden für fast alles. Wir verwenden hier für Prompt Engineering System Prompts, wir verwenden dieses RAG, und wir können uns selbst die Dinge bauen. Wir werden auch selbst Feinabstimmungen machen können.

Es kann mit anderen LLMs kommunizieren, das ist auch der Wahnsinn. Auch hier erinnere dich an die kleine Promo von OpenAI. Hier können sogar zwei LLMs miteinander sprechen. Die Dinge können miteinander sprechen und sie können auch selbst sozusagen sich zusammenschließen und Aufgaben ausführen. Es gibt etwas, das nennt sich Autogen. Das sehen wir uns auch noch etwas genauer an. Mit Autogen versucht man zwei, drei, vier ChatGPTs reinzuholen. Jeder kleine GPT ist ein Experte für ein spezifisches Thema, und die ganzen GPTs zusammen versuchen sozusagen zusammen schlau zu sein. Sie unterhalten sich untereinander und versuchen, ein Problem zu lösen.

In diese Richtung wird das alles gehen: Man kann KI-Agenten erschaffen, also komplette Agenten. Ich will hier noch etwas zeigen, bevor wir in die Roboter eintauchen. Also, lasst uns erst mal über diese KI-Agenten sprechen.

Es gibt eine Firma, die nennt sich Cognition. CognitionAI hat eine Software gemacht, die sich Devin nennt. Devin ist der sogenannte erste autonome Software-Engineer. Und dieser Devin, der kann ganz einfach unendlich viele Dinge sozusagen autonom ausführen.

Hier haben sie ganz, ganz viele Beispiele. Wenn wir hier mal kurz reinzoomen: Also, „Devin can learn how to use unfamiliar technologies“ Devin kann automatisch lernen, wie man verschiedene Technologien verwendet. Devin kann automatisch Apps erstellen. Das heißt, man gibt eine Aufgabe, und danach geht dieser Devin automatisch an die Arbeit. Ich werd dir gleich ein Beispiel zeigen. Devin kann Bug’s im Code richten, tatsächlich. Devin kann eine eigene KI feinabstimmen. Devin kann Dinge auf Upwork erledigen.

Das ist hier das Ding, was mich am meisten fasziniert hat. Das will ich zeigen: Dieser Typ hier ist Walden. Er ist ein Entwickler von Cognition, und er hat ganz einfach Devin, einfach nur den Job auf Upwork gezeigt und danach hat Devin das Ganze gemacht. Ich werde das hier abspielen und kommentieren. Du kannst dir das Video auch selbst auf Englisch ansehen. Das heißt, er hat Devin nur die Aufgabe gegeben, das GitHub-Repo um eine KI zu schreiben, die sozusagen diese Bilder hier entschlüsseln kann. Also, wie kann man dieses Programm machen, das dieser Typ gerne hätte? Er hat dafür, glaube ich, 500 Euro bezahlt.

Er gibt hier nur die Befehle rein, und Devin macht sich hier an die Arbeit und versucht selbstständig, die Dinge zu lösen. Danach bekommt Devin einen kleinen Fehler. Jedoch haben wir hier natürlich das Coole, dass sich Devin danach versucht, selbst zu verbessern, selbst die Probleme zu finden. Auch hier sieht man: Devin hat eine Shell, einen Browser, einen Editor und einen Planer. Das heißt, erst mal macht sich Devin einen Plan, was muss er alles machen. Danach, wenn er in Probleme läuft, versucht er den Editor zu verwenden, um… und richtet sich die Probleme sozusagen selbst wieder. Wenn er Daten von irgendwo braucht, dann geht er automatisch in den Browser.

Das heißt, Devin verwendet hier die Modelle von OpenAI und er versucht ganz einfach, komplette Probleme holistisch zu lösen. Das heißt, man gibt eine Aufgabe, und danach führt Devin, dieser autonome Software-Engineer, diese Aufgabe automatisch durch. Und scheinbar hat das auch ab und zu relativ gut geklappt.

Ich muss sagen, das ist aktuell in einer geschlossenen Betaphase. Ich bin gespannt, wie das funktioniert, sobald man selbst Zugriff bekommt. Einige Leute sagen, das ist nicht perfekt, andere Leute sagen, das ist der komplette Wahnsinn. Man weiß noch nicht ganz genau, wie gut das alles ist, man weiß, dass das für immer die schlechtesten Versionen sein werden, die es aktuell gibt.

Und scheinbar – laut dieser Demo – hat Devin es geschafft, das Problem zu lösen und wurde auch auf Upwork bezahlt. Und das ist halt einfach mal der absolute Wahnsinn, wenn man einer KI sagen kann: „Hey, geh mal auf Upwork und führe den Job aus“, und danach wird man dafür bezahlt. Die KI hat sozusagen alles zusammengesucht, was sie braucht. Sie hat sich angesehen: „Hey, der Typ auf Upwork will dieses Programm haben, also brauche ich erst mal einen Plan. Was muss ich alles machen? Ich muss mir im Internet x, y, z zusammensuchen, ich muss das hier reinholen, ich muss ein Programm schreiben für eine Webseite, ich muss diesen Link hier reinpacken, ich muss das und das und jenes machen.“ Und Devin hat das danach ganz einfach alles ausgeführt.

Ich würde sagen, ich würde argumentieren: Das ist hier tatsächlich autonomes, intelligentes Denken für spezifische Aufgaben. Und ich bin der Meinung, das ist der absolute Wahnsinn, daß wir hier sehen. Diese Dinge kommen, diese Dinge kommen schnell. Und was als Nächstes kommen wird – was jetzt auch schon teilweise da ist, was schon eigentlich anständig da ist, was die wenigsten auf dem Schirm haben – ist das hier: Es kann in Roboter eingebaut werden.

Das heißt, LLMs werden jetzt in Roboter eingebaut. Dieser Roboter der ist von Unitree, und der ist sehr, sehr gelenkig. Also, er kann richtig gut aufstehen, richtig cool aufstehen. Es gab schon oft ähnliche Roboter, aber das Ding bei diesen Robotern ist, dass hier jetzt als operatives System ein Large Language Model arbeitet. Diese Roboter Unitree arbeiten, glaube ich, auch mit OpenAI zusammen. Diese Roboter sehen sich sozusagen die Umwelt an. Hier geht's ums Reinforcement Learning.

Also, der Typ vermöbelt den Roboter nur, damit er lernen kann. Generell: Lieber Roboter, falls sich die ganzen Roboter mal gegen uns wenden, ich will hier sagen, ich bin dagegen, dass wir Roboter schlagen. Also, ich bin auf alle Fälle sicher, falls sich die Roboter gegen uns verschwören. Aber noch mal zurück: Also hier geht es nur ums Reinforcement Learning. Aber das Ding ist, dieser Roboter wird nicht darauf programmiert, diese ganzen Moves so zu machen, sondern ein LLM sieht sich die Umgebung an und entscheidet, wie es sich bewegen muss. Das ist hier der riesengroße Unterschied.

Das ist das Ding, das gerade in der Robotik passiert. Das ist das Zeug, das aktuell die wenigsten verstehen. Diese Roboter werden oft in der Simulation trainiert, z. B. von Nvidia. Man sieht hier: Das da kommt tatsächlich von Nvidia, das nennt sich Isaac Sim und Isaac Gym. Sie verwenden ganz einfach eine Simulation, wo sie diese Roboter ganz einfach laufen lassen – wieder und wieder und wieder. Mit der Zeit lernen sie, wie sie mit diesem Stock z. B. umgehen müssen. GPT schreibt Reward Code, danach kommen sie in die richtige Welt und können in der richtigen Welt Dinge ausführen, die praktisch sind.

Und auch hier: Dieser Roboter sieht z. B. automatisch, wo liegen hier die Nüsse. Er nimmt sich eine Nuss, er knackt die Nuss, er holt sich die Cola, er öffnet die Cola. Und er wurde nicht programmiert, die Nüsse aus dieser Schale zu nehmen, sondern er nimmt die Umwelt wahr. Weil LLMs sehen, sprechen und hören können. Das heißt, ich kann zum Roboter sagen: „Geh mir eine Nuss knacken.“ Er versteht das sozusagen. Er sucht sich die Nüsse raus, er holt sich eine Nuss, er weiß, ich will die Nuss geknackt haben, und er knackt die Nuss.

Weil er natürlich erst mal hört, was ich sage. Er antwortet mir zurück. LLMs können sehen, sprechen und hören. LLMs können auch sehen. Das heißt, er sieht die Nüsse und er öffnet die Nüsse. Er führt Aufgaben aus. Und das ist das Ding, das aktuell die aller-, allermeisten nicht verstehen: LLMs werden ein komplettes operatives System. Die werden überall mit eingebaut. Man kann einem Roboter, der mit einem LLM zusammenarbeitet, sagen: „Hey, geh mir jetzt einen Toast machen.“ Keine Ahnung, warum man keinen Toaster verwendet, das dumme Ding verwendet eine Pfanne.

„Ähm, Entschuldigung, lieber Roboter, ich wollte dich nicht ‚dummes Ding’ nennen, wenn du gerade einen Hammer in der Hand hast.“ Aber na ja, ich denke, der Roboter versteht auch Spaß. Der Roboter kann löten, der Roboter kann alles, alles Mögliche machen. Das ist die Entwicklung der LLMs, die aktuell die aller-, allermeisten verschlafen.

In diesem Video haben wir uns viele verschiedene Dinge angesehen, und zwar folgendes:

Sie können Text lesen und generieren.
Sie wissen mehr als die allermeisten Menschen.
Sie können Tools verwenden, wie z. B. im Internet surfen, einen Rechner, vieles mehr.
Sie können ganze Infrastrukturen verwenden, z. B. Rechner, Python, Maus, Tastatur.
Sie können Videos und Bilder erstellen, generieren, verstehen und zusammenfassen.
Sie können hören, sprechen und Musik generieren.
Sie können z.B. nachdenken und das zweite System verwenden – das wird erst kommen.
Sie können sich eventuell selbst verbessern in spezifischen Bereichen, wo es Sinn macht, Reward Code zu generieren, wo eine Belohnungsfunktion Sinn macht.
Sie können auf spezifische Aufgaben angepasst und feinabgestimmt werden.
Sie können mit anderen LLMs kommunizieren.
Man kann ganze KI-Agenten bauen, die autonom Aufgaben ausführen.
Und man kann sie in Roboter einbauen.

Das ist die Zukunft der LLMs. Das ist das Ding, das aktuell alle verschlafen. Deshalb bin ich richtig, richtig fanatisch auf diese Technologie. Also, ich denke, KI wird immer noch unterschätzt. Einige denken, KI ist ein Hype. Ich denke immer noch, die meisten verstehen nicht, was KI über die nächsten Jahre und Jahrzehnte machen wird.

[[Kategorie:large language model (LLM}]]