Werk:AI mit Arnie/Ein einfacher Opensource KI-Agent mit Llama 3
In diesem Video bauen wir den einfachsten KI-Agent mit Open-Source-Tools, den es gibt. Ich habe hier den gleichen Framework wie immer. Ich habe einen Supervisor und zwei Arbeiter: Ich habe den Geschichtenschreiber und den Titelschreiber. Der Prompt: „Du machst Geschichten von Tieren“, und dieser Arbeiter macht Titel von Geschichten.
Danach geht es aber etwas anders. Wir brauchen ein Chatmodell, und diesmal ist unser Chatmodell natürlich nicht mehr von OpenAI, sondern von Olama. Und wir verwenden Olama Function. Olama Function können wir jetzt natürlich verbinden mit unserem Modell hier.
Und hier ist Folgendes wichtig: localhost 11434. Das ist genau der gleiche Localhost wie hier: 11434. Dementsprechend ist es natürlich wichtig, dass wir hier das Gleiche verwenden. Und beim Modellnamen: Ich verwende hier einfach mal Llama 3. Im nächsten Video tauche ich noch etwas tiefer ein. Da machen wir natürlich einen viel, viel größeren und stärkeren Agenten. Ich speichere das Ding, ich nenne das einfach mal „Olama“, einfach weil es ein einfacher Kl-Agent ist.
Unsere Prompts vom Geschichtenschreiber und vom Titelschreiber haben wir so gemacht: „You make little stories about animals, and you speak German.“ Und danach hier der Prompt: „You make titles for stories, you speak German.“
Das ist sehr wichtig. Beim Supervisor geben wir noch ein paar Informationen an, z. B.: „You start with the Geschichtenschreiber and then pass Titelschreiber.“ Und ich denke, so sollte das Ganze passen. Wir speichern es,.
Und jetzt starten wir: „Deutsche Geschichte von einem Hasen.“ Unser Geschichtenschreiber macht sich auf den Weg. Das Abenteuer beginnt in einem sonnenhellen Wald, wo er sein Zuhause verlässt, und so weiter. Danach geht der Supervisor her und steuert den Titelschreiber. Und ich will das Ganze hier auch so abbrechen. Du siehst, wie das Ganze funktioniert.
Und ja, ich muss gestehen: Diese Open-Source-LLMs sind gerade für Agenten aktuell leider noch nicht perfekt. Open-Source-LLMs sind noch nicht ganz an dem Punkt angekommen, wo wir komplexe Dinge machen können. Aber auch Open-Source-LLMs werden mit der Zeit besser.
Ich bin mir relativ sicher: Sobald du dir den Kurs ansiehst, kannst du auch klitzekleine Modelle laufen lassen, die sehr gut sind. Ein Llama-3-Modell im Q4 funktioniert schon halbwegs gut, wenn du das auf deinem Computer laufen kannst. Das Gemma-9-Billionen-Modell funktioniert auch relativ gut, wenn du das im Q4-Modell laufen lassen kannst. Das Phi3-Modell funktioniert auch recht gut, und das ist sehr, sehr klein. Davon kann man vielleicht sogar ein Float-16-Modell laufen lassen. Das ist das originale Modell. Du musst rumspielen, welches Modell für dich perfekt ist.
Aber wenn du einen richtig starken Computer hast und du kannst ein 70-Billionen-Modell laufen lassen – meinetwegen in Q6 – dann hast du ein starkes Modell. Und das kann eigentlich die allermeisten Dinge machen.
Im nächsten Video sehen wir uns an, wie wir einen komplexen Agenten machen können. Hier muss ich leider dazu sagen, dass ich aktuell noch nicht weiß, ob wir die Dinge gut umsetzen können oder ob wir auf OpenAI-Modelle wechseln müssen. Dennoch will ich diese Dinge natürlich zeigen. Wir sehen uns im nächsten Video.