Werk:AI mit Arnie/KI Agenten mit Function Calling

▶	Kurs AI mit Arnie (KI-Revolution) Open-Source LLMs
📽️	7 KI Agenten mit Function Calling, Internetzugriff und drei Experten (13:30)
🎓	KI Agenten mit Function Calling
Lokale KI-Agenten mit Open-Source LLMs
▲	Unser erster KI Agent
▶	KI Agenten mit Function Calling
▼	Welchen KI Agenten bauen & externes Hosting

Nach unserem ersten Framework, natürlich, den solltest du speichern. Aber nach unserem ersten Framework machen wir den zweiten, und der ist generell ähnlich aufgebaut. Das heißt, wir gehen zurück: Agentfows, „add new“, wir klicken das +.

Wir brauchen wie immer einen Supervisor, wir brauchen Arbeiter, und diesmal will ich drei Arbeiter verwenden. Das heißt, eins, zwei und drei. Du kannst auch hochgehen auf vier oder fünf. Ich muss aber dazu sagen, bei Open-Source-Modellen sind drei, zumindest wie ich das aktuell sehe, so das Maximum, das man machen kann, denn sonst werden die Open-Source-Modelle zu dumm. Ja, das wird sich ändern mit Zeit,

Und ja, wenn du auf deinem lokalen Computer ein 70-Billionen-Parameter-Lama3-Modell laufen lassen kannst, im Q8-Format, dann wird es das Ding wahrscheinlich auch schaffen.

Und später sehen wir uns natürlich auch noch an, wie du GPU-Power ausleihen kannst. Nichtsdestotrotz, ich will das jetzt mit meinem einfachen Llama3 machen, sieben Billionen, und zwar in Q4. Und ich hoffe, dass es schlau genug ist.

Ich verbinde hier erstmal natürlich unseren Supervisor mit den drei Arbeitern. Boom. Das haben wir jetzt gemacht. Danach brauchen wir natürlich wieder das Chatmodell. Und das Chatmodell ist mal wieder, natürlich, Ollama mit Function Calling. Wichtig, habe ich auch erst vorhin wieder gemerkt: Man braucht Function Calling. Das verbinden wir. Der Localhost, der läuft natürlich immer noch, das haben wir ja vorhin schon gesehen. Das heißt, Ollama ist running.

Und jetzt müssen wir natürlich wieder hierher gehen, den modellnen Llama 3. Die Temperatur, die kann ich tatsächlich diesmal auf 0,9 lassen, denn hier haben wir auch etwas kreatives Schreiben mit dabei. Also die Dinge, die ich jetzt machen will, die erfordern auch ein klein wenig Kreativität.

Jetzt sollte unser erster Arbeiter, das sollte sowas werden wie ein Researcher. Das heißt, der wird Zugriff zum Internet haben und das Web durchsuchen. Unser zweiter Arbeiter wird danach einen kreativen Artikel schreiben über die Dinge, die unser erster Arbeiter zusammengetragen hat. Und unser dritter Arbeiter, der wird danach aus diesem Artikel ein paar Tweets machen.

Unser generelles Konzept ist, dass ich einen Social-Media-Agenten haben will. Ich gehe davon aus, dass du zum Beispiel eine Webseite hast, und du willst auf deiner Webseite Artikel veröffentlichen. Da du zusätzlich auch noch auf Twitter bzw. auf X bist, willst du natürlich noch ein paar Tweets raussenden, damit sich Leute eventuell deinen Artikel durchlesen. Natürlich willst du über Dinge schreiben, die aktuell in der Welt passieren, und jetzt will ich dir zeigen, wie wir das eventuell machen könnten.

Das erste, was ich machen will, ist natürlich die Prompts zu schreiben für meine Arbeiter. Das heißt, ich speichere erstmal das Ding und ich nenne das Ding jetzt einfach mal „Content-Maschine“, und ich klicke „Save“. Jetzt gehen wir hier wieder zurück, denn die Content-Maschine müssen wir natürlich mal wieder füttern mit den Dingen, die wir bauen wollen. Das heißt, wir gehen hier natürlich in diese Agent-Flows, Prompts für Agenten. Und jetzt will ich die Prompts schreiben, natürlich, für unseren kleinen KI-Agenten. Ich klicke hier wieder drauf, und wir schreiben hier, was wir haben wollen. Ich kläre den alten Chat. Und wir sollten das möglichst sogar auf Englisch beschreiben.

Und ich mache das Ganze hier in Englisch, weil es etwas besser funktioniert. Falls du Englisch nicht kannst, du kannst es auch mit Deutsch probieren. Unseren Output werden wir natürlich auf Deutsch bekommen, aber ich habe die Erfahrung gemacht, dass gerade beim Prompts-Schreiben englische Prompts besser funktionieren.

Ich sage ihm ganz einfach: Ich will drei Arbeiter. Ein Arbeiter soll das Web durchsuchen, um neue Informationen zu bekommen. Der andere Arbeiter soll einen Blogpost schreiben für Männer, die 30 bis 50 Jahre alt sind. Und der dritte Arbeiter soll fünf Tweets machen von dem vorherigen Artikel. Und der Output soll natürlich in Deutsch sein. Ich schicke das Ganze jetzt los,.

Und jetzt bekommen wir hoffentlich drei Spezialisten, also drei Arbeiter. Und ich bekomme die Prompts und den Namen von diesen Typen, und die können wir danach einfach nur kopieren und einfügen.

Ich eröffne inzwischen natürlich wieder eine leere Textdatei, wo ich die Dinge alle einfügen kann. Und die Agenten sind ein paar Mal hin und her gegangen, um die Dinge besser und besser und besser zu machen. Und das finale Ergebnis ist das da:

Der Agent Nummer 1 nennt sich „Web Researcher“ mit diesem System-Prompt, und er sagt natürlich zum Schluss, dass er den Output in Deutsch machen soll. Der zweite Agent ist der „Content Writer“. Das da ist der System-Prompt, und natürlich auch hier: Der Output soll in Deutsch sein, und es sollen 800 bis 1000 Wörter werden. Der Agent 3: „Social Media Spezialist“. Und auch hier drunter: Die fünf Tweets sollten auf Deutsch sein.

Dementsprechend will ich natürlich diese Dinge alle kopieren. Ich schmeiße das natürlich in eine leere Textdatei hier drüben. Also habe ich das gerade hier reingefügt, damit wir danach besser arbeiten können. Ich lösche das Ganze, kläre, das passt schon so.

Wir gehen zurück bei unseren Agent-Flow, wollen wir natürlich die Content-Maschine haben. Und bei der Content-Maschine werde ich jetzt diese Prompts mit einfügen. Der erste Arbeiter, der nennt sich „Web Researcher“. Ich kopiere die Dinge einfach von hier drüben rüber.

Und der System-Prompt – also ich kann dir das auch zeigen – der System-Prompt ist natürlich das da, bis hier runter. Und es wird auch immer gesagt: „Pass this report to the Content Writer“. Also, nachdem dieser Typ die Aufgabe fertig hat, soll natürlich danach der Content Writer getriggert werden.

Das heißt, ich kopiere das. Wir gehen hier rein. Ich mache das groß, ich lösche das Ding hier raus, ich füge das ein, und ich klicke „Save“. Danach mache ich das Gleiche mit dem zweiten. Der Name ist „Content Writer“. Ich füge den Content Writer hier rein. Der System-Prompt geht bis hier runter. Und bup – ich mache das groß, ich lösche das raus, ich füge das da ein. Und du siehst auch hier wieder ein Deutsch. Es soll in 800 bis 1000 Wörter sein. Und er soll, sobald er fertig hat, den Social Media Spezialisten aktivieren. Ich klicke hier „Save“. Und zum Schluss natürlich noch der Social Media Spezialist. Ich kopiere das, ich füge das hier ein, ich mache das wieder groß, den System-Prompt bis hier runter. bim bim bimm – kopieren. Wir löschen das alte natürlich erstmal raus, fügen das neue ein und klicken „Save“. Jetzt speichere ich das erstmal natürlich.

Aber dir fällt vielleicht etwas auf: Der erste Arbeiter, der sollte natürlich das Internet durchsuchen, und das müssen wir jetzt natürlich machen. Das heißt, er braucht Internetzugriff. Dafür klicke ich hier natürlich das +. Und was brauchen wir? Natürlich, wir brauchen Tools. Und wenn ich auf diese Tools klicke.

Dann siehst du hier vielleicht schon, dass ich ähnliche Tools mit einbauen kann wie in „Anything LLM“. Wir haben die Google Custom Search, wir haben aber auch wieder unsere Serper API. Also da ist das Ding: „Serper API“. Und da wir in der Serper API bereits einen API Key gemacht haben, will ich das Ding verwenden. Das heißt, ich verbinde das Tool natürlich mit dem ersten Arbeiter. Der soll Zugriff zum Internet haben, und wir müssen die Credentials hier einfügen. Und ich hoffe, du weißt noch, wie das geht.

Wir googeln einfach „Serper API Keys“. Wir müssen uns natürlich einloggen in unseren Serper-Account. Hab ich jetzt schon gemacht. Diesen Key, den kann ich jetzt kopieren. Ich kann ihn resetten, was auch immer. Ich einfach mal copy. Ich hoffe, du weißt noch, wie das geht. Eigentlich hätte ich hier sogar schon Credentials. Ich will aber neue erstellen, dass du siehst, wie das geht. Das heißt, „Create new“. Ich nenne das Ganze einfach mal „Serper“. Ich lösche das Ding hier raus, wir fügen die Credentials ein, wir klicken „Add“.

Und jetzt sollte das Ding hier getriggert werden. Das heißt, Llama3, unser lokales Llama, wird hergehen. Danach wird der Supervisor getriggert. Der Supervisor sollte unseren ersten Arbeiter triggern. Der erste Arbeiter sollte das Web durchsuchen für neue Informationen. Der zweite Arbeiter soll diese neuen Informationen hernehmen und einen Artikel schreiben für unsere Webseite, für Männer, die 30 bis 50 Jahre alt sind. Sobald wir den Artikel haben, sollte danach unser Social Media Spezialist hergehen und fünf Tweets davon machen.

Ich will das jetzt einfach mal testen. Das heißt, speichern, natürlich. Wir klicken hier drauf: „Artikel über den aktuellen Bitcoinpreis“. Sagen wir, du hast eine Webseite im Finanzbereich. Du hast gehört, dass Bitcoin gestern etwas nachgegeben hat, und du willst einen Artikel darüber schreiben. Dementsprechend muss natürlich unser Arbeiter erstmal hergehen und rausfinden, wo der Bitcoinpreis steht, dass der gestern etwas gesunken ist oder vorgestern. Danach müssen wir den Artikel schreiben, von den Infos, die der erste Arbeiter zusammengetragen hat. Und danach die Tweets. Und ich schicke das los.

Das kann natürlich ein klein wenig dauern. Also, du siehst, der Supervisor gibt erstmal diese Angabe raus an den Web Researcher. Der Web Researcher hat sofort schon den aktuellen Preis gefunden. Jetzt wird natürlich der Supervisor wieder hergehen, und das Ganze sollte weitergehen.

Ich mache das Ganze mal groß und zeige dir, was passiert ist. Denn dieser KI-Agent ist jetzt ein paar Mal hin und her gegangen. Ich musste den sogar einmal neu starten. Wie gesagt, die Modelle sind natürlich nicht so 100 % akkurat. Ich habe noch mal kurz gefragt: Bitcoinpreis. Also, das ist das Einzige, was ich reingeschrieben habe: Bitcoinpreis. Danach ist der Supervisor hergegangen, und er sagte, dass der aktuelle Bitcoinpreis gefunden werden muss. Der Websearcher hat natürlich das Search Tool verwendet, und er meinte: 61.000 Dollar ist der Bitcoinpreis. Klicke ich hier drauf, dann siehst du auch, dass hier unsere Suche verwendet wurde. Und klicke ich auf mein TradingView, dann sehe ich auch, dass 61.000 Dollar natürlich akkurat ist. Das heißt, die Websuche funktioniert.

Danach hat unser Supervisor einen kleinen Fehler gemacht, denn er sagte tatsächlich zum Social Media Experten, dass wir Posts haben wollen zu Bitcoin. Diese Posts habe ich auch bekommen. Danach ist unserem Experten aber aufgefallen, dass wir erstmal natürlich auch den Content Writer brauchen, bevor wir unsere Posts machen. Dementsprechend gut angepasst – hier hat es automatisch funktioniert: „Ein gesunder Lebensstil für Männer …“ und so weiter. Das heißt, wir bekommen jetzt einen Artikel über Bitcoin, und ich denke, das wurde hier in Verbindung gebracht, tatsächlich mit „gesundem Lebensstil“. Na ja, das passt schon so. Darüber kann man sich streiten. Vielleicht, wenn ich etwas genauer gewesen wäre, als einfach nur „Bitcoinpreis“, dann würde das natürlich etwas besser funktionieren.

Und zum Schluss ist unser Supervisor wieder hergegangen, und wir haben natürlich auch noch unsere Tweets bekommen. Und zum Schluss bekomme ich „finished“ zurück noch mal die Tweets zusammengefasst.

Du siehst, all das funktioniert manchmal besser, manchmal schlechter, je nachdem, welches Modell du reinholst. Das generelle Konzept ist einfach: Ja, man kann mehrere Modelle mit reinholen. Ja, die Modelle können sich gegenseitig triggern und unterhalten. Und ja, diese Modelle werden smarter und smarter und smarter. Und ich denke, KI-Agenten sind das nächste große Ding, sobald die Modelle nur noch etwas schlauer werden, besonders die Open-Source-Modelle. Funktioniert das Ganze natürlich viel, viel, viel besser.

Wenn du hier ChatGPT-4 Omni mit einklickst, mit einem API Key, dann funktioniert das natürlich auch noch ein klein wenig besser. Aber das generelle Konzept ist wahnsinnig, wahnsinnig praktisch.

Versuch dir einfach mal an einen solchen KI-Agenten zu basteln. Denn du kannst hier tatsächlich lokal etwas bauen, das aus zwei, drei Wörtern deine gesamte Content-Strategie überarbeiten könnte. Ein Arbeiter kann zum Beispiel Research machen, zu welchem Thema du auch immer willst. Der nächste kann einen Blogpost machen, der nächste kann Tweets machen, wieder der nächste könnte zum Beispiel ein YouTube-Skript machen oder einen Instagram-Post oder was auch immer. Und diese ganzen KI-Agenten, die arbeiten hier alle zusammen mit einem einzelnen Befehl. Und ich denke, das ist natürlich richtig, richtig praktisch für uns.

Also, in dem Sinne, bitte bastel ein klein wenig rum mit diesen KI-Agenten. Wie gesagt, es gibt viele, viele weitere Frameworks. Aber in Flowwise funktioniert das am einfachsten, meiner Meinung nach sogar am besten. Ja, wir haben CrewAI, wir haben AgencySwarm, wir haben Autogen, wir haben viele, viele mehr. Aber ich denke wirklich, mit Flowwise haben wir das einfachste Tool, das gleichzeitig sogar noch am besten funktioniert. Also teste die Dinge auf alle Fälle aus. Ich denke, das ist der nächste große Schritt nach vorne, wenn wir über KI-Agenten sprechen – tatsächlich. Wir sehen uns im nächsten Video.