Werk:AI mit Arnie/KI Agenten - Definition & verfügbare Tools
- LLMs meistern: 📽️ "AKIR/KI Agenten: Definition & verfügbare Tools"
- Open-Source LLMs: "AKIR/KI Agenten, Definition und verfügbare Tools"
- eingerückt die Kürzungen
In dieser Sektion geht es darum, wie wir sogenannte KI-Agenten bauen können. Damit wir KI-Agenten bauen können, müssen wir im Optimalfall erstmal wissen, was KI-Agenten sind. Das werden wir in diesem Video natürlich klären, und ich will dir auch die effektivsten Tools kurz vorstellen. Ich will einen breiten Überblick geben zu den Tools, die wir verwenden können, könnten tatsächlich. Ich kann nicht jedes Tool vorstellen, denn es gibt so viele – wirklich unglaublich viele Tools. Die allermeisten funktionieren relativ ähnlich. Welches Tool du verwendest, liegt im Endeffekt bei dir. Einige davon können wir komplett gratis verwenden, andere sind nicht gratis. Bei einigen haben wir Open-Source-Anwendungen, können sogar Open-Source-LLMs einbauen. Bei anderen können wir Open Source kombinieren mit Closed-Source-LLMs. Und wir können natürlich auch alles hinter einem einzigen Service machen. Ich werde dir einfach ein paar Dinge vorstellen, die hier funktionieren könnten.
Also, erstmal: Was sind KI-Agenten? Und welche Dinge gibt es? Um rauszufinden, was KI-Agenten sind, gibt es einen guten Artikel auf Botpress. Wir gehen hier mal runter. Also, "What are AI Agents" steht schon hier mal, und Botpress hat das Ganze relativ einfach beschrieben. Es geht einfach darum, dass man einen kleinen Gehilfen hat, der Aktions machen kann, beziehungsweise einen spezifischen Task mit einem bestimmten Ziel. Sie können sowohl Software sein, aber auch in der realen Welt da sein, und wir können Algorithmen oder Modelle verwenden.
Es gibt ganz, ganz viele verschiedene KI-Agenten, und zwar in der Robotik, im Gaming, als virtuelle Assistenten, selbstfahrende Autos tatsächlich, und vieles, vieles mehr. Das generelle Konzept ist dahinter NLP – das ist Natural Language Processing. Damit kann man natürlich Anwendungen bauen, wie z. B. Chatbots, Übersetzer, Sentimentanalysen, Zusammenfasser und vieles, vieles mehr. Die ganzen Komponenten dieser Agenten dienen einfach dazu, dass danach Tasks automatisch ausgeführt werden.
Diese Agenten haben verschiedene Funktionen, und die reiht man am besten aneinander. Wenn man z. B. einen Customer-Service-Chatbot hat, dann hat man eine User-Message, die Informationen, die Location, die Chat-Historie. Und der Agent könnte eventuell auch die Emotionen vom User verstehen.
Wir können verschiedene APIs integrieren, wir können uns Notifications schicken lassen und vieles mehr. Generell hat man meistens auch eine Knowledge Base, ganz genauso, wie natürlich auch ChatGPT an einer Knowledge Base trainiert werden kann – mit dieser sogenannten RAG-Technologie. Das kennst du mittlerweile ja schon.
Natürlich gibt es verschiedene Typen von KI-Agenten. Es gibt die simplen, die einfach nur ein paar vordefinierte Aktionen und Regeln haben. Es gibt modellbasierende, utilitybasierende. Es gibt aber auch Dinge, die selbst ein klein wenig lernen. Und hier noch ein paar Beispiele.
KI-Agenten sind sogar autonomes Fahren. Im autonomen Fahren ist hier Tesla ein Unternehmen, das relativ weit vorne ist. Man kann sich hier natürlich tief einlesen, wenn man möchte. Ich muss aber jetzt schon dazu sagen: Es ist für uns natürlich unmöglich, einen KI-Agenten zu erschaffen, der autonomes Fahren hier zeigt. Das ist tatsächlich aktuell sogar für Tesla noch zu schwierig. Und das zeigt uns, wie früh wir hier bei diesen KI-Agenten noch sind.
Es gibt auch virtuelle Assistenten. Die sind im Gaming, bei Gesundheit, in der Finanzindustrie und natürlich auch im Customer Service hier vorhanden. Der bekannteste Algorithmus im Gaming, beziehungsweise KI-Agent im Gaming, ist Voyager Digital. Das ist hier tatsächlich ein KI-Agent, erstellt von NVIDIA. Und dieser schafft es, autonom Minecraft zu spielen. Dieser KI-Agent spielt ganz einfach Minecraft. Im Hintergrund läuft ein LLM, z. B. ChatGPT, beziehungsweise GPT-4 in diesem Beispiel, und GPT-4 schreibt einfach nur Reward-Code, wenn dieser Agent was richtig macht. Und so lernt dieser Agent selbstständig weiter. Er hat nur das generelle Ziel, besser zu werden in Minecraft. Und ChatGPT belohnt diesen Agenten, wenn er Dinge richtig macht. Und dadurch lernt dieser Agent selbstständig, gut zu spielen. Das heißt, er bekommt nur die Aufgabe: "Hey, sammle mal Dinge ein hier in Minecraft. Du solltest sehr gut werden." ChatGPT schreibt den Reward-Code für diesen KI-Agenten, und so bekommen wir eine Selbstverbesserung.
- Das haben wir uns generell schonmal angesehen im Kurs. Das Konzept ist hier immer das gleiche.
Und hier ist das gesamte NVIDIA-Team tätig. Dr. Jim Fan – das ist hier wirklich ein Entwickler, der es in sich hat. Den sollte man auch auf Twitter beziehungsweise X folgen. Das könnte natürlich auch so laufen, wie wir es schon gesehen haben bei Microsoft CoPilot, dass wir hier unseren kleinen KI-Agenten zur Seite haben, der einfach nur uns unterstützt – beim Minecraft-Spielen. Also auch das wäre ein KI-Agent. Dieser KI-Agent macht Fotos, und das LLM antwortet automatisch im Hintergrund. Und natürlich schlägt uns das LLM danach vor, was man eventuell machen könnte. Das ist auch eine Form von KI-Agent, der mit Gaming zusammenhängt.
In der Gesundheitsbranche können sie natürlich mit Diagnosen helfen und vieles, vieles mehr. ChatGPT Vision wird z. B. verwendet, um Röntgenbilder zu analysieren. In den Finanzen kann man diese Dinge natürlich verwenden, um z. B. einen Trading-Bot zu machen, Risikoassessments zu machen und vieles mehr. Und im Customer Service sind sie natürlich perfekt für Chatbots. Smarte Homes sind natürlich auch toll, und Robotik, wie z. B. der Tesla-Bot – das haben wir uns ja schon mal kurz angesehen.
Zusätzlich natürlich noch Recommendation Systems, also Vorschlagssysteme, in der Cyber-Security und ganz, ganz groß in der Bildung. Man kann natürlich auch einen Chatbot machen, der für die Bildung ganz gut ist. Ich habe z. B. mal einen Chatbot entworfen, der für einen Typen war, der selbst ein Online-Bildungsunternehmen hat. Und dann hat er rechts unten im Eck einen kleinen Chatbot, der ganz einfach die Kurse, die er hat, zusammenfassen kann. Und natürlich auch in der Logistik sind solche Dinge vielleicht von Vorteil.
Die Zukunft davon ist natürlich, dass all das zu einem operativen System wird. Das heißt, dass das Large Language Model das generelle operative System von gesamten Computern werden kann – eventuell in der Zukunft. Da sind wir aktuell leider noch nicht angekommen.
Und wie kreiert man solche Chatbots? Das werden wir uns natürlich über die nächsten Lektionen genauer ansehen. Denn wir haben ganz, ganz viele verschiedene Möglichkeiten.
Als erstes braucht man irgendein Tool. Ein Tool ist z. B. Botpress. Man installiert das Tool, man erstellt ein Template. Danach muss man den Template natürlich so einrichten, wie er für uns perfekt ist. Und zum Schluss geht es ins Deployment. Das heißt, einen solchen Chatbot, den kann man einbauen, z. B. in eine Webseite oder wo auch immer. Und zum Schluss kann man ihn natürlich immer noch besser machen. Man verwendet hier die RAG-Technologie und vieles, vieles mehr. Das heißt, bei diesen KI-Agenten kann man viele Dinge kombinieren. Auch Function Calling machen und verschiedenste Tools einbauen mit verschiedensten APIs. Man kann hier ganz, ganz ganz viele Dinge kombinieren, tatsächlich.
Hier zeigen sie uns noch ein wenig, wie man Botpress verwendet. Ich will dir aber sagen: Es gibt nicht nur Botpress. Ja, Botpress ist eine gute Webseite. Mit Botpress kann man solche KI-Agenten erstellen. Und das ist ein solches Drag-and-Drop-Tool. Funktioniert relativ gut, ist nicht ganz billig.
Neben Botpress haben wir Voiceflow. Voiceflow macht im Groben etwas sehr, sehr Ähnliches. Ich denke, Voiceflow ist ein klein wenig einfacher zu verwenden. Ich würde fast Voiceflow Botpress vorziehen, um ehrlich zu sein.
Daneben haben wir auch noch Vector Shift. Vector Shift macht auch etwas ziemlich Ähnliches. Meiner Meinung nach ist es in der Benützung noch etwas freundlicher, und die Outputs sind auch mindestens genauso gut, wenn nicht sogar besser. Und wir haben die Möglichkeit, auf ganz, ganz viele verschiedene Tools zuzugreifen. Auch Open-Source-Tools sind hier kein Problem. Wir können auch Llama verbinden und vieles, vieles mehr. Daneben haben wir StackAI. StackAI macht etwas ziemlich Ähnliches. Ich bin jedoch der Meinung, StackAI muss man nicht unbedingt verwenden, auch wenn es einige Leute auf Social Media immer wieder bewerben. Ich glaube, sie zahlen gute Kommissionen. Ich will hier aber nicht in diese Richtung gehen.
Dann haben wir Langflow. Langflow ist super, super cool, weil Langflow auch Open Source ist. Das heißt, wir können das auch von GitHub direkt verwenden, und es hat ein ganz ganz, ganz ähnliches Interface wie Vector Shift und Botpress und Voiceflow. Aber es ist Open Source, und es funktioniert wirklich sehr, sehr gut. Jedoch, wenn es Open Source ist, dann ist es natürlich nicht ganz so einfach zu verwenden. Das heißt, funktioniert gut, ein klein wenig schwieriger zu verwenden als die anderen Tools.
Dann haben wir Flowise. Flowise ist meiner Meinung nach eine der besten Plattformen überhaupt. Flowise ist eine wirklich, wirklich gute Plattform. Flowise ist komplett Open Source, und man kann so gut wie alles einbauen. Und auch die Verwendung ist erstaunlicherweise richtig, richtig einfach. Wir können wirklich einbauen, was wir wollen. Wir können LangChain mit reinholen, wir können AWS mit reinholen, wir können Open-Source-Modelle reinholen – was auch immer wir wollen – und können komplette Agenten bauen, mit Function Calling und vielem, vielem mehr.
Ein weiteres Tool, das schon ganz, ganz lange die Runde macht ist da – Autogen. Autogen kommt von Microsoft und ist tatsächlich komplett Open Source. Hier geht es im Groben auch darum, dass man mehrere LLMs zusammenschließt hier sozusagen und dass man verschiedene Experten hat für verschiedene Dinge hat. Autogen ist auch einfacher zu verwenden, als man denkt. Man fügt einfach ein paar API-Keys ein, meistens von OpenAI, und man bekommt danach immer noch richtig, richtig gute Outputs.
- Autogen werden wir uns eventuell auch noch ansehen, falls es den ein oder anderen interessiert. Ich hab oft miterlebt, dass Autogen nicht so ganz gut ankommt bei den allermeisten. Also wie gesagt, lasst mich wissen, wenn ich auch dazu mehr einfügen soll.
Und etwas, das es auch noch gibt, ist Crew AI. Crew AI gibt es noch gar nicht so lange, und es ist speziell für KI-Agenten für Real Use Cases hier sozusagen gemacht worden.
- Auch Crew AI kann ich natürlich genauer vorstellen. Das wird auch auf YouTube von einigen Leuten behandelt. Ich glaube, die zahlen auch gute Kommissionen und machen Sponsoren. Also, ich bin mir nicht ganz sicher, ob Crew AI nur durch das Marketing da ist oder weil es so gut ist. Aber ich will es dennoch anmerken, dass es auch dieses Tool gibt.
Und ganz zum Schluss will ich noch das hier zeigen: das da ist Agency Swarm. Das ist ein Projekt von diesem Typen hier – ich glaube, der hat auch einen YouTube-Kanal. Das Projekt hat mir auch ganz gut gefallen. Ja, ich denke, das ist dieser YouTuber tatsächlich.
Ich muss hier dazu sagen: Dieses Projekt ist sehr, sehr komplex – zumindest für mich fast schon zu komplex zum Umsetzen. Aber hier drinnen hätte man theoretisch die meisten Möglichkeiten, die Dinge so anzupassen, wie man es gerne hätte. Ich habe mit diesem Projekt wirklich eine Weile rumgespielt. Ich bin ganz, ganz oft in Fehler reingelaufen. Deshalb will ich sagen: Für jeden, der richtig, richtig fit im Programmieren ist, der kann sich das Projekt selbst ansehen. Ich werde bis jetzt noch keine Tutorials hier einbauen. Vielleicht kommen in Zukunft Tutorials dazu, sobald ich mir auch sicher bin, dass ich mit diesem Tool richtig, richtig gut umgehen kann.
Also, in diesem Video haben wir gelernt, was KI-Agenten sind. Es gibt wahnsinnig viele – vom Chatbot über autonome Roboter, autonome Fahrzeuge und vieles, vieles mehr. Und es gibt sie für die verschiedensten Anwendungszwecke. So breit die Anwendungszwecke sind, so breit sind auch die Tools, die man verwenden kann. Und es gibt auch wahnsinnig viele Beispiele von solchen KI-Agenten: Voyager Digital ist ein KI-Agent, der autonom Minecraft spielt. FSD von Tesla ist das autonome Fahren von Tesla – das Projekt, wo sie versuchen, dass uns Autos automatisch in der Gegend herumkutschieren.
Daneben haben wir Dinge wie den CoPiloten, der läuft lokal auf einer NPU, der macht Screenshots und kann uns beraten. Auch das kann man als KI-Agenten sehen. Und diese Dinge sind natürlich etwas komplex zu bauen. Also, wir werden kein Auto programmieren, das uns durch die Gegend chauffieren kann – das ist natürlich zu komplex. Das kriegt noch nicht mal Tesla hin. Wir werden uns wirklich auf Anwendungen fokussieren, die uns helfen, spezifische Aufgaben auszuführen.
Generell kann man sagen: Ein solcher GPT, den man gebaut hat – auch das ist schon ein KI-Agent. Man kann einen GPT ja anpassen, im normalen ChatGPT-Interface, damit er uns hilft, unsere spezifischen E-Mails immer wieder und wieder zu beantworten.
Ich bin jedoch der Meinung, das sind noch nicht ganz KI-Agenten, auch wenn einige sagen, dass das bereits KI-Agenten sind.
Ich denke, ein KI-Agent, den sollte man bauen mit einer dieser Webseiten – Botpress, Vector Shift, Flowise, was auch immer. Und meiner Meinung nach sollte man ihn auch irgendwo integrieren können, z. B. in eine Webseite. Dieses Ding kann dann ganz einfach verschiedenste Sachen ausführen, z. B. Function Calling. Es sollte RAG integriert haben und wirklich einige Dinge für uns umsetzen können.
Und darum geht es natürlich im nächsten Video: Wir werden Open-Source-Projekte verwenden, sodass du wirklich mal starten kannst – komplett gratis, ohne jegliches Vorwissen, mit einem Open-Source-LLM.
- Da muss ich jedoch sofort dazu sagen: Man sollte Closed-Source-LLMs verwenden, wenn man die besten Outputs haben will. Das heißt, die Dinge von OpenAI, die sind erstens am einfachsten zu verwenden und zweitens immer noch am besten. Also, will man hier etwas richtig, richtig Solides haben, sollte man das tun. Was jedoch nicht heißt, dass Open Source nicht auch gut sein kann, da wir Dinge sogar lokal laufen lassen können. Und diese Dinge – wie gesagt – sehen wir uns über die nächsten Videos an.
Also, wir sehen uns natürlich im nächsten Video, wo wir sofort in die Praxis starten.
Und etwas Zusätzliches, das man bei KI-Agenten noch einfügen könnte, ist, dass das generelle Grundkonzept auch ist, daß man mehrere LLMs, mehrere Experten, für spezifische Subnischen zusammenzuführen kann – zusammenführen sollte.
Meiner Meinung nach ist ein einfacher, normaler Chatbot mit einem LLM noch nicht wirklich ein KI-Agent. Auch wenn wir RAG mit einbauen, auch wenn wir Function Calling mit einbauen, und auch wenn wir hier mehrere Dinge mit einbauen, ist es meiner Meinung nach erst ein richtiger KI-Agent, wenn wir mehrere Subexperten erstellen, die eben spezifische Tasks übernehmen. Dann ist es ein wahrer KI-Agent – zumindest meiner Meinung nach.