Werk:AI mit Arnie/Der KI Agent erklärt
Im letzten Video haben wir unseren KI-Agenten erstellt, und in diesem Video werden wir ihn testen. Noch mal eine kleine Übersicht, was wir gebaut haben, und wir werden ihn danach natürlich auch deployen. Das heißt, wo und wie können wir diesen KI-Agenten danach verwenden? Wir sehen uns erst mal ganz, ganz kurz an, was wir gebastelt haben. Wir starten natürlich mit dem Input. Was macht danach der Input? Der Input, der klassifiziert…, oder wird natürlich erstmal klassifiziert durch ein LLM. Die Aufgabe von diesem Feld hier ist es natürlich rauszufinden, ob der Input in die Condition LLM soll, in die Condition Fine-Tuning, oder ob der Agent sagen soll: „Ich weiß es nicht.“
Wenn das LLM entscheidet, dass es durch den LLM-Filter geht, sozusagen, dann wird es danach weitergeleitet durch diesen Input-Prompt. Dieser Input-Prompt wird danach dieses LLM triggern. Dieses LLM durchsucht danach unsere hochgeladenen Files mit dem CSV-Loader. Denn das ist hier eine Excel-Tabelle und spuckt uns säuberlich durch eine Liste unsere Dinge aus, z. B. welches LLM hat wie viele Parameter, wie viele Token und so weiter. Wenn unser erster Experte jedoch entscheidet, dass unsere Fragen eher für das Fine-Tuning bestimmt sind, dann wird es natürlich auch das klassifizieren als Fine-Tuning. Das wird anders weitergeleitet. Das heißt, dieser Input wird danach weitergeleitet, natürlich an unsere Knowledge-Base. Unsere Knowledge-Base wird getriggert und durchsucht von unserem nächsten Experten. Unser nächster Experte hat zusätzlich noch unsere Chat-History, daß wir uns auch ständig weiterhin unterhalten können mit unserem LLM, dass das natürlich alles auch Sinn macht.
Und all diese Antworten, die werden danach natürlich zusammengeschweißt, zusammengeschlossen in dieses Merge-File, und wir bekommen unsere entsprechende Antwort. Das heißt, frage ich etwas zu LLMs, wird das da getriggert, hier oben. Frage ich etwas über das Fine-Tuning, wird das da getriggert, von hier unten. Und dieser Experte entscheidet einfach, welcher unserer zwei anderen Experten weitermacht. Wir haben also im Groben drei verschiedene Experten: einmal ein LLM, das klassifiziert, danach ein LLM, das Experte ist, da es trainiert worden ist an diesem CSV-File, und einen weiteren Experten, der trainiert worden ist an diesen Fine-Tuning-Dateien. Alles zusammen kommt in dieses Merge-File hier, und wir bekommen unseren Output. So funktioniert hier unsere komplette Application.
Und wir haben noch unsere Memory-File mit eingebaut, damit wir uns besser damit unterhalten können. Will man eine solche große Application bauen, braucht man höchstwahrscheinlich ein Abomodell, hier drinnen, ist es unbedingt nötig, bzw. was ist der Vorteil davon? Natürlich, du kannst das ausbauen, so groß du willst. Du kannst hier ganz, ganz viele CSV-Dateien hochladen. Du kannst hier unten weitere Knowledge-Files hochladen. Du kannst natürlich noch weitere Conditions hinzufügen und noch weitere Knowledge-Files hochladen. Das heißt, das Ding, das kannst du aufblähen und so groß machen, wie du willst. Wenn du hier säuberlich arbeitest, dass wirklich dieser Experte eine anständige Klassifizierung machen kann, dann solltest du Outputs bekommen, die wirklich gut sind.
Und eben hiermit kannst du auch das Token-Limit umgehen, weil du eben verschiedene, sozusagen Unterexperten hast für die verschiedenen Dinge, die zu machen sind eben. Es geht nur darum, dass du klassifizierst erst, und danach verwenden unsere Unterexperten unser Wissen. Sonst ist es natürlich problematisch, wenn du ganz einfach 20 Files hochlädst in eine einzige Vektor-Database. Das funktioniert halt nicht. Das musst du dann wirklich mit solchen Agenten machen, mit verschiedenen Experten. Ein Experte ist z. B. für die Parameter da, ein anderes für das Fine-Tuning.
Wenn du das in dein Business einbauen willst, dann könnte das z. B. ein Experte sein für Finanzfragen, ein Experte zu Produktfragen, ein Experte zu Customer Support, also Q&A, Chatbot, und du kannst eben durch diese KI-Agenten die Sachen alle zusammenbringen. Jetzt sehen wir uns an, wie wir das Ding testen können. Und natürlich weißt du das schon: Du kannst hier oben „Run Pipeline“ klicken. Wir gehen auf Chatbot, wir werden den jetzt testen, und danach sehen wir uns natürlich noch an, wie wir hier den ganzen deployen können, bzw. wie wir das Ding einbauen können.
Ich will jetzt was fragen zu LLMs, zu Parametern, ob das immer noch funktioniert. Wie hoch ist das Tokenlimit von GPT-4? GPT-4 hat ein Token-Limit von 8192 Tokens, und das ist richtig, basierend auf unserem hochgeladenen Wissen. Das habe ich dir schon im letzten Video gezeigt, und du siehst jetzt, welche Dinge hier getriggert wurden. Natürlich wurden diese Dinge von hier oben getriggert, und wir bekommen zum Schluss den Output. Das heißt, wir starten hier, danach geht es weiter, es wurde klassifiziert, es wurde klassifiziert als LLM-Experte, es geht hier hoch, das da wurde getriggert, danach wurden die Dinge natürlich durchsucht, alle zusammen, und am Ende bekommen wir wunderhübsch unsere Antwort raus.
Und jetzt will ich was anderes fragen, irgendwas vom Fine-Tuning: Welche Methoden vom Fine-Tuning gibt es? Und wir haben hier die perfekte Antwort. Ich muss das etwas größer machen, denn die Antwort wurde natürlich groß. Die Methoden vom Fine-Tuning von LLMs – es gibt ganz, ganz viele: das Adapter-Tuning, hier haben wir wieder die Abkürzung BEFD, danach das Low-Rank, die Low-Rank-Adaption, also LoRA-Fine-Tuning, das Prompt-Tuning, das Quiz-Awareness-Training, QAT. Und das sind eben diese Methoden. Und diese Methoden haben wir auch gespeichert in unserer Knowledge-Base da unten und wissen natürlich, wie du diesen Chatbot hier deployen kannst, wie du die Dinge integrieren kannst, natürlich.
Du klickst ganz einfach auf „Deploy Changes“. Jetzt ist das Ding gespeichert. Danach gehst du auf diese Einstellungen, bzw. auf den Schraubenschlüssel, wo steht „Deploy as“, „Chatbot“, „Automation“ oder „Search“. Das heißt, wir klicken hier auf „Search“, wenn du den als Search bar haben willst, habe ich dir im letzten Video schon gezeigt, oder auf „Chatbot“, wenn du einen Chatbot haben willst. Und hier machst du ganz, ganz genau die gleichen Schritte wie im letzten Video. Ich werde hier nicht mehr durch alle die Schritte durchgehen, weil du natürlich schon weißt, wie das funktioniert.
Also, das Deploying funktioniert zu 100 % gleich, wie wir im letzten Video bereits gesehen haben. Ich will dir noch etwas zeigen: Hier, wenn wir auf „Deploy as“ gehen und auf „Automation“ klicken, dann öffnet sich das hier. Das heißt, wir können hier komplette Automationen hier bauen, und wir können hier „Select App“ klicken. Man kann das eventuell sogar verbinden mit Gmail, mit Google Sheets, mit Notion, mit Slack, mit vielen verschiedenen Dingen.
Ich muss dazu sagen: Es kann sein, dass Gmail hier die Dinge sogar sperrt. Es macht eventuell nicht richtig viel Sinn, hier deine privaten Dinge zu verbinden. Ja, ich weiß, einige Leute machen das, einige Leute verbinden Gmail mit solchen Automationen und lassen das automatisch ausführen. Das heißt, du kannst solche Dinge triggern, dass deine Mails automatisch beantwortet werden durch solche KI-Agenten.
Persönlich bin ich kein Riesenfreund davon, weil so natürlich diese KI-Agenten in deinen Mails drinnen sind. Natürlich, es wird normalerweise nicht passieren, aber ich zeig dir mal Folgendes: Klicken wir hier auf Gmail und wollen uns mit Gmail anmelden, dann blockiert uns hier Google. Das heißt, „Sign in with Google“, ich wähle das Konto aus, und – diese App ist blockiert. Diese App hat versucht, auf vertrauliche Daten von ihrem Google-Konto zuzugreifen. Zum Schutz deines Kontos haben wir den Zugriff blockiert.
Das heißt, Google ist hier natürlich auch interessiert, die Privatsphäre zu schützen. Wenn das jemand machen will – ich bin kein Experte bei Datenschutz, ich habe hier wirklich keine Ausbildung gemacht, also bei Datenschutz bin ich kein Experte – du kannst das umgehen, wenn du magst. Ich werde das jetzt vielleicht nicht unbedingt zeigen. Meiner Meinung nach macht es mehr Sinn, die Dinge so zu machen, dass du das in eine Webseite einbaust, meinetwegen in WhatsApp, in Slack, wo auch immer. In die privaten Mails würde ich es vielleicht nicht unbedingt reinholen.
Und wenn du es wirklich in die privaten Mails reinholen willst, dann kann man das natürlich mit Zapier-Automationen machen, über ganz, ganz normalen ChatGPT. Das haben wir uns eigentlich schon angesehen. Und ja, man kann natürlich viele Automationen triggern mit verschiedenen Moves. Lass mich wissen, wenn ich in diese Richtung mehr Content einfügen will. Ich will hier aber niemanden erschlagen, denn wir haben jetzt schon viele, viele KI-Agenten bzw. verschiedenste Automationen gebaut hier.
Ich denke, so ein Chatbot insgesamt, das ist fast der sinnvollste Anwendungszweck hierfür. In der Dokumentation von Vector Shift gibt es natürlich die Anleitungen zu all den Tools noch mal, wenn man sich genauer informieren will. Natürlich ist das Tool riesen riesengroß, aber alles ist ganz, ganz, ganz säuberlich beschrieben in der Dokumentation. Gerade hier bei Automations z. B. ist es wirklich einfach, man kann so gut wie alles automatisieren.
Es geht darum, dass man hier durch die Pipelines gewisse Aktionen triggert. Wenn z. B. eine E-Mail etwas triggern würde, dann könnte das von Vector Shift bzw. von einem Bot natürlich automatisch beantwortet werden. Aktuell sind diese Dinge hier mit eingebaut. Ich nehme an, das wird noch ausgeweitet. Und hier erklären sie dir in drei einfachen Schritten, wie du das hier alles verwenden kannst: der erste Schritt hier, danach der zweite Schritt und der dritte Schritt. Sie zeigen dir wirklich alles auch noch Klick für Klick auf. Also, das ist wirklich einfach. Jeder, der in Vector Shift tiefer eintauchen will, es gibt hier, wie gesagt, die ganze Dokumentation. Ich werde das natürlich alles verlinken.
Gerne auch auf Chatbots gehen. Auch bei den Chatbots kann man sich alles ansehen, die ganzen Pipelines, wie man die Dinge kreiert. Sie haben wirklich ganz, ganz viele supergute Tutorials hier auch noch mit eingebaut. Ich denke aber, wenn du startest, so wie ich dir die Dinge gezeigt habe, dann startest du wirklich bei den Dingen, die auch wirklich was bringen. Wenn du das einbauen willst in WhatsApp und du weißt nicht ganz genau wie, dann bekommst du auch hier noch mal die ersten, die ganzen Steps, die du machen musst. Wie gesagt, es sind einfach nur diese paar API-Keys, die man einbauen muss, und danach läuft das Ding.
Also, wir sehen uns im nächsten Video.