Werk:AI mit Arnie/Überblick von einem lokalen Rag ChatBot
Da sind wir also – in Flowise – und wir werden starten, KI-Agenten zu basteln. Und ich will dir zuerst noch zeigen, dass wir auch in Flowise drinnen ähnliche Applications machen können, wie wir schon mit Anything LLM gemacht haben. Anything LLM können wir verbinden mit Ollama und natürlich auch mit LM Studio, und bei Flowise funktioniert das Ganze ähnlich. Ja, bei Flowise könnten wir auch die Modelle von OpenAI und von allen anderen Anbietern mit reinholen – jedoch geht es bei uns natürlich um lokale KI-Agenten.
Also erstmal: Du siehst, bei diesen Chatflows habe ich hier schon relativ viele Flows gemacht, und auch bei diesen Agenten habe ich schon einige Agenten gemacht. Die meisten habe ich hier tatsächlich mit Closed-Source-LLMs gemacht. Das heißt, ich habe die Modelle von OpenAI eingebaut, ab und zu mit Anthropic. Einige sind da auch mit Ollama. Jedoch will ich dir erstmal kurz den Marketplace zeigen.
In diesem Marketplace findest du ganz, ganz viele verschiedene Dinge, und ich habe ja schon ganz, ganz kurz auf das Ding hier geklickt: „Local Q&A“. Ich will dir noch mal kurz zeigen, wie das Ding aufgebaut ist. Denn hier haben wir eigentlich genau das gleiche Ding laufen, wie wir schon in Anything LLM zusammengebastelt haben. Wir haben Ollama, also wenn ich „Use Template“ klicke, zeige ich dir ganz, ganz kurz: Hier, wir haben Ollama und Ollama ist das Modell, das das Llama-Modell natürlich betreibt. In unserem Fall wäre es natürlich Llama 3. Wir haben auch eine Temperatur, die wir einstellen können – Boom! Das heißt, wir haben das LLM. Dazu haben wir hier diese Chain, und diese Chain fügt das Ganze zusammen. Wir haben hier tatsächlich das gleiche Ding gebastelt wie wir in Anything LLM haben, und wir können das komplett vom Marketplace so hernehmen.
Was haben wir hier als Nächstes? Du siehst hier, wir haben das da Textfile, Files, Local AI Embeddings: und diesen Textsplitter. Was ist das alles? Ich werde dir sagen, was das ist. Das Chatmodell siehst du ja hier, ist hier Ollama, und wir haben das verbunden mit dem hier, und das ist eine Vector-Datenbank. Genau das haben wir ja auch in Anything LLM schon mit eingebaut. Danach haben wir hier „Local AI Embeddings“. Das heißt, das sind die Embedding-Modelle. Und auch hierfür haben wir den Localhost laufen, automatisch ausgeführt, hier schon. Danach haben wir hier die Textfiles. Das heißt, klicke ich hier drauf, kann ich Textfiles hochladen. Und wir haben natürlich noch unseren kleinen Textsplitter, um die Chunks zu machen. Und wir könnten sogar noch die Chunk-Overlap eintippen, die wir ja schon mal gehört haben, die in etwa 20 sein könnte.
Das heißt, das Ding hier ist jetzt natürlich ein Chatbot, womit wir lokal mit Ollama und mit unseren hochgeladenen Files sprechen können. Natürlich ist das jetzt nicht das Ziel, das wir in Flowise verfolgen, denn wie gesagt, das haben wir ja schon in Anything LLM gemacht.
Dementsprechend vergessen wir noch mal ganz kurz das Ding. Ich will dir nur zeigen, wie das aufgebaut ist. All diese Felder, die kann man hier verbinden, wieder lösen. Das heißt, diese Dinge sind hier ganz, ganz einfach anzuwenden.
Was für uns jetzt interessant wird, ist: Wir gehen zurück. Ich muss das jetzt nicht speichern. Für uns wird das interessant: die Agent-Flows. Und hier klicken wir einfach mal „Add New“.
Wir haben noch keine wirklich guten Agent-Flows im Marketplace, aber um diese Agent-Flows geht es natürlich im nächsten Video. Denn im nächsten Video starten wir, unseren ersten anständigen KI-Agenten zu bauen.
Worum geht es mir hier genau? Es geht mir hier darum, dass wir hier Ollama verwenden mit unserem lokalen Host und dass wir einige Experten mit reinholen. Das heißt, wir werden zwei, drei LLMs haben, die untereinander kommunizieren. Und dadurch hat sich auch in Studien gezeigt, dass der Output viel, viel besser werden kann. Das heißt, einige verschiedene LLMs, wenn die untereinander kommunizieren, dann wird ihr Output viel, viel besser.
Außerdem kann man komplette Kaskaden triggern. Das heißt, ich kann z. B. sagen: „Hey, durchsuche das Web, schreib einen Artikel, gib mir die Zusammenfassung, und mach noch zwei, drei verschiedene Tweets daraus.“ Und all das werden verschiedene lokale LLMs dann machen, in einer Kaskade, in einem Rutsch durch.
Das sind Dinge, die ChatGPT alleine nicht kann, die Anthropic alleine nicht kann, die kein Closed-Source-LLM alleine kann. Ja, wir können Closed-Source-LLMs auch über API mit reinholen. Jedoch geht es uns jetzt hier darum, die lokalen KI-Agenten maximal auszuschöpfen. Wir werden mehrere lokale LLMs zusammenstöpseln, damit die zusammen einen Task erreichen. Und die werden das so gut wie GPT-4 Omni machen können – vielleicht sogar besser. Vielleicht sogar besser als GPT-5, welches Modell auch immer da ist, sobald du dir den Kurs ansiehst.
Das heißt, im nächsten Video starten wir mit lokalen KI-Agenten.