Werk:AI mit Arnie/Das Flowise Interface
- LLMs meistern
- Open-Source LLMs
- eingerück gekürzt
- KI-Agenten (AKIR-Kurs): 📽️ 4 Das Flowise Interface, Langchain leicht gemacht (12:32)
In diesem Video sehen wir uns das Interface von Flowise an, damit du weißt, was man so generell erstellen kann. Erstmal startet alles hier. Wir haben natürlich Node immer noch offen, denn wenn du das schließt, ist das Ding weg. Du bekommst hier die gesamte Dokumentation ausgetippt, was du hier gerade machst – natürlich.
Das erste Feld hier oben ist natürlich „Chatflows“. Bei Chatflows sind die Dinge gespeichert, die du schon angelegt hast. Wenn du ganz, ganz viele Chatflows hast, dann kannst du hier danach suchen. Und bei „add new“ kannst du einen Neuen erstellen. Falls Flowise bei dir so aussieht, dann bist du natürlich im hellen Modus. Ich mag den Dark Mode immer viel, viel lieber.
Als Nächstes haben wir die „Agent Flows“. Die Agent Flows sind aktuell, zumindest bei mir, in einer Beta. Wir sehen uns danach an, wie wir KI-Agenten machen können.
Dann haben wir den „Marketplace“. Im Marketplace findest du die ganzen Dinge, die viele Leute andauernd verwenden. Wir haben z. B. ganz, ganz viele Dinge, die populär sind – lokalen Q&A Chatbot. Hierauf könnten wir z. B. klicken.
Wir haben hier diesen Flow. Das heißt, hier drinnen können wir danach ganz, ganz einfach arbeiten. Wir klicken hier „Use Template“. Jetzt können wir die Dinge umherziehen, so wie wir eben mögen. Wir können auch Dinge verschieden löschen, natürlich. Hier würden wir jetzt mit OLlama arbeiten. Du siehst, man kann ganz, ganz viele Dinge hier einfügen.
Hier drüben kann man auch immer auf „Plus“ gehen, und du siehst: Man kann wirklich wahnsinnig viele Dinge mit einfügen. LangChain haben wir hier. Wir haben den Llama Index. Unter LangChain arbeiten natürlich die allermeisten coolen Dinge. Beim Llama Index arbeitet man mit den lokalen Dingen.
Wir haben hier „Agents“. Das heißt, wir haben Dinge wie AutoGPT, BabyAGI, Conversational Agent, CSV Agent, OpenAI Assistant, OpenAI Function Agent, React Agent, Tool Agent. Du siehst, wir haben ganz, ganz viele verschiedene sogenannte KI-Agenten als komplette Workflows. Dann haben wir „Cage“ natürlich, wir haben die ganzen „Chains“. Welche Chatmodelle können wir verwenden? Also über welche API? Natürlich, wir können auch HuggingFace einbauen, Ollama, wie du hier sehen kannst.
Wir haben die „Document Loaders“. Also, womit durchsuchen wir unsere Dokumente? Wir können alle Dinge einzeln einbauen. Wir haben die „Embedding Models“, natürlich die verschiedenen LLMs. Wir können natürlich auch verschiedene LLMs verwenden. Danach, für die „Memory“, haben wir verschiedene Dinge. Du siehst, wir werden uns die Dinge natürlich alle noch besser ansehen danach. Bei den „Textsplittern“ weißt du natürlich auch, wie das mittlerweile funktioniert. Wir können natürlich kleine Chunks machen von unseren Texten und vieles mehr.
Sobald ein Workflow steht, kannst du den natürlich speichern. Dafür klickt man einfach hier oben, und wir müssen dem Ganzen einen Namen geben. Natürlich, ich mache hier einfach mal „Kurs“, und wir klicken jetzt „Save“. Jetzt ist das Ding gespeichert. Und wenn ich hier jetzt zurückgehe und auf „Chatflows“ gehe, dann siehst du hier unten das Ding, das sich „Kurs“ nennt.
Wie gesagt, in diesem Marketplace findest du ganz, ganz, ganz viele verschiedene Flows. OpenAI Agent. Das heißt, du siehst: Wir können diese ganzen Agenten auch hier erstellen. Wir können sogar einen „Stockmover“ hier erstellen.
- Autogen, darüber haben wir natürlich auch schon gesprochen.
Autogen und BabyAGI – das sind hier tatsächlich zwei Projekte, die sozusagen die ersten richtigen Agenten waren, die es schon etwas länger gibt.
Daneben haben wir natürlich noch die „Tools“. Über die sprechen wir noch die „Assistants“
- – ich bin der Meinung, diese Assistants sind fast das Nützlichste hier in Flowise. Weil es ist mit den Assistants unglaublich einfach, Function Calling zu machen und gleichzeitig auch Agenten zu bauen.
Danach haben wir die „Credentials“. Das heißt, wir können verschiedene Credentials mit reinholen, z. B. HuggingFace. Hier sind die Dinge von OpenAI. Die meisten Dinge sind hier bei mir schon weg. Ich hatte hier auch die Serper API mit drinnen und vieles, vieles mehr, da ich tatsächlich ein neues Flowise hier gestartet habe neulich.
Danach haben wir die „Variablen“. Wir haben natürlich auch die API-Keys. Wir können über die Flowise API natürlich dieses Tool überall einbauen. Und wir haben danach unsere verschiedenen Dokumente, wenn wir die hier hochladen wollen.
Wie gesagt, alles läuft lokal. Das heißt, dieser Server ist sicher.
In diesem Video haben wir uns einfach nur das Interface von Flowise angesehen. Du weißt, wie es ungefähr aufgebaut ist, und im nächsten Video starten wir schon sofort mit unserem ersten Projekt.
- Das funktioniert jetzt relativ ähnlich wie in VectorShift. Deshalb werden wir hier natürlich ein klein wenig schneller arbeiten jetzt.
KI-Agenten (AKIR-Kurs)
Flow installiert – Glückwunsch! Und es tut mir leid, es ist wahnsinnig warm in meiner Wohnung, also muss ich in diesem Shirt hier sitzen.
Wir sehen uns an, wie das Interface von Flowise aussieht, sobald du dich eingeloggt hast über Node.js. Also erinnere dich bitte: Du solltest dieses Ding hier nicht schließen, da sonst das Zeug weggeht. Also, Node.js lassen wir offen. Du kannst es natürlich minimieren.
Sobald du das das erste Mal offen hast, musst du dich entscheiden, ob du den normalen Modus haben willst oder den Dark Mode. Ich empfehle dir stark, den Dark Mode zu verwenden – zumindest ist das, was ich mag.
Daneben hast du diese Einstellungen. Wenn du hier drauf klickst, kannst du auf „About Flowise“ klicken. Und du siehst, welche Version du hier laufen hast. Dementsprechend weißt du sofort, ob du up-to-date bist oder nicht.
Wenn wir rüber schwenken auf die linke Seite, hast du das da. Und hiermit kannst du die Sidebar aufmachen oder zumachen.
Auf der unteren Seite geht es dann los: Chatflows, Agent Flows, Marketplace, Tools, Assistenten, Credentials, Variablen, API-Keys und die Document Stores.
Wir starten mal bei diesen Chatflows. Das sind die normalen Chatflows. Und du siehst, ich habe hier einige Chatflows auf meiner lokalen Node-Instanz laufen. Wie gesagt, das sind die Dinge, die ich lokal habe. Auf Render habe ich weitere BS hier laufen.
Und du hast natürlich auch eine Suche. Du kannst hier natürlich eingeben, was du willst. Wenn du z. B. „Open“ eingibst, dann siehst du hier diesen Open-Agenten. Diese Dinge sind natürlich so benannt, wie du sie benannt hast.
Du kannst auch die Ansicht wechseln. Wenn du lieber eine Liste hast, kannst du das auch machen. Und hier siehst du sofort, welche Dinge du eingebaut hast.
Du wirst danach sehen, dass wir verschiedenste Nodes haben. Und dieser Bot hat z. B. eine Ollama-Node und vieles mehr. Aber ich mag diese Ansicht relativ gerne, denn hier sehen wir die Dinge. Auch dieser Test hat z. B. ein OpenAI-Modell, einen Taschenrechner und die Server-API.
Wenn du „Add New“ klickst, dann landest du in diesem Interface hier drinnen können wir aber leider noch keine Agenten machen. Deshalb gehen wir nochmal zurück. Wenn wir Agenten machen wollen, dann brauchen wir Agent Flows. Und mit diesen Agent Flows hier können wir wirklich viele Dinge machen. Auch hier können wir „New“ klicken. Ich zeig dir danach, wie das genau aussieht, sobald wir Agents machen.
Als Nächstes will ich dir den Marketplace zeigen. Denn auch im Marketplace findest du viele interessante Dinge, die du sofort verwenden kannst. Du findest z. B. Dinge wie „API-Agent“. Ich muss dazu sagen, das ist kein Agent, so wie wir ihn kennen. Hier sind nicht mehrere LLMs zusammen.
Ein Agent-Framework, den wir schon mal gehört haben, ist AutoGPT. Und auch BabyAGI ist ein Agent-Framework. Wenn du z. B. auf AutoGPT drauf klickst, dann landest du ganz genau hier drinnen. Hier haben wir die AutoGPT-Node. Du siehst, wir haben hier verschiedene Nodes.
Wenn wir jetzt „Use Template“ klicken, dann haben wir hier die Auto-GPT-Node.
Pinecode – das ist eine Vektor-Datenbank, die Open-Embeddings-Modelle. Du weißt natürlich, was Embeddings und Vektor-Datenbanken sind.
Die Serper-API, das ist dafür da, um Internetzugriff zu geben.
„Read File“ ist natürlich dazu da, um z. B. Textdateien hochzuladen und die Technologie sozusagen zu trainieren.
„Write File“, wenn wir irgendwas speichern wollen – lokal.
Und danach das Chat-Modell. Das kommt aktuell von OpenAI.
Und hier, die Konzepte sind relativ einfach: Überall, wo Sternchen sind, musst du was einfügen. Das heißt, du brauchst OpenAI-Credentials. Hier müsste dein OpenAI API-Key rein. Sehen wir uns noch genau an.
Danach natürlich noch das Modell. Du kannst natürlich GPT-4 Omni verwenden, z. B.
Die Temperatur. Ich will ganz kurz sagen, was die Temperatur ist. Generell kannst du sagen: Je höher die Temperatur, umso kreativer die Modelle. Je niedriger die Temperatur, umso weniger kreativ. Ich würde dir raten, mit Werten von 0,2 bis 1,5 zu spielen. 0,2, wenn das Ding sehr akkurat sein soll. 1,5, wenn es sehr, sehr kreativ schreiben soll.
Wir wollen uns jetzt aber nicht sofort mit der Auto-GPT befassen.* Das war hier natürlich nur ein Beispiel, wie die Dinge funktionieren. Und wenn du z. B. denkst, dass ein solches Ding gut ist, dass es funktioniert, dann kannst du auf „Speichern“ klicken und du gibst dem Ganzen einen Namen. Z. B. „Autogen“*. Wir klicken „Save“. Jetzt haben wir das gespeichert. Dementsprechend, wenn wir zurückgehen, dann finden wir natürlich unsere Autogen-Node hier. Und du siehst, die ist nicht gespeichert bei den Agent Flows, da die besonders sind. Und wir konzentrieren uns natürlich darauf.
*Versprecher: „Autogen“
Aber im Marketplace kannst du viele verschiedene Agenten sonst noch finden. Und die sehen wir uns natürlich noch genau an über die nächsten Videos.
Danach haben wir die Tools. Und die Tools sind praktisch, die werden wir erst noch richtig kennenlernen. Diese Assistenten, die sind auch gut. Das sind aber auch keine wirklichen Agenten. Das sind Assistenten. Aber wie gesagt, ich muss dazu sagen: Diese Assistenten sind auch praktisch. Wir haben auch noch die Credentials. Das sind einfach API-Keys von anderen APIs. Oder die Serper-API hier, die OpenAPI, HuggingFace und so weiter, tatsächlich.
Danach die Variablen, die sehen wir uns auch noch etwas genauer an.
Die API-Keys – also wir können natürlich auch Keys erstellen für Flowise. Und danach noch Document Stores. Das heißt, wenn du Dokumente in Flowise speichern willst, dann kannst du das natürlich auch machen. Wie gesagt, das läuft ja lokal auf deinem Host, weil wir natürlich einen lokalen Server laufen haben über Node.js.
Im Groben war das schon das Interface. Aber wir sollten noch auf diese Agent Flows gehen. Denn hier hast du keine Bibliothek, sondern du musst auf „Add New“ klicken. Und danach sind wir in einer komplett neuen Umgebung. Und hier müssen wir jetzt „+“ klicken.
Auch hier ist das Interface sehr übersichtlich aufgebaut. Wir bekommen diese ganzen Nodes, die wir reinziehen sollen, bzw. reinziehen können.
Wir haben erstmal den Cache. Wenn du auf den Cache draufklickst, dann bekommst du mehrere Dinge vorgeschlagen: „In Memory Cache“, „In Memory and Adding Cache“ und so weiter.
Als Nächstes haben wir die Chains: „Get API Chain“, „Post API Chain“, „LLM Chain“, „Vector Database“ „Q&A Chain“. Das heißt, wir können auch gesamte Chains verwenden.
Dann haben wir die Chat-Modelle. Das ist, um ehrlich zu sein, etwas vom Wichtigsten. Die Chat-Modelle musst du dir unbedingt merken. Die werden wir danach brauchen. Und hier siehst du, kannst du verschiedenste Chat-Modelle verwenden. Willst du z. B. das Anthropic-Modell haben, kannst du ChatAnthropic verwenden. Willst du Google-Modelle haben, findest du hier Google-Modelle. Willst du Dinge von HuggingFace haben, kannst du die Dinge von HuggingFace verwenden. Mit Olama kannst du lokal Llama-Modelle verwenden. Sehen wir uns danach auch noch an. Und willst du z. B. OpenAI haben, dann können wir natürlich auch die OpenAI-Node reinschmeißen.
Als Nächstes wieder „+“. Wir scrollen etwas runter. Denn unter den Chat-Modellen geht es natürlich noch weiter.
Wir haben Document Loaders. Und diese Document Loaders, die brauchst du, wenn du z. B. einen RAG-Chatbot bauen willst. Das heißt, du kannst hier APIs verknüpfen. Du kannst aber auch CSV-Files hochladen, andere Dokumente, Dinge von GitHub, JSON-Files, PDFs und vieles mehr.
Das heißt, du könntest hier z. B. diese PDF-Node reinziehen. Und diese PDF-Node können wir danach verwenden. Natürlich machen wir das danach Schritt für Schritt. Wie gesagt, es geht hier aktuell nur ums Interface.
Danach gehen wir wieder weiter runter. Und danach sehen wir die Embeddings. Das heißt, brauchst du Embedding-Modelle, dann kannst du auch die verwenden. Du kannst die Open-Embeddings verwenden. Die findest du hier. Du kannst Ollama Embeddings verwenden, wenn du ein lokales LLM hast, und vieles mehr. Mach dir keine Sorgen. Wir machen das alles Klick für Klick, danach.
Zum Schluss, haben wir hier noch die LLMs. Auch hier kannst du natürlich verwenden, was dir gefällt.
Die Moderations – hier hast du aktuell nur zwei Dinge, die du verwenden kannst.
Multiagents. Das ist etwas vom Wichtigsten. Hier haben wir Supervisor und Worker. Und die werden wir im nächsten Video sofort brauchen, sobald wir unseren ersten Agenten erstellen.
Danach haben wir die Output-Parsers. Das heißt, du kannst natürlich auch Output generieren, z. B. JSON und so weiter.
Danach hast du Prompts, also Prompt-Vorlagen, Prompt-Templates.
Du hast Retrievers. Und auch hier findest du viele verschiedene Retrievers.
Achte darauf: Wenn irgendetwas neu ist, kann es ab und zu sein, dass es nicht perfekt funktioniert. Aber es ist immer noch besser, etwas zu haben, wo „Neu“ dabei steht. Also für gewöhnlich funktionieren die Dinge. Es ist halt eine minimale Chance da, dass es ab und zu einen Bug gibt.
Aber das Schlimmste ist, das da „Depreciating“ steht. Wenn du etwas siehst, wo „Depreciating“ steht, dann verwende das besser nicht. Denn diese Dinge werden bald verschwinden.
Aber bevor wir zu diesem „Depreciating“ kommen, haben wir auch noch die ganzen Textsplitter, die wir verwenden können.
Hier geht es dann auch um die Chunk-Size. Keine Sorge, auch das sehen wir uns genau an.
Die Tools, das sind etwas vom Besten. Du weißt ja, wir können Arbeiter ausstatten, z. B. mit einem Taschenrechner, mit Custom-Tools. Hier müssen wir uns selbst den Code schreiben – mit Python-Interpreter, mit „Read File“, mit „Write File“ und mit vielen mehr.
Und anach noch die Utilities. Das heißt, wir haben eine IF/Else-Funktion. Also wenn das passiert, soll jenes antworten.
Und zum Schluss haben wir noch die Vector Stores.
Wie gesagt: „Depreciating“ – verwende die Dinge bitte nicht. Denn diese werden nicht für ewig da sein. Verwende die Dinge, wo hier aktuell „Neu“ steht. Und auch hier haben wir Vector Stores, die aktuell neu sind, aber die funktionieren.
Chroma ist eine Vector-Datenbank, die ganz, ganz viele Leute gerne verwenden.
Die In-Memory-Vector-Store ist auch praktisch. Die ist direkt in Flowwise mit dabei. Kannst du gratis verwenden.
Und was auch viele Leute gerne verwenden, ist Pinecone. Und bei Pinecone siehst du auch schon, dass wir auch hier Pinecone-Index und die Credentials eingeben müssen. Das heißt, all das läuft über API-Keys.
Und so läuft das gesamte Interface von Flowwise. Wie gesagt, im Groben haben wir immer die Dinge hier drüben, die wir auswählen können. Und wir können die Dinge reinwerfen. Und wir können solche Dinge reinwerfen, wie viel wir eben wollen. Und wir müssen danach verschiedenste Dinge kombinieren.
Und die Dinge lassen sich nicht immer kombinieren. Will ich z. B. das hier andocken oder hier oder hier, dann siehst du: Das geht nicht. Und warum geht das Ganze nicht? Weil du die Dinge nur dort andocken kannst, wo es natürlich auch funktioniert. Das ist wichtig.
Dementsprechend weißt du, wie das Interface aussieht. Und im nächsten Video sehen wir uns natürlich an, wie wir die Dinge wirklich verwenden können, wie wir die Dinge zusammenstellen können, so wie es Sinn macht.
Solche Nodes kannst du natürlich wieder löschen, wenn du draufgehst und den Mülleimer klickst. Und das werde ich natürlich machen, denn das, was wir bisher gebaut haben, ist natürlich kompletter Blödsinn.
In diesem Video haben wir uns das Flowwise-Interface angesehen. Es ist generell relativ einfach. Es ist ein interaktives Drag-and-Drop-Tool. Alles ist relativ gut beschrieben.
Und noch einen kleinen Tipp, bevor wir hier rausgehen: Du siehst hier drüben ja diese ganzen Dinge – also Cache, Chains, Chat-Models, Document Loaders und so weiter. Wenn du in die Flowise-Dokumentation gehst, dann siehst du auch all diese Dinge aufgelistet. Hier drüben siehst du „Introduction“, „Get Started“ und so weiter. Jedoch geht es danach hier drüben los: Cache, Chains, Chat-Models, Document Loader, Embeddings, LLMs und so weiter. Du kannst also auf die Dinge immer drauf klicken, und du kannst dir auch hier durchlesen, was es alles gibt und wofür es da ist.
Also, die Dokumentation von Flowise, die ist wunderbar aufbereitet. Du musst dir aber keine großen Gedanken um diese Dokumentation machen, da wir uns hier in Flowise drinnen natürlich alles Klick für Klick ansehen.
In dem Sinne: Du kennst das Interface von Flowise. Und im nächsten Video werden wir endlich starten, unseren ersten Carrier-Agent zu bauen. Also sehen wir uns natürlich wieder im nächsten Video.