Werk:AI mit Arnie/Welchen KI Agenten bauen & externes Hosting
Wenn du dich fragst, wozu du einen KI-Agenten erstellen sollst, dann muss ich dir sagen, du solltest ein klitzekleines wenig nachdenken. Ich denke, es bietet sich wirklich für fast jeden an, mit diesen KI-Agenten zu spielen. Denk einfach an all die Anwendungen, die du gerne lokal auf deinem Computer machen würdest, die aber eventuell für ein einzelnes Llama-Modell oder sonst ein Open-Source-Modell zu schwach sind. Das kannst du ganz einfach danach versuchen, mit solchen KI-Agenten in kleine Tasks runterzubrechen.
Denk ganz einfach immer daran: Du kannst verschiedene Arbeiter verwenden, und jeder dieser Arbeiter, die können auch Tools verwenden. Sagen wir, du hast einen Arbeiter mit dem Tool Internetsuche. Danach könntest du natürlich immer noch auf "+" klicken, runtergehen auf diese Tools und beim nächsten Arbeiter z. B. einen Taschenrechner mit hinzufügen. Meinetwegen ist einer dieser KI-Agenten von dir eher für Mathe zuständig – bup, du kannst ihn sofort mit Mathe hier ausstatten.
Bitte erinnere dich daran, da musst du auch die Prompts dementsprechend schreiben. Und so kannst du wirklich einige dieser Agenten zusammenbasteln und irgendetwas Cooles bauen, das für dich perfekt ist.
Ich will hier das Ganze noch mal speichern, hier tatsächlich. Dann gehen wir noch mal zurück, und du siehst natürlich auch hier, wenn du auf den Marketplace gehst, dass du ganz, ganz verschiedene Frameworks hier hast. Ich muss jedoch dazu sagen, die allermeisten dieser Frameworks, die sind nicht wirklich für KI-Agenten gedacht. Ich denke, wenn du einen Agenten bauen willst, solltest du auf Agent-Flows gehen, und bei diesen Agents klickst du "Add New". Du nimmst einen Supervisor, ein paar Arbeiter, und damit kannst du anständig arbeiten.
Dieser Marketplace, der ist generell natürlich für ganz, ganz viele verschiedene Applications gedacht. Da wir hier jedoch mit lokalen LLMs arbeiten, musst du hier natürlich auch nicht unbedingt einen RAG-Chatbot machen. Das kannst du ja mittlerweile schon mit Anything LLM machen – zusätzlich,
Wir hätten auch noch die Möglichkeit, diesen Chatbot zu hosten. Das heißt, ja, ganz genau: Wir könnten auf diese Modelle draufgehen, z. B. auf diese Agent-Flows. Wenn wir auf diese Content-Maschine gehen, dann haben wir die Möglichkeit, diesen Bot zu hosten, indem wir hier oben klicken. Und wir können das z. B. einbetten in eine HTML-Webseite, in unsere eigene HTML-Webseite. Wir könnten das einbauen in verschiedene Python-Umgebungen, Java, Curl und alles dabei. Und wir können auch auf "Share Chatbot" klicken. Wenn du das hier public machst, dann kannst du das öffnen in einem separaten Link, und du bist in diesem Interface.
Jedoch – wir wollen hier natürlich alles lokal laufen lassen. Also denke ich, macht das Hosting wirklich relativ, relativ wenig Sinn. Ich denke wirklich, du solltest hier drinnen arbeiten, wenn du hier mit diesen KI-Agenten arbeiten willst.
Ich habe am Anfang schon mal kurz gesagt, es ist möglich, diese Applications zu hosten, z. B. über Render. Und wenn du das machst, dann können natürlich auch andere Personen zugreifen auf diese Applications. Jedoch haben wir natürlich unsere LLMs lokal laufen auf unserem Computer, und dementsprechend macht es natürlich so überhaupt keinen Sinn, diese zu hosten im Internet. Da das, erstens, es ist einfach nur ein Sicherheitsrisiko ist, und zweitens, andere Leute, die den Bot verwenden, die können die LLMs sowieso nicht verwenden, weil die bei uns lokal laufen.
Falls du in einer großen Firma arbeitest und du lässt das lokal auf einem Rechner laufen, wo auch mehrere Leute Zugriff haben, und du willst das dennoch im Web hosten, dann ist das möglich. Dann kannst du mir natürlich sagen, wenn du das machen willst, dann werde ich ein, zwei Dinge mit einbauen.
Generell ist es relativ einfach: Wenn du auf Flowise gehst und runterscrollst, dann siehst du in der Dokumentation natürlich auch, dass du hier Selfhosting machen kannst. Und ich würde dir beim Selfhosting Render empfehlen. Render ist das Beste, um Flowise zu hosten, und hier haben sie die gesamte Dokumentation. Das heißt, das ist schon relativ gut aufgeschlüsselt hier. Wichtig ist, dass du hier eine persistent Disk verwendest – nur so wird das immer funktionieren.
Aber wie gesagt: Solange du die Dinge lokal auf deinem PC laufen hast, können andere Leute das Ding sowieso nicht verwenden. Das macht man tatsächlich eher, wenn man eine Application baut mit API-Keys, den OpenAI-Modellen, und das integrieren will in eine Webseite, sodass jeder diese Chatbots verwenden kann.
Uns geht es natürlich um lokale LLMs mit maximaler Sicherheit, und ich denke, das sind die Dinge, die du machen solltest.
Also, noch mal ganz, ganz kurz zurück zu Flowise: Ich denke, du brauchst im Marketplace nicht alle Dinge hier kennen. Die meisten Sachen sind entweder mit Closed-Source-LLMs gedacht, und diese normalen RAG-Chatbots, die du lokal laufen lassen kannst, die kannst du in "Anything LLM" nachbauen. Ich denke, in Flowwise solltest du auf die Agent-Flows wechseln. Da solltest du einfach "Add New" klicken, das +, und hier verwendest du einen Supervisor und, je nachdem, wie viel du willst, natürlich Arbeiter. Es ist wichtig, dass du danach beim Chatmodell natürlich immer ein Modell verwendest, das Function Calling hat, z. B. Ollama mit Function Calling. Danach kannst du die Dinge natürlich verbinden, wie du willst, und du kannst noch mehrere Tools hinzufügen, wenn du willst, indem du auf "+" klickst und auf diese Tools gehst.
Es ist mir wirklich wichtig, dass du die Dinge hier verstehst. Du kannst also einen Taschenrechner mit reinschmeißen, wenn du willst, diese verbinden und vieles, vieles mehr. Also wie gesagt: Hier kannst du wirklich grenzenlos viele Dinge bauen. Es ist nur wichtig, dass du das richtige Tool für dich findest.
In diesem Video wollte ich einfach nur noch einen kleinen Überblick geben. Es ist wichtig, dass du einen KI-Agenten baust, der für dich Sinn ergibt. Du kannst Internetzugriff geben, du musst das nicht. Du kannst zwei Arbeiter nehmen, drei Arbeiter, vielleicht sogar vier. Verwende am besten Ollama mit Function Calling. Je besser das Modell, umso besser wird all das funktionieren.
Lass einen Prompt schreiben mit diesem Prompt Generator. Hier solltest du am besten die OpenAI-Modelle verwenden, und dann hast du lokal einen KI-Agenten laufen, der dir bei verschiedenen Dingen helfen kann – komplett privat.
Wenn du RAG-Chatbots verwenden willst, dann nimm "Anything LLM", weil es da einfacher und schneller geht und auch ein hübsches Interface da ist.
Wenn du Chatbots hosten willst, würde ich dir sagen: Mach das lieber nicht, da wir natürlich lokal arbeiten in diesem Kurs.
Wir sehen uns im nächsten Video, denn ich denke, mit Flowwise kannst du jetzt wirklich relativ viele Dinge machen. Ich habe Flowwise in diesen Kurs mit eingebaut, da ich denke, Flowwise ist die einfachste Methode, wie du KI-Agenten bauen kannst. Und wie gesagt: RAG-Chatbot, Vision und so weiter, das klappt alles außerhalb von Flowwise genauso gut.