Werk:AI mit Arnie/Kostenlosen Chatbot mit Open Source Modellen
Bis jetzt haben wir wirklich ziemlich viele verschiedene Chatflows gebaut, und du weißt natürlich, wir haben das bei den Agenten und natürlich auch in den normalen Chatflows immer mit Modellen gemacht, wo man bezahlen muss. Ich bekomme immer ganz viele Fragen: "Hey, kann ich nicht auch ein gratis Open Source Modell verwenden?" Und da sind wir uns natürlich jetzt an.
Denn wir bauen uns jetzt einen solchen Chatbot. Wir verwenden ein Modell hier von Hugging Face, und wir werden hier tatsächlich diesen Chatbot einbauen in eine Webseite, damit uns das Ding Witze erzählen kann. Ja, das ist vielleicht nicht der beste Anwendungszweck, aber bei den Open Source Modellen ist das aktuell wirklich ein Anwendungszweck, den man verwenden kann, da ich denke, die sind aktuell leider noch nicht auf dem Level, wie halt die Modelle von OpenAI. Das heißt, willst du einen starken Chatbot haben, der wirklich Kundensupport machen soll, dann solltest du tatsächlich die Modelle von OpenAI verwenden. Aber um gratis zu starten, gratis zu testen, dann kannst du auch mal Mistral oder sonst was verwenden.
Als Erstes brauchen wir das Large Language Model. Wir suchen uns ein gratis Ding auf Hugging Face. Natürlich veröffentlicht hier sogar Meta ihr Modell, z. B. Llama 3, und Llama 3 würde auch gut funktionieren. Ich will doch ein etwas kleineres Modell haben, damit es noch einfacher geht. Dieses Modell, das Mistral 8x7 Billionen, ist auch ein sehr gutes Open Source Modell. Das heißt, wir klicken darauf. Hier siehst du schon, dass wir auch die Inference API haben. Das heißt, wir können das verwenden, ohne selbst großartig etwas daran rumbasteln zu müssen, und das ist natürlich praktisch.
Wie können wir jetzt jedoch dieses Large Language Model verwenden? Erstmal testen kannst du es hier: "Erzähle einen Witz über Katzen." Warum haben Katzen immer so gute Laune? Weil sie auf neun Leben voller Glück hoffen dürfen. Also, du siehst, das Modell funktioniert, und auch über diese API komplett gratis. Das heißt, wir können dieses Modell verwenden und in einen Agenten einbauen. Und im Übrigen wird der Agent später auch Witze erzählen.
Um das Modell zu verwenden, müssen wir eine klitzekleine App bauen. Sobald wir in Flowwise sind, können wir einfach nur auf "Plus" klicken, und hier müssen wir jetzt einige Dinge hinzufügen. Erstmal brauchen wir eine Chain, und wir brauchen die LLM Chain. Wir ziehen uns das Ganze einfach hier rein. Was brauchen wir als Nächstes? Wir gehen wieder auf "Plus". Wir brauchen LLMs, und wir brauchen was von Hugging Face, denn das Ganze soll natürlich komplett gratis werden.
Jetzt müssen wir hier die Modelle einfügen, also müssen wir uns neue Credentials machen, und wir geben dem Ganzen Ding einfach einen neuen Namen, indem wir "Create New" klicken. Hier siehst du i, Übrigen schon einige andere, die ich erstellt habe, aber lass uns einfach mal was Neues machen. Das soll z. B. der "YouTube Test" sein. Danach müssen wir die Hugging Face API hinzufügen, bzw. den API Key. Dafür gehen wir natürlich auf Hugging Face, wir klicken hier oben rechts auf unser Profil. Jetzt ist wichtig, dass du bereits einen Account hast. Falls du das noch nicht hast, kannst du dir einen erstellen.
Wir gehen auf "Settings", "Access Tokens", "New Token", "YouTube". Den Type können wir auf "Read" lassen, und wir klicken "Generate Token". Diesen Token müssen wir jetzt kopieren. Wir gehen zurück in Flowise, wir löschen den alten Key raus, fügen den neuen ein, klicken "Add", und das Ganze war's hier schon, fast. Denn wir gehen jetzt noch mal auf Hugging Face, wir müssen noch mal auf die Modelle gehen, denn wir müssen ja noch das Modell verbinden. Wir hatten Mistral, also genau dieses hier. Dementsprechend können wir hier einfach nur da oben den Namen kopieren. Wir gehen zurück in Flowise, wir geben hier den Namen vom Modell ein, und das Ganze war’s. Endpoint brauchen wir hier erstmal keinen.
Wie gesagt. Wir müssen hier nicht komplex hosten, denn wir haben hier schon die Inference API. Deshalb verwenden wir dieses Modell. Also: Plupp, das war’s schon. Jetzt können wir Hugging Face verbinden, tatsächlich mit unserem Large Language Model da oben. Und in der Zwischenzeit würde ich dir empfehlen, das Ding auch mal zu speichern, und wir können dem Ganzen einen Namen geben. Jetzt haben wir den gesamten Chatflow gespeichert, und eigentlich haben wir jetzt auch schon die meisten Dinge beisammen.
Was uns noch fehlt, ist das da: der Prompt. Wir suchen den Prompt, zwar hier, Prompt Template, und das Ding können wir jetzt verknüpfen mit unserem Prompt hier drüben. Und jetzt können wir auch das noch ein klein wenig bearbeiten, natürlich. Hier siehst du schon, wie das Ganze strukturiert werden soll: Also "What is a good name for a company that makes {products}“. Diese Produkte sind hier in geschwungenen Klammern, und das ist danach ganz einfach auch das Ding, das ausgetauscht werden sollte. Unser kleiner KI-Agent soll einfach nur Witze erzählen, da sonst dieses Large Language Model eher zu schwach ist, denke ich.
Und dieses Large Language Model muss man bestimmt prompten. Das heißt, wir gehen zurück, wir scrollen runter, und hier sehen wir schon das Format, das wir verwenden müssen, wenn wir dieses Modell verwenden wollen. Das heißt, wir können das kopieren, also von hier bis hier, tatsächlich, denn den Follow-up brauchen wir nicht mehr unbedingt, denke ich zumindest. Das heißt, wir kopieren das alles. Wir gehen zurück in Flowise, wir fügen das hier ein, und jetzt bei "Instructions" müssen wir das Ganze noch etwas umändern.
Jetzt machen wir: "Erzähle einen Witz über ..." – jetzt müssen wir die geschwungene Klammer machen, "Subject", und Klammer zu. Und das sollte es tatsächlich schon gewesen sein. Das heißt, wir können das ganz einfach mal speichern, hier oben. Danach sehen wir uns hier an, ob das Ding funktioniert. Wir schreiben einfach irgendein Wort rein, wieder "Katze", und hier haben wir den Witz.
Interessanterweise kommt der Witz auf Englisch. Also, das ist auch ein kleiner Nachteil von diesen Open Source Modellen. Es ist sehr schwierig, diese zu bearbeiten. Wir können das versuchen zu verändern, indem wir hier in die Instructions gehen und wir schreiben hier einfach nur Folgendes dazu: "Du sprichst immer Deutsch." Noch mal "Katze". Warum hat die Katze immer ein Lächeln auf dem Gesicht? Weil sie immer auf der Sonnenseite des Mauselochs liegt.
Also, die Witze sind auch nur einigermaßen gut. Ich muss dazu sagen, generell funktioniert das Modell auf Englisch besser. Und natürlich, diese Open Source Modelle, die gratis Modelle sind, die sind einfach nicht perfekt. Gerade über die API bekommt man einfach viele Fehler. Aber wenn man was gratis bauen will zum Testen, dann ist das absolut perfekt.
Man könnte diesen Chatbot z. B. in eine Webseite einbauen, und das funktioniert sehr einfach. Wir klicken hier oben ganz einfach nur auf dieses Feld. Danach gehen wir auf "Embed", "Popup HTML", und hier können wir das kopieren. Übrigens, natürlich kann man das auch in eine WordPress-Webseite oder sonst wo einfügen.
Jetzt testen wir das Ganze einfach mal aus. Da ich keine Wit… Da ich keine Witzseite hab, will ich einfach mal was erstellen lassen von ChatGPT: "Erstelle eine HTML-Seite, die sich 'Arnis Witze' nennt. Macht die Seite hübsch." Also, recht einfache Anweisungen. Ich will die Seite testen in der Replit. Das heißt, wir erstellen ein neues "Repl" von einer HTML-Datei. Wir nennen das Ganze "YouTube", klicken "Create Repl". Jetzt suchen wir uns hier den Code. Ich kopiere den Code. Wir sehen uns mal an, was dabei rauskommt.
"Arnis Witze" – das ist die Webseite, und wir haben schon drei Witze hier mit integriert. Jetzt brauchen wir noch unseren Chatbot auf der Webseite. Wir gehen in Flowwise, wir können diesen Code natürlich einfach nur kopieren. Wir gehen zurück, und der Code muss in den Body der HTML rein. Das heißt, den kann ich hier unten einfügen. Wir klicken noch mal "Run". Danach sollte das Ding da sein … und Boom! Jetzt können wir hier unseren Witz fragen: "Katze". Wir haben immer noch denselben Witz. Lasst uns mal einen anderen Witz testen: "Garderobe". Warum ist die Garderobe so beliebt bei Detektiven? Weil sie immer den richtigen Schlüssel zur Hand hat. Geht doch.
Also, so einfach kann man einen KI-Agenten machen. Natürlich ist der nicht besonders hilfreich. Er ist sehr, sehr einfach aufgebaut, weil die Open Source Modelle nicht viel mehr hinkriegen. Sehen wir uns mal an, wenn wir diese Prompt Instructions hier auslöschen. Dann wirst du sehen, dass das Ganze richtig, richtig lausig wird. Wenn ich hier jetzt nach Dingen frage, wird es oft ziemlich komisch.
"Erzähle einen Witz von einem Hund." Also, das Modell hat hier keine Anweisungen mehr. Dementsprechend funktioniert es auch nicht wirklich. Das ist eines der größten Nachteile hier. Und wenn wir diese Anweisungen zu einfach formulieren, funktioniert das Ganze auch nicht. Also, so: "Erzähle einen Witz über Subjekt." Und zwar ohne unsere Instructions hier. Dann wird das Ganze richtig komisch.
Wenn wir hier speichern, wir löschen das aus und testen das noch mal. Schreiben z. B. "Hund" rein, dann bekommen wir richtig komische Antworten: "Erdwasser Hund erdwasser geht in Restaurant und bestellt sich eine Suppe. Als die Suppe kommt, schaut ihr sich die Schüssel genau an und sagt, die Suppe ist zu flach. Ich eine höhere Suppe." Der Kellner ist etwas verwirrt, aber er nimmt die Schüssel mit der Suppe und stellt sie in den... „Also, erstmal schon die Wörter an sich – was soll das Wort da oben? Die ganzen Sätze sind nicht mehr so richtig gut.
Also, diese Open Source Modelle dazu zu bringen, dass sie machen, was sie sollen, das ist sehr schwierig. Und sowas mit diesen Witzen ist aktuell fast schon das Beste, das man machen kann. Also, KI-Agenten erstellen gratis – kann man machen. Macht es Sinn? Wahrscheinlich nicht. Ich würde empfehlen, hier die Modelle von OpenAI zu verwenden, und dann kann man auch einen Chatbot damit bauen, der Sinn ergibt, der in einer Webseite vernünftigen Kundensupport machen kann.
Also, in dem Sinne: Viel Spaß beim Testen. Wer gratis testen will – Flowise in Kombination mit Mistral ist aktuell das Beste, aber nicht besonders gut, tatsächlich.