Werk:AI mit Arnie/HuggingChat - Ein Interface für Open Source LLMs
Du hast Hugging Face kennengelernt, und in diesem Video sehen wir uns den Hugging Chat an. Der Hugging Chat ist richtig, richtig praktisch, und der bietet uns ganz einfach ein Interface, um ganz, ganz viele Open Source LLMs laufen zu lassen. Also, wie sieht das Ganze aus? Das Interface, ich glaube, das hast du schon mal ganz, ganz kurz gesehen – es sieht fast genauso aus wie bei ChatGPT. Du loggst dich ein, beziehungsweise gibst ganz einfach mal „huggingface.com/chat“ ein. Das kannst du auch googlen, und du wirst in diesem Chat hier landen.
Hier drinnen kannst du viele verschiedene Dinge machen. Erstmal natürlich: Melde dich an mit Google an, du hast ja mittlerweile einen Hugging Face Account. Danach kannst du hier unten auf „About“ und „Privacy“ klicken. Also, das letzte Update war hier tatsächlich 2024, und zwar im April. Sie versprechen dir hier, dass deine Konversationen gespeichert werden, aber du kannst sie wieder löschen. Das soll nur dazu dienen, damit du dich selbst besser zurechtfindest. Du kannst dir natürlich auch die Privacy Policy durchlesen und dir das Ganze genauer ansehen. Ich bin hier kein Anwalt – wie gesagt, über Datenschutz und so weiter sprechen wir natürlich auch später.
Danach über die LLMs: Sie sprechen einfach darüber, dass sie als Ziel haben, eine gratis Open Source Alternative zu ChatGPT zu machen, und bis jetzt gelingt ihnen das relativ gut. Sie laufen oder lassen Modelle laufen wie zum Beispiel Lama 2, CodeLlama, Falcon, Mistral, Google Gemini und viele, viele mehr. Auch Command R+ – Command R+ ist ein richtig, richtig gutes Modell. Du kannst dir die technischen Details natürlich auch alle durchlesen. Du kannst sogar dem GitHub-Link folgen. GitHub werden wir uns später natürlich auch noch ansehen. Und die Inference ist natürlich von Hugging Face. Das heißt, du kannst hier allen Dingen folgen und dir die Dinge natürlich selbst ansehen.
Danach haben wir hier den Settings-Button, Bei den Settings sehen wir uns später noch etwas genauer an. Du kannst auch auf „Assistance“ klicken. Das heißt, du kannst dir hier selbst Bots machen – ähnlich wie bei ChatGPT, diese ganzen GPTs. Das ist natürlich auch richtig, richtig praktisch. Alles zusammen, das ist eigentlich wie die Webseite Poe, nur eben Open Source. Danach können wir auf „Modelle“ klicken. Hier siehst du, welche Modelle aktuell verfügbar sind. Das sind schon relativ gute. Command R+ ist natürlich eines der stärksten, Lama 3 – 70 Billionen Instruct –, hier ein Hugging Face Modell. Danach das Mistral Mixture 8x7 Billionen, dessen Architektur du natürlich schon kennst. Das heißt, wir haben hier einige relativ gute Modelle, von Microsoft PI 3 Mini, das ist ein ganz, ganz kleines Modell, und das läuft auch relativ gut.
Danach kannst du natürlich auch auf hell und dunkel wechseln – ich arbeite fast immer im Dunkeln –, und deinen eigenen Account siehst du hier. Danach siehst du hier deine vergangenen Konversationen, und du kannst auch „Order Requests“ machen. Das heißt, du klickst darauf und siehst dir an, was hier passiert ist.
Noch mal zurück zu Hugging Chat: Du kannst immer „New Chat“ klicken, und hier sind die Einstellungen relativ einfach. Du kannst hier das aktuelle Modell aussuchen. Aktuell haben wir hier Command R+ aktiviert, aber du könntest natürlich auch andere Modelle verwenden, zum Beispiel das Lama 3 Modell. Und du kannst auch sofort einen Systemprompt mit einfügen. Du weißt natürlich, was der Systemprompt macht. Und das Lama 3 Modell ist natürlich auch laut der Chatbot Arena richtig gut. Du siehst, wir haben hier wirklich einige starke Modelle, zum Beispiel Command R+ und natürlich auch Lama 3. Das sind hier wirklich ganz, ganz starke Open Source Modelle. Lama 3 ist fast auf ChatGPT-4-Level, tatsächlich, sogar besser als einige GPT-4-Modelle. Also, das Lama 3 Modell, das kann man ruhig verwenden, hier auf Hugging Face im Hugging Chat.
Beim Systemprompt können wir jetzt natürlich die ganzen Dinge reintippen, die du willst. Ich mache das ganz, ganz locker und flockig hier: „Du bist ein Coding-Gehilfe spezialisiert auf Python und Snake.“ Das heißt, er ist hier unsere Gehilfe, und der hilft uns ganz einfach, zum Beispiel Snake für Code zu machen. Ich will das Ding einfach mal aktivieren. Das heißt, wir haben jetzt das Lama-Modell aktiviert, das heißt hier Zugriff auf Lama. Hier unten können wir zusätzlich noch die Websuche aktivieren. Das heißt, wir können wirklich so gut wie alles hier machen – Web Access ein oder aus. Und jetzt können wir hier natürlich mit Lama sprechen.
Ich will mir einfach mal den Code für ein Snake-Spiel geben lassen, und dann sehen wir uns an, wie das Ganze hier funktioniert. Du siehst, aktuell wird auch das Web dazu eingeschaltet. Das würden wir theoretisch natürlich nicht brauchen, das könnten wir natürlich auch ausschalten. Ich bekomme hier gerad den Code. Du siehst, das Modell tippt etwas langsam. Wir können die Inference natürlich sehr, sehr, sehr stark erhöhen. Das zeige ich dir im nächsten Video. Aber Hugging Chat ist wahnsinnig, wahnsinnig praktisch und kann einige Dinge wirklich gut.
Ich habe inzwischen übrigens das Internet ausgeschaltet, und ich habe auch schon fleißig ein Replit oder eine Replit-Datei aufgemacht. Ich werde danach das Ding reinziehen. Dann sehen wir uns einfach mal an, ob es funktioniert oder nicht. Der Code ist mittlerweile raus. Zumindest beim Start sieht auch alles gut aus. Ich habe das hier jetzt mal in Replit reingeschmissen. Wir klicken mal kurz auf „Run“, dann sehen wir uns an, ob das Ganze läuft. Erinnere dich daran: Gemini, also ein Closed-Source-LLM, war dazu gerade nicht imstande, als wir das vorhin getestet haben. Ich bin mal gespannt, ob das hier tatsächlich Hugging Face beziehungsweise Hugging Chat mit dem Lama-Modell packt oder schafft. Bis jetzt sieht alles relativ gut aus. Snake – und hier als Zero-Shot-Prompt haben wir das Ganze auch nicht geschafft.
Ich muss gestehen, Snake ist natürlich ein etwas großes Spiel. Der Code generell sieht relativ gut aus. Das könnte man natürlich relativ schnell hier reparieren. Du weißt natürlich, wie das funktioniert. Ich will hier aber nicht weiter deine Zeit verschwenden. Wir machen mal einen neuen Chat, und ich zeige dir was richtig, richtig Cooles. Noch mal auf die Einstellungen: Wir können auch diese Assistenten hier machen. Machen wir einfach mal einen neuen Assistenten. Du siehst, was wir hier alles machen können. Wir können die gesamten Assistenten hier bauen, sowie die GPTs. Wir können sogar einen Avatar hochladen. Ich könnte hier also ein Bildchen hochladen von meinem Computer, damit wir ein anständiges Gesicht haben für das Ding. Einen Namen: Lass uns das Ganze mal „Arni“ nennen. Die Beschreibung: Also, was macht das Ding? Du hilfst. Du weißt natürlich, wie man das anständig aufbaut. Das ist nur ein Beispiel. Danach das Modell: Also, was wollen wir nehmen? Lass uns mal Command R+ machen.
Die Starter-Dinger hier – genauso wie bei ChatGPT. Lass uns mal diesen Starter machen. Ich habe schon mal was Ähnliches gebaut. Danach Internet-access. Das ist aktuell ein Experiment, und wir können natürlich auch Feedback geben. Also… Also, wir sollten das einfach mal auf Default lassen. Tatsächlich, was wir sonst noch machen können, ist entweder die Websuche immer zu aktivieren oder die Domainsuche zu aktivieren. Das heißt, wir können hier spezifische Links geben, spezifische Webseiten, wenn wir zum Beispiel irgendwas Wichtiges haben wollen, das das Ding sofort durchsucht.
Also, hier kannst du natürlich deine Domains reinposten, wenn du spezielle Domains haben willst. Und du kannst sogar spezifische Links hier mit einbauen. Zum Beispiel einen Link zu einem GitHub-Repo, zu einem Hugging Face Chat, zu was weiß ich nicht was alles. Vielleicht hast du eine eigene Webseite und willst, dass das Ding das durchsucht. Du kannst hier bis zu zehn direkte URLs mit einbauen, am besten HTML-Dateien oder Plain Text, sagen sie hier.
Also, das funktioniert alles relativ gut. Ich habe das schon einige Male getestet. Einen Vergleich oder eine Sache will ich hier einfach mal testen, damit wir zum Beispiel eine Seite von Hugging Face durchsuchen. Hier „RLHF“ von Hugging Face – das ist das Reinforcement-Paper.* Ich will ganz einfach den Link zu diesem Ding hier geben in unseren Hugging Face Assistenten. Wo ist das Ding? Da ist das. Und danach klicken wir hier „Create“. Aber zuerst können wir natürlich auch noch einen kleinen Systemprompt einbauen. Wir könnten natürlich eine Rolle geben: Zum Beispiel „Du bist ein Gehilfe für ML“, also für Machine Learning, „und Experte bei KI“. Lassen wir das mal so stehen. Du weißt natürlich, den Systemprompt kannst du natürlich noch weiter ausweiten, wenn du magst.
*Reinforcement-Learning-Paper.
ch will jetzt einfach mal „Create“ klicken. Danach sollten wir hier einen guten Assistenten haben mit dem Command R+ Modell. Wir werden diese spezifische URL durchsuchen von Hugging Face, wenn es um Reinforcement Learning geht. Er hat einen Systemprompt bekommen, und Internet-access, wie gesagt, haben wir durch diese URL. Jetzt werden wir das Ding einfach mal versuchen. Das Ding nennt sich „Arni“. Wir haben leider kein Bild hinzugefügt. Ich habe hier schon einige andere, zum Beispiel „Italian Grandma“ und „Web-site Designer“. Wir klicken also auf „Activate“. Jetzt ist das Ding natürlich aktiv, gespeichert. Wir können es schließen, und jetzt können wir natürlich mal unseren Arni-Bot hier ein paar Dinge fragen. „Was ist RLHF?“ Zum Beispiel. Du siehst hier die Websuche, beziehungsweise die Durchsuche unseres spezifischen Artikels, und wir werden alles zum Reinforcement Learning from Human Feedback bekommen.
Also, „Was ist RLHF?“ Reinforcement Learning with Human Feedback – RLHF ist ein „advanced machine learning approach“ und so weiter. Das heißt, du siehst, das funktioniert. Es ist hier natürlich auf Englisch, also die verlinkte Webseite ist auf Englisch. Die Open Source Modelle sprechen auch lieber Englisch. Das weißt du natürlich alles schon. Wir könnten ja noch mal „New Chat“ klicken, und ich will dir diese Assistenten noch zeigen. Wenn du auf diese Assistenten klickst, dann kannst du auch die Assistenten der Community raussuchen, genauso wie halt eben vom GPT Store. Das ist auch relativ praktisch, und du kannst dir ansehen, welche Dinge hier oft verwendet werden.
Also, einige Sachen werden selten verwendet, andere werden oft verwendet. Wir haben hier sowas wie „Groq“. Ich weiß nicht, ob die Dinge korrekt sind. Wir sollten einfach mal auf den ChatGPT hier draufklicken, und ich will hier „Start Chatting“ machen. Wir sehen höchstwahrscheinlich, wird hier das Modell nicht ChatGPT sein. Nein, es ist hier Hugging Face. Also, das Modell, das verwendet wird, kommt hier von Hugging Face. Das Ding lügt uns aber Dinge vor. Wir könnten ja mal diesen Starter-Prompt testen und sagen… und uns ansehen, was dieses Modell hier sagt. „Hello, ChatGPT 3.5, how can I help you?“ und so weiter. Ich nehme an, das Modell antwortet. Es ist alles etwas langsam. Ab und zu ist dieses Interface etwas überlastet. Ich gehe aber davon aus, dass Hugging Chat und Hugging Face hier mehr Computing-Power zur Verfügung stellen werden. Dann funktioniert das auch etwas schneller. „Hello, I am glad to meet you, 3.5“ und so weiter.
Das heißt, du kannst dir diese ganzen Assistenten natürlich ansehen. Was ist dieser „Image Generator“? „Make a prompt to get an image in return“ – könnten wir ja mal auf „Start Chatting“ klicken. Was haben wir hier? Mistral läuft im Hintergrund. Ich bin gespannt, ob wir hier wirklich ein Bild bekommen oder nur einen Prompt, den wir in ein Diffusion-Modell werfen könnten. Würde mich interessieren. Boom, da haben wir tatsächlich auch ein Bild bekommen! Also, finde ich schon recht cool. Das heißt, du kannst hier diese ganzen Dinge einfach verwenden – komplett gratis.
In diesem Video haben wir uns Hugging Chat angesehen. Hugging Chat ist die Open Source Alternative zu ChatGPT. Wir können unsere eigenen GPTs bauen. Wir können GPTs von anderen Leuten verwenden. Wir können Systemprompts einbauen, das Internet einschalten, eine Rolle geben und natürlich auch das LLM aussuchen, zum Beispiel Lama 3, Falcon, Command R+ und viele, viele mehr. Und Hugging Chat, muss ich wirklich sagen, das ist sehr, sehr gut. Du kannst auch Assistenten von anderen Leuten raussuchen. Das ist halt komplett gratis, komplett Open Source. Das ist schon wirklich, wirklich praktisch. Ab und zu etwas überlastet, natürlich nicht auf dem Level von ChatGPT, aber ein Webinterface, das wir gratis verwenden können, mit Open Source Modellen, das ist schon praktisch.
Lass mich auf alle Fälle wissen, was du damit alles zauberst! Verwende natürlich anständiges Prompt-Engineering – das habe ich in diesem Video nicht gut gemacht. Ich habe mit lausigen Prompts gearbeitet. Ich habe auch die Erstellung der Chatbots nicht gut gemacht. Du weißt natürlich, wie man das alles viel, viel besser macht. Aber der Hugging Chat, den sollte man nicht unterschätzen. Er ist etwas langsam, aber das werden wir im nächsten Video ändern. Denn ich will ein zweites Webinterface zeigen, das wahnsinnig schnell ist.