Werk:AI mit Arnie/HuggingChat Ein Interface für Open Source LLMs
Du weißt ja, dass wir ganz, ganz viele verschiedene Möglichkeiten haben, Open Source LLMs laufen zu lassen. Natürlich kannst du das auch lokal machen. Das ist absolut perfekt für maximale Sicherheit.
Nichtsdestotrotz kannst du diese Open Source LLMs auch im Web laufen lassen, in der Cloud, und wir haben viele verschiedene Möglichkeiten, um diese Dinge in der Cloud laufen zu lassen. Ich will dir erstmal ein Interface vorstellen, das eines der, zumindest meiner Meinung nach, besten Interfaces ist. Es ist HuggingChat. HuggingChat ist ein Interface, das von HuggingFace kommt.
HuggingFace ist ein Unternehmen, das in der Open Source Community ganz, ganz, ganz stark nachgefragt ist. Hier sind sehr, sehr viele Entwickler unterwegs. Hier kann man sogar selbst Modelle hochladen, Modelle runterladen und vieles, vieles mehr.
Und HuggingChat ist so nett uns ein Interface uns ein Interface „zurechtzubasteln“ sozusagen und uns etwas GPU auszuleihen, die wir gratis verwenden können. Es geht also darum, dass wir hier in HuggingChat tatsächlich ein Interface bekommen, so wie bei ChatGPT, das komplett gratis ist. Und hier drinnen können wir verschiedene Open Source LLMs verwenden.
Warum will ich dir das jetzt zeigen? Erstens, du kannst diese LLMs auch in der Cloud laufen lassen. Also, wenn du einen sehr schlechten Computer hast, dann kannst du das in der Cloud verwenden. Und du hast immer noch die Vorteile, dass es komplett gratis ist und dass es eigentlich auch sehr, sehr, sehr stark anpassungsfähig ist. Du kannst ständig neue LLMs verwenden und so weiter. Und es ist auch richtig, richtig praktisch, um dir das Prompt Engineering zu zeigen. Deshalb will ich hier in diesem Interface erstmal arbeiten, bevor wir weitermachen mit LM Studio, mit Olama und so weiter.
Also erstmal das kleine Interface von HuggingChat. Das Ding sieht so aus: Und du siehst, also jeder, der ChatGPT bereits kennt, das sieht eigentlich fast genauso aus wie ChatGPT. Hier unten kann man seinen Prompt reinschreiben, und ums Prompt Engineering soll es danach natürlich sofort gehen. Es ist nämlich wichtig, welchen Prompt wir reinschreiben. Und ich will dir das Prompt Engineering, wie schon gesagt, in solchen Interfaces zeigen, da es hier einfach sehr, sehr übersichtlich ist.
Hier drober siehst du das: „Search Web“. Das heißt, hier haben wir auch das sogenannte Function Calling mit dabei. Hier ist HuggingChat etwas besonders, da wir das bei den allermeisten Open Source LLMs sonst noch nicht haben. Das heißt, wenn ich das da aktiviere, dann haben wir hier z. B. Llama 3 Instruct, und das Ding hat sozusagen Internetzugriff. Ich schalte das erst mal aus. Wie gesagt, ich will dir erst mal das Interface zeigen.
Klickst du hier auf „About“ und „Privacy“, dann siehst du, worum es geht. Sie versuchen, alles so privat wie möglich zu halten. Das heißt, diese Konversationen werden mit niemandem geteilt. Noch nicht mal die Ersteller vom Modell können das Ganze sehen.
Das heißt, du bist auch hier sehr, sehr sicher. Deine Daten werden nur gespeichert, um dir deine alten Konversationen zu zeigen, und du kannst das natürlich auch immer wieder löschen. Wenn du hier tatsächlich ein Anwalt bist oder dich sehr, sehr gut auskennst, dann kannst du auf diesen Link gehen. Du kannst das verfolgen, und du kannst dir die Privacy Policy natürlich selbst durchlesen.
Generell ist Hugging Face Open Source, und sie gehen mit unseren Daten sehr, sehr sicher um, zumindest, wenn man dem Unternehmen glaubt. Und ich denke, diesem Unternehmen kann man glauben. Aber wie gesagt, ich bin hier natürlich kein Anwalt.
Hier zeigen sie dir auch, welche LLMs hier tatsächlich alle da sind. Wir haben Llama, wir haben Code Llama, Falcon, Mistral, Cohere, Google Gemini, eigentlich noch viele, viele mehr. Wir haben auch Llama 3, also das sind noch etwas ältere Modelle. Also, wir haben viel, viel mehr dabei.
Hier drunter siehst du die technischen Details. Das heißt, du kannst sogar in das Repo reingehen und dir alles ansehen, wie es funktioniert. Hier ist die gesamte Dokumentation. Sie verwenden die HuggingFace Inference API als Infrastruktur. Du kannst das Interface sogar selbst anpassen, wenn du magst, wenn du es in Docker reinschmeißt. Und du kannst ihnen sogar Feedback schicken.
Wenn du auf „Settings“ gehst, dann siehst du, dass du hier viele verschiedene Einstellungen hast. Zu diesen komme ich gleich.
Du kannst verschiedene LLMs verwenden, und du kannst sogar deine eigenen Assistenten bauen. Wenn du auf „Models“ klickst, dann siehst du, was hier alles vorhanden ist. Wir haben hier z. B. von Cohere „Command R+“. Das ist ein sehr, sehr starkes Modell.
Und hier siehst du diesen Schraubenschlüssel. Dieser Schraubenschlüssel bedeutet, dass wir sogar Function Calling mit eingebaut haben. Das sehen wir uns danach natürlich noch etwas genauer an.
Danach haben wir hier Llama 3 von Meta. Wir haben ein Modell von HuggingFace direkt. Wir haben Mistral Mixture 8x7 Billionen. Dieses „8x7 Billionen“ steht für eine besondere Architektur, diesen sogenannten Mixture of Experts. Das kannst du dir so vorstellen, dass das große Modell eingeteilt wird in acht kleine Modelle, und jedes dieser Modelle, dieser kleinen Modelle, ist sozusagen ein Subexperte in seinem bestimmten Ding. Hier entscheidet ein Router, welcher Subexperte verwendet werden sollte. Im Groben musst du dir einfach nur merken: andere Architektur, etwas effizienter. Und auch ChatGPT arbeitet mittlerweile mit diesem Mixture of Experts.
Du hast auch hier dieses Yi-Modell von ZeroOne AI. Das ist ein sehr, sehr starkes Modell. Dann haben wir Gemini von Google, das normale Mistral 7 Billionen Instruct und Phi 3 Mini von Microsoft. Das heißt, wir haben einige Modelle hier.
Gehst du auf „Theme“, dann kannst du es hell und dunkel machen. Ich mag immer den Dark Mode. Gehst du hier auf deinen Namen, dann kannst du dich ausloggen. Wenn du dich das erste Mal einloggst, musst du dich mit Google einloggen oder mit deiner Mailadresse.
Hier werden deine ganzen Konversationen gespeichert. Du siehst hier, ich habe ganz, ganz oft Code gemacht, bei Code oft für „Snake“, weil das für mich zumindest immer eine Benchmark ist, um zu sehen, wie gut diese Modelle funktionieren.
Klickst du hier oben auf „HuggingChat“, dann landen wir erstmal wieder zurück in diesem Chat drinnen. Und hier kannst du deine Prompts eingeben. Du kannst z. B. schreiben: „Code das Snake Game“. Wenn du das antippst, dann wirst du den gesamten Code für ein Snake-Spiel bekommen. Du siehst, hier wird sofort der Code ausgespuckt, und dieser Code funktioniert meistens sogar.
Diesen Code könnten wir testen, z. B. in Replit. Replit ist eine Plattform, wo man Code testen kann. Ich will dir das jetzt aber erstmal ersparen. Ich will dir nur sagen, auch diese Open-Source-LLMs sind in der Zwischenzeit richtig, richtig gut geworden. Aber bevor du diese Open -Source -LLMs verwendest – du kennst jetzt das Interface von Hugging Face –, bevor wir diese LLMs jetzt verwenden, will ich dir zeigen, wie man richtige Prompts schreibt für LLMs. Das ist hier ganz, ganz wichtig,.
Und ich will dir sagen: Es ist egal, ob du in Hugging Chat drinnen bist. Es ist egal, ob du im Standard-ChatGPT-Interface bist. Also auch für Closed-Source-LLMs – es ist wirklich komplett egal, in welchem Interface du bist, in welchem Open-Source- oder auch Closed-Source-LLM du bist. Das funktioniert immer gleich.
Dementsprechend: Im nächsten Video sehen wir uns, sobald wir uns die Basics von Prompt Engineering ansehen. Wie gesagt: völlig egal, welches Interface du verwendest. Das funktioniert immer gleich.