Werk:AI mit Arnie/Groq - LPU statt GPU
LLMs meistern
Ein weiteres gratis Webinterface, das uns zur Verfügung steht, ist Groq. Groq verwendet einen speziellen Chip, einen sogenannten LPU – Language Processing Unit. Normalerweise lässt man die Inference mit GPUs laufen. Groq macht das Ganze anders, und durch diesen LPU ist das Ding wahnsinnig schnell. Du hast im letzten Video gesehen, wie lange es dauert, Open Source Modelle laufen zu lassen über eine normale GPU von Hugging Face. In diesem Video wirst du sehen, wie schnell Groq mit seiner LPU ist.
Das heißt, wir können einfach auf groq.com gehen. Du kannst hier einen Account machen. Übrigens, hier kann man auch über die API arbeiten. Das heißt, dieses Ding könnte man sogar in eigene Applications einbauen. Und wir können hier verschiedene Modelle verwenden, zum Beispiel Gemini – 7 Billionen. Das ist hier das Modell von Google, das ist ein kleines Modell. Ich nehme an, das geht so schnell. Wenn ich hier draufklicke, dann wird es wahrscheinlich geantwortet haben, fast schon während ich klicke. Und bumm, du siehst, das ging so verdammt schnell! Wir haben so viele Antworten hier, und wir können natürlich andere Modelle verwenden.
Das größte Modell ist Lama 3 mit 70 Billionen, und auch hier können wir natürlich Anfragen stellen. Danach wird Lama antworten. Wir können ja mal was anderes fragen: „Gib mir den Code für Snake.“ Lass uns das nochmal testen. Jetzt antwortet hier Lama, und du siehst, wie schnell das geht. Ich habe natürlich das Gleiche gefragt vorhin im Hugging Chat, und da hat das Ganze wahnsinnig lange gedauert. Ich bin mal gespannt, ob dieser Code diesmal funktioniert, nur um das zu testen. Wir gehen nochmal kurz zurück hier. Wir haben einen Fehler. Der Fehler ist das hier. Wir können das auch debuggen. Wir könnten uns sozusagen auch in Replit drinnen helfen lassen, und wir bekommen auch hier danach die direkte Version.
Das wäre eigentlich hier natürlich nicht der Sinn. Eigentlich würde ich davon ausgehen, dass das Ding läuft, ohne dass wir debuggen müssen. Du siehst, hier werden die Bugs ganz einfach ausgebessert. Wie gesagt, hat immer noch nicht ganz funktioniert, aber das Konzept ist halt einfach, dass man hier überall KI verwenden kann, und danach sollte, könnte, müsste das Ganze natürlich viel, viel besser funktionieren, alles. Aber ich wollte dir generell nur zeigen, dass Groq ein Interface ist.
Hier haben wir Gemini, Lama 3 und Mistral – 8x7 Billionen. Das sind starke Modelle, und wir können sie bei Groq laufen lassen. Das einzig Doofe ist, dass wir hier nur das Standard-LLM verwenden können. Das heißt, natürlich kein Internetzugriff, keine Multimodalität, nichts. Und wir arbeiten halt immer noch nicht lokal. Die nächste Stufe wäre natürlich, solche Dinge lokal laufen zu machen. Denn dann können wir diese Dinge auch zu 100% so verwenden, dass unsere Daten sicher bleiben, und wir können die Dinge unzensiert laufen lassen.
Deshalb will ich im nächsten Video LM Studio vorstellen. Du hast mittlerweile gesehen, wir haben viele verschiedene Möglichkeiten, Interfaces, um Open Source LLMs laufen zu lassen. Hugging Chat funktioniert gut, ist etwas langsam. Groq ist wahnsinnig schnell, hat wenig Implementation. Der größte Nachteil ist immer noch, dass wir nicht jedes LLM laufen lassen können, dass wir nicht lokal sind und dass wir nicht unzensiert laufen lassen können.
Deshalb geht es im nächsten Video um die lokalen LLMs. Das wird richtig, richtig cool! Denn damit können wir alles laufen lassen – komplett privat, komplett sicher und komplett unzensiert.
Open-Source LLMs
Du hast also einige Dinge gesehen, die wir im HuggingChat machen können. Generell ist der Hugging Chat cool. Wir können viele Dinge machen. Das Coolste ist, dass aus Function Calling mit eingebaut ist, gerade bei diesem Command R+ Modell. Über das Function Calling sprechen wir später noch etwas mehr, sobald wir das selbst lokal auf dem Computer ausführen. Da erkläre ich natürlich ganz, ganz genau, was wie passiert, warum es passiert, was wir machen müssen, um sicher zu sein und so weiter. Aber vorher will ich dir noch ein weiteres Cloud Interface zeigen, das ganz, ganz besonders ist. Ich spreche von Groq – Groq am Ende mit einem „q“. Grock mit einem „k“ ist das Open Source LLM von Elon Musk. Das Modell ist jedoch riesen riesengroß, und es ist wahnsinnig schwer, das Ganze laufen zu lassen. Nichtsdestotrotz will ich jetzt über Groq sprechen mit „q“.
Wenn du das Ding googelst, dann ist das Erste, was auftaucht, dass da steht: Groq ist Fast AI Inference, und die Typen übertreiben nicht. Klickst du auf diesen Link, dann landest du in diesem Interface.
Hier in der rechten Seite – oder auf der rechten Seite – siehst du, dass du draufklicken kannst, und du kannst verschiedene Open Source LLMs verwenden. Du kannst das Schema-7-Billionen-Modell verwenden, das Lama 3 mit 70 Billionen Parametern, Lama 3 mit 8 Billionen Parametern und Mix 8 x 7 Billionen. Das kleinste Modell ist hier Schema 7 Billionen. Und da das Modell auch sehr klein ist, kann man das Modell noch schneller laufen lassen.
Das Besondere an Groq ist, dass wir hier keine GPU verwenden, um die Modelle laufen zu lassen, sondern eine sogenannte LPU. LPU steht für Language Processing Unit, und das Ding wurde speziell dafür entwickelt, um Inference zu machen bei LLMs. Inference heißt ganz einfach, dass wir die Dinge ausführen. Und wenn ich jetzt auf sowas klicke – das ist ein Starterprompt bei Fast Inference Matters – wenn ich darauf klicke, dann wird das fast instant generiert sein. Sieh dir einfach mal an. Ich höre jetzt nicht auf zu sprechen. Klick darauf, und du siehst, wie wahnsinnig schnell das Ganze gegangen ist. Das ist die rechte Seite. Nein, ich habe hier nichts geschnitten. So schnell funktioniert diese LPU mit diesem kleinen Modell.
Wenn ich hier das Ganze jetzt einfach noch mal neulade und wir verwenden ein großes Modell, das 70-Billionen-Modell von Lama, dann wirst du auch sehen, dass es immer noch sehr, sehr schnell funktioniert, obwohl das Modell riesengroß ist. „What is Generative AI“ – wenn ich darauf klicke, dann siehst du, wie verdammt schnell das hier tatsächlich immer noch generiert. Das sind 356 Tokens die Sekunde. Das ist wahnsinnig, wahnsinnig schnell immer noch, obwohl das Modell sehr, sehr groß und sehr, sehr stark ist.
Wenn du hier runterscrollst, kannst du die Dinge sofort kopieren – natürlich. Du kannst du zum Top wieder gehen. Und ganz, ganz wichtig ist auch: Ja, das kann natürlich auch Deutsch. Ich lade das noch ein letztes Mal neu, und ich zeige dir irgendwas auf Deutsch hier. Das funktioniert immer noch genauso schnell.
„Schreib eine Geschichte von einem Fisch, der in der Wüste spazieren geht, auf Deutsch“. Und ich schicke das Ganze los. „Was für eine fantastische Idee! Hier ist eine Geschichte über einen Fisch, der in der Wüste spazieren geht. Der Fisch heißt Finley und lebt in einem kleinen Teich inmitten der Wüste. Eines Tages und so weiter.“ Und du siehst: Das Ganze endet mit „Finley war glücklich, dass er seine Träume verwirklicht hatte. Er hat die Wüste erkundet und war zurückgekehrt, um seine Geschichte zu erzählen.“
Also ja, die können auch Deutsch. Generell funktioniert das in Englisch etwas besser. Wir müssen den Modellen sagen, dass sie Deutsch sprechen sollen. Aber ich wollte dir einfach nur zeigen, wie schnell du ein LLM laufen lassen kannst in der Cloud.
Übrigens: Groq hat auch ein API. Die können wir auch verwenden in eigenen Applications. Jedoch will ich danach wieder auf lokale LLMs zurückkommen. Ich wollte dir einfach nur zeigen: Wenn du ein Open Source Modell haben willst, das wahnsinnig, wahnsinnig schnell funktioniert, dann solltest du dich einfach mal bei Groq umschauen. Dank dieser LPU ist dieses Ding einfach wahnsinnig, wahnsinnig schnell. Und du kannst ein klein wenig spielen, gerad auch, wenn du mit dem Prompt Engineering etwas spielen willst, ist Groq natürlich richtig praktisch. Und wenn du ganz, ganz schnell mal was fragen willst, dann kannst du dich ruhig an Groq wenden.