Werk:AI mit Arnie/Groq - LPU statt GPU

Ein weiteres gratis Webinterface, das uns zur Verfügung steht, ist Groq. Groq verwendet einen speziellen Chip, einen sogenannten LPU – Language Processing Unit. Normalerweise lässt man die Inference mit GPUs laufen. Groq macht das Ganze anders, und durch diesen LPU ist das Ding wahnsinnig schnell. Du hast im letzten Video gesehen, wie lange es dauert, Open Source Modelle laufen zu lassen über eine normale GPU von Hugging Face. In diesem Video wirst du sehen, wie schnell Groq mit seiner LPU ist.

Das heißt, wir können einfach auf groq.com gehen. Du kannst hier einen Account machen. Übrigens, hier kann man auch über die API arbeiten. Das heißt, dieses Ding könnte man sogar in eigene Applications einbauen. Und wir können hier verschiedene Modelle verwenden, zum Beispiel Gemini – 7 Billionen. Das ist hier das Modell von Google, das ist ein kleines Modell. Ich nehme an, das geht so schnell. Wenn ich hier draufklicke, dann wird es wahrscheinlich geantwortet haben, fast schon während ich klicke. Und bumm, du siehst, das ging so verdammt schnell! Wir haben so viele Antworten hier, und wir können natürlich andere Modelle verwenden.

Das größte Modell ist Lama 3 mit 70 Billionen, und auch hier können wir natürlich Anfragen stellen. Danach wird Lama antworten. Wir können ja mal was anderes fragen: „Gib mir den Code für Snake.“ Lass uns das nochmal testen. Jetzt antwortet hier Lama, und du siehst, wie schnell das geht. Ich habe natürlich das Gleiche gefragt vorhin im Hugging Chat, und da hat das Ganze wahnsinnig lange gedauert. Ich bin mal gespannt, ob dieser Code diesmal funktioniert, nur um das zu testen. Wir gehen nochmal kurz zurück hier. Wir haben einen Fehler. Der Fehler ist das hier. Wir können das auch debuggen. Wir könnten uns sozusagen auch in Replit drinnen helfen lassen, und wir bekommen auch hier danach die direkte Version.

Das wäre eigentlich hier natürlich nicht der Sinn. Eigentlich würde ich davon ausgehen, dass das Ding läuft, ohne dass wir debuggen müssen. Du siehst, hier werden die Bugs ganz einfach ausgebessert. Wie gesagt, hat immer noch nicht ganz funktioniert, aber das Konzept ist halt einfach, dass man hier überall KI verwenden kann, und danach sollte, könnte, müsste das Ganze natürlich viel, viel besser funktionieren, alles. Aber ich wollte dir generell nur zeigen, dass Groq ein Interface ist.

Hier haben wir Gemini, Lama 3 und Mistral – 8x7 Billionen. Das sind starke Modelle, und wir können sie bei Groq laufen lassen. Das einzig Doofe ist, dass wir hier nur das Standard-LLM verwenden können. Das heißt, natürlich kein Internetzugriff, keine Multimodalität, nichts. Und wir arbeiten halt immer noch nicht lokal. Die nächste Stufe wäre natürlich, solche Dinge lokal laufen zu machen. Denn dann können wir diese Dinge auch zu 100% so verwenden, dass unsere Daten sicher bleiben, und wir können die Dinge unzensiert laufen lassen.

Deshalb will ich im nächsten Video LM Studio vorstellen. Du hast mittlerweile gesehen, wir haben viele verschiedene Möglichkeiten, Interfaces, um Open Source LLMs laufen zu lassen. Hugging Chat funktioniert gut, ist etwas langsam. Groq ist wahnsinnig schnell, hat wenig Implementation. Der größte Nachteil ist immer noch, dass wir nicht jedes LLM laufen lassen können, dass wir nicht lokal sind und dass wir nicht unzensiert laufen lassen können.

Deshalb geht es im nächsten Video um die lokalen LLMs. Das wird richtig, richtig cool! Denn damit können wir alles laufen lassen – komplett privat, komplett sicher und komplett unzensiert.