Werk:AI mit Arnie/Sagenhaft schnelle Inferenz mit der Groq-API
In diesem Video will ich etwas Cooles zeigen. Wir wissen ja mittlerweile: Wir können Olama Notes verwenden, wir können OpenAI Notes verwenden, und es ist relativ egal, welchen Chatbot wir bauen, welchen Agenten wir bauen. Wir können verschiedenste Modelle verwenden, verschiedenste APIs, die Dinge lokal betreiben und natürlich auch die OpenAI API verwenden.
Jedoch ist die OpenAI API auch ein klein wenig preisspielig und manchmal sogar etwas langsam. Wenn wir auf das Pricing drauf gehen, dann wissen wir ja natürlich: Das normale GPT-4o-Modell kostet 5 im Input für 1 Million Token und 15 im Output. Wir haben dieses neue Modell hier, das ist erst neulich dazugekommen: 250 für Input, 10 für Output. Ja, das ist insgesamt natürlich auch nicht besonders teuer. Und wenn wir runtergehen auf GPT-4o Mini, dann ist das natürlich sehr, sehr günstig.
Aber manchmal sind die Modelle etwas langsam, besonders wenn du hier Vergleiche machst mit Groq. Groq ist unglaublich schnell – 1.000 Token pro Sekunde. Wenn ich hier sowas frage wie „Erzähl eine Geschichte von einem Hund“ und ich schicke das los, siehst du, das ist wirklich unglaublich schnell. Ja, ich verwende hier gerade ein kleines Lama-Modell, das 8-Billionen-Modell. Aber auch wenn wir ein 70-Billionen- oder Milliarden-Modell verwenden, ist Groq relativ schnell.
Wenn ich hier jetzt zum Beispiel schreibe: „Erzähle eine Geschichte von einer Katze, diesmal zum Beispiel“, und ich sende das los, dann siehst du auch hier, dass diese Modelle mit dieser LPU, mit der Language Processing Unit, einfach unglaublich schnell sind.
Und das Coolste ist: Wir können auch Groq über die API verwenden und teilweise sogar gratis. Wenn wir hier draufgehen – ich zeig dir ganz kurz – auf „console.groq.com/playground“, dann sind wir in einem ähnlichen Playground, wie im OpenAI Playground. Hier können wir auch auf die Dokumentation gehen, und du siehst: Du kannst hier die Dinge auch einholen – in Python, in JSON, in Javascript und in Curl und so weiter.
Das heißt, die API von Groq ist von überall aus zu erreichen. Wenn du auf „API Reference“ gehst, bekommst du natürlich noch mehr Informationen. Also, die Dokumentation kannst du dir gerne durchlesen, wenn du dich hier auskennst. Und falls nicht, ist es auch einfach: Wir können auf „API Keys“ gehen, wir können uns einen API Key erschaffen und den überall einfügen, wo wir möchten.
Wenn wir zuerst aber noch auf „Settings“ gehen und auf „Billing“, dann siehst du, dass wir sogar einen Gratisplan haben. Leider hat der Gratisplan Low Rate Limit’s, das heißt, wir können ihn nicht für immer verwenden, aber wir können damit spielen, und das ist natürlich perfekt, wenn man in Flowise spielen will, ohne jemals API-Kosten zu bezahlen. Dann haben wir den Developer-Plan und den Business-Plan. Und hier kommen viele Dinge erst raus, und man muss die Leute anschreiben und so weiter. Aber man kann natürlich erst mal spielen mit diesen Dingen. Und du siehst: Sie haben ein On-Demand-Pricing. Also, erst mal, wie gesagt, man kann das gratis testen. Und wenn du in einen Plan reingehst, dann kannst du die Modelle wahnsinnig günstig verwenden.
Für die Lama 3.1-Modelle, gerade für das stärkste, haben sie hier aktuell leider noch kein Pricing angegeben und auch noch keine Geschwindigkeit. Aber für die älteren Modelle, das normale Lama-3-Modell mit 70 Billion Parametern oder 70 Milliarden Parametern, hier bekommen wir 330 Token pro Sekunde und bezahlen gerade mal 60 bis 80 Cent pro eine Million Token. Das ist natürlich richtig günstig. Und das kleinere Lama-Modell – 1.250 Token pro Sekunde und nur 5 bis 8 Cent für eine Million Token – also sehr günstig. Und das Ding ist halt wahnsinnig schnell. Wir können ein solches Modell wahnsinnig, wahnsinnig schnell betreiben, und für jeden, der auf Speed steht, ist das natürlich perfekt.
Dementsprechend kannst du hier natürlich auf „Usage“, auf „Limits“ und so weiter. Du kannst dich ein kleinwenig durchklicken. Und du siehst selbst, welche Limits du hier bekommst. Also, aktuell sind die Limits, besonders hier, relativ klein. Also, wenn du das stärkste Lama-3.1-Modell verwenden willst, dann hast du relativ viele Limits. Aber mit so einem kleinen Modell, da hast du tatsächlich keine Limits.
Dementsprechend können wir die Dinge natürlich testen. Und wir haben sogar Whisper Large, das wir hier auch verwenden können. Und auch das ist natürlich praktisch, weil es wahnsinnig schnell ist über die Groq-API.
Dementsprechend: Wir könnten mal auf „API Keys“ gehen, wir erstellen einen neuen Key – ich nenne das einfach mal „Agent Test“. Wir kopieren diesen Key, wir gehen zurück in Flowwise. Und jetzt machen wir das so, dass wir zum Beispiel diese Olama-Note rauslöschen, die wir ja gerade getestet haben. Dementsprechend löschen wir diese Note, wir klicken „Plus“, wir gehen jetzt natürlich auf „Chat Models“ runter, wir verwenden den Groq Chat, wir integrieren den, wir verbinden ihn mit unserem Chatmodell. Dann müssen wir hier zum Beispiel neue Credentials machen – ich nenne das jetzt einfach mal, also „Groq Test“. Wir löschen hier die alten Keys, fügen die neuen ein, klicken „Add“. Jetzt will ich das einfach mal speichern hier. Also, das sollte jetzt speichern. Es sollte jetzt über dieses Modell hier laufen.
Und wir können ja mal eine Frage stellen und uns ansehen, ob das Ding schneller ist oder nicht. Ich mache jetzt einfach irgendeine Frage, also zum Beispiel: „Erzähl eine Geschichte von einer Ente.“ Und bevor ich es vergesse – also, ich will das noch mal ganz, ganz kurz kopieren, hätte ich fast vergessen. Wir müssen natürlich noch ein Modell auswählen. Wenn wir hier draufklicken, können wir das Modell wählen, das wir wollen. Ich will einfach mal das Lama-3-8-Milliarden-Modell testen, um dir einfach nur zu zeigen, wie schnell das Ding ist.
Also, jetzt aber noch mal speichern. Wir haben ein Modell. Ich mache das groß, und ich frage hier noch mal: „Erzähl eine Geschichte von einer Ente.“ Und ich send das jetzt los, und du siehst, wie schnell das Ding war. Also, das Ding – das zieht hier wirklich los wie blöd. Ich will das noch mal testen: „Erzähl eine Geschichte von einem Hund.“ Ich schicke das los, und du siehst: Es ist da. Also, es ist fast instant. Die Dinge die tippen hier so schnell los, und du siehst, diese Geschichten, die sind nicht kurz, gerade mit einem solchen kleinen Modell. Also, der Speed ist hier der komplette Wahnsinn.
Du kannst das auch mit den 3.1-Modellen versuchen, zum Beispiel ein 70-Billionen- oder Milliarden-Parameter-Modell. Und auch das allergrößte Modell – ab und zu funktioniert das. Es funktioniert aber nicht immer. Ich bin gespannt, ob ich jetzt eine Antwort bekomme. Die neuen Modelle sind wohl so stark nachgefragt, dass sie die ab und zu blockieren. Also, noch mal: „Erzähle eine Geschichte von einem Hund.“ Ich bin gespannt. Ja, okay, das größte Modell – ich bekomme hier aktuell leider keinen Zugriff. Vielleicht schaffen wir es mit dem 3.1-Modell, mit der 70-Milliarden-Variante. Also, noch mal ganz kurz: „Erzähl eine Geschichte von einem Hund.“ Ich schicke das los, dann sehen wir mal, ob das klappt. Und auch hier scheine ich Probleme zu haben. Also, leider Gottes, die 3.1-Modelle – ich bin mir relativ sicher, dass die auch laufen, sobald du das testest. Aktuell sind die wohl zu stark überlastet.
Aber auf alle Fälle: Wenn du die normalen Lama-Modelle verwendest, dann funktioniert das sehr gut. Aber wir könnten natürlich auch mal Lama 3, das 70-Milliarden-Modell, verwenden und damit rumspielen. Und generell will ich dir sagen: Dieser Groq-Chat, der kann auch Function Calling. Das heißt, den kannst du auch bei Agenten mit einbauen. Wenn wir zum Beispiel zurückgehen auf „Agent Flows“ drauf gehn, wir verwenden irgendeinen Agent Flow – ich will einfach mal das Ding hier zeigen – dann können wir auch hiermit rumspielen. Wir können also große Agenten mit Supervisor und Arbeitern dann verwenden und hier diesen Versuch mit Groq betreiben.
Ich habe hier ein klein wenig rumgespielt. Neulich hatte ich mal ganz kurz Zugriff auf das größte Modell, das hat gut funktioniert. Die kleineren Modelle waren nicht wirklich im Stande, diese großen Agenten anständig zu triggern. Ich empfehle dir einfach, ein klein wenig damit rumzuspielen. Also, wenn du Outputs willst, die sehr schnell sind und die vielleicht etwas einfacher sind, versuch dich auf alle Fälle mit diesem Groq-Modell. Wie gesagt, du kannst es erst mal gratis testen. Das heißt, wenn du hier natürlich auf die Settings gehst und auf „Billing“, bist du im Gratisplan. Dementsprechend spiel einfach mal ein klein wenig damit rum. Und ich bin mir sicher, sie werden uns irgendwann auch die besten Modelle geben, für ein sehr, sehr gutes Pricing. Und vielleicht können wir auch diese komplett gratis testen.
In dem Sinne: Viel Spaß mit Groq! Wenn du schnell sein willst, dann teste mal Groq.