Werk:AI mit Arnie/Installation von LM Studio
- LLMs meistern
- Open-Source LLMs
- gekürzt um die eingerückten Anteile
Es gibt ganz, ganz viele Möglichkeiten, wie wir Open-Source-LLMs lokal laufen lassen können. Das generelle Grundkonzept bleibt jedoch immer …so gut wie … gleich: Wir müssen irgendwas runterladen. Meistens laden wir es von Hugging Face runter. Wir können auch Dinge runterladen in dem Interface, wo wir uns gerade aufhalten. Das heißt, ich werde dir LM Studio zeigen, in diesem Video – meiner Meinung nach eines der besten Dinge, die wir verwenden können. Einige mögen Olama, und es gibt noch viele, viele weitere. Ich denke, LM Studio ist eines der besten Programme, wenn wir Open Source LLMs lokal laufen lassen wollen. Hiermit können wir wirklich unzensierte Modelle laufen lassen und vieles, vieles mehr.
Bevor wir LM Studio installieren, hier tatsächlich, will ich dir noch Folgendes zeigen: Wenn du diese Open-Source-Modelle laufen lassen willst, dann hast du auch meistens die Chance, ganz einfach auf das Unternehmen direkt zuzugehen. Hier haben wir das Unternehmen Cohere. Cohere ist einfach nur das Unternehmen, das das Modell Command R+ gemacht hat. Und die meisten lassen die ihre Dinge auch austesten. Das heißt, wenn du auf cohere.com gehst, kannst du auf „Chat“ gehen, und du kannst dich natürlich auch hier unterhalten, mit diesem Open Source LLM. Das funktioniert, um ehrlich zu sein, hier auch sehr, sehr gut.
Hier ist halt der Nachteil, wir müssen hunderte Interfaces verwenden. Wir könnten auch Llama laufen lassen – über Meta direkt. Wir können viele Dinge machen hier. Aber viele Dinge sind halt erstens nicht lokal, zweitens nicht unzensiert, drittens in vielen, vielen verschiedenen Interfaces verstreut.
- Willst du dich an andere Interfaces halten, die im Web laufen, würde ich sagen: Hugging Chat und Groq sind die Dinge, die wir verwenden sollten. Und natürlich, wenn du nur ein spezifisches Open Source LLM verwenden willst, kannst du natürlich auf die Seite direkt gehen.
Und vielleicht noch eine klitzekleine Möglichkeit: In der Chatbot Arena kannst du auf „Direct Chat“ gehen und du kannst dir hier all die Modelle aussuchen, die du eben testen willst. Das heißt, du kannst hier sogar Gemini verwenden, die Cloud-Modelle, und natürlich auch all die Open Source Modelle.
Das Modell von Snowflake ist relativ gut. Das verwendet einen Mixture of Experts. Hier sind, glaube ich, 28 verschiedene Experten mit drinnen, und hier kannst du wirklich so gut wie jedes Modell laufen lassen – aber halt nur im ganz, ganz normalen Chat-Interface. Also, eventuell auch einmal auf die Chatbot Arena gehen, auf den directen Chat gehen. Du kannst sogar Side-by-Side-Vergleiche machen, zum Beispiel Claude 3 Haiku gegen Claude 3 Sonnet. Du kannst die Modelle gegeneinander selbst natürlich antreten lassen und dann den Gewinner zeigen.
- Aber jetzt natürlich erstmal die lokale Installation, denn wir haben mittlerweile wirklich viele, viele Cloud-Interfaces gesehen.
Aber jetzt, die Installation tatsächlich von LM Studio. Ich wechsle hier rüber. Das da ist LM Studio.
- LM Studio ist das beste Tool, um lokale LLMs laufen zu lassen – Punkt.
Du siehst auch hier schon: „Introducing Version 0.2.22“. Das heißt, du bekommst auch andauernd neue LLMs hier zur Verfügung. Ganz, ganz knapp ausgedrückt: Alles, was du auf Hugging Face findest – das heißt, wenn du Hugging Face googlest, wenn du hier auf „Models“ gehst – die ganzen Dinge, die du hier drinnen findest. Das heißt, hier sind viele LLMs, also insgesamt über 670.000 Modelle. Da hier sind natürlich die Fusion Modelle auch dabei. Aber alle LLMs findest du eigentlich auch in LM Studio.
Und wie installierst du das Ding? Das ist natürlich wahnsinnig, wahnsinnig einfach. Du kannst dir auch die Dokumentation ansehen hier. Aber was du aktuell brauchst, ist das da: „Download LM Studio for“ – entweder Mac, also die Apple-Produkte, M1, M2, M3, „Download for Windows“ oder „Download for Linux“. Es kommt drauf an, welches Betriebssystem du hast.
Ich habe einen Windows-Computer, und LM Studio ist richtig praktisch. Wir verwenden danach unsere eigene Grafikkarte, aber wir könnten uns theoretisch sogar Grafikkarten ausleihen. Und theoretisch könnten wir auch in Google Colab diese LLMs laufen lassen – mit Python und so weiter. Jetzt geht es aber erstmal um LM Studio, denn ich denke, das ist die beste Methode.
Also: „Download for Windows“, das Ding lädt runter. Danach können wir es installieren. Du musst das runtergeladene Datei nur ein einziges Mal anklicken, und dieses Ding wird hier aufpoppen. Dann kannst du „Close“ klicken, und wir sind hier jetzt schon sofort drin. Das heißt, das Ding ist jetzt lokal installiert, und wir können es jetzt anfangen zu verwenden. Und auch die Verwendung ist richtig, richtig einfach. Und das war es schon.
Also, in diesem Video haben wir gelernt, dass wir viele Möglichkeiten haben, Open Source LLMs laufen zu lassen – von den Seiten direkt, Olama und eben auch LM Studio. Meiner Meinung nach ist LM Studio das aller, allerbeste hier.
Das solltest du jetzt sofort installieren. Also, mach mir das Ding ganz einfach nach. Du brauchst nur auf die Webseite gehen, runterladen für dein Betriebssystem, auf die .exe-Datei klicken, die runtergeladen ist, und danach ist das installiert – in wenigen Sekunden. Und das Interface sieht so aus, wie es eben bei mir aussieht.
Im nächsten Video sehen wir uns das Interface an und wie wir hier Open Source LLMs laufen lassen können, die sogar komplett unzensiert sind.
Also, wir sehen uns im nächsten Video!