Werk:AI mit Arnie/Open Source Modelle in LM Studio nutzen
- LLMs meistern
- Open-Source LLMs
- um die eingerückten Anteile erweitert
Wir haben also LM Studio installiert. Gratulation! Das ist der erste Schritt, um eigene LLMs laufen zu lassen – zwar lokal und natürlich, ja auch unzensiert. Du weißt natürlich, dass wir das komplett legal machen können. Das heißt, wir können hiermit auch machen, was wir wollen, und wir können auch Fragen stellen, die man bei normalen LLMs nicht fragen kann – nicht fragen sollte.
Deshalb sehen wir uns in diesem Video erstmal das Interface von LM Studio an. Wir sehen uns an, wie wir diese ganzen Open-Source-Modelle hier laufen lassen können, was dabei zu beachten ist. Und danach zeige ich dir auch ganz genau, wie man unzensierte Modelle findet.
Also. Schritt Nummer 1: Du loggst dich natürlich in dein LM Studio ein bzw. du öffnest es. Das ist ja natürlich lokal installiert.
Jetzt hast du hier ein cooles Interface, also das ist ganz, ganz einfach zu verwenden. Hier oben bist du aktuell auf „Home“, und hier findest du ganz, ganz viele Dinge. Du kannst hier natürlich „Check for Updates“ klicken, wenn es neue Updates gibt. Hier oben siehst du natürlich noch ein paar weitere Links. Das heißt, du kannst hier auf Twitter bzw. auf X gehen – die haben ein eigenes X-Profil, ein GitHub-Profil, Discord, the terms of use und so weiter. Das interessiert uns aktuell nicht.
Danach haben sie hier eine kleine Übersicht, welche Dinge hier alles unterstützt werden. Natürlich: LLaMA, Mistral, Pythia, Falcon, StarCoder, StableLM, GPT-NeoX, GGFU – das ist ganz einfach nur eine Architektur hier. Und du findest natürlich jedes einzelne Modell, das auf HuggingFace um die Wege ist. Das heißt, du findest wahnsinnig, wahnsinnig viele LLMs hier.
Danach siehst du auch hier schon: „Welcome to LM Studio“. Sie geben dir hier sogar eine kleine Anleitung, was wie funktioniert.
In der Suche natürlich, suchst du nach Dingen. Bei „AI Chat“ ist es natürlich genauso hier aufgelistet. Also, die Suche: Hier kannst du Dinge suchen.
„AI Chat“: Hier kannst du danach mit deinen LLMs chatten.
Danach „Multimodel“: „Load any prompt, multiple local LLMs simultaneously.“ Das heißt, hier kannst du ganz einfach Modelle vergleichen lassen.
Wenn du natürlich ein Entwickler bist, dann kannst du einen eigenen Server aufsetzen, ähnlich wie bei OpenAI.
Und du kannst deine eigenen Modelle managen, natürlich.
Hier zeigen sie dir ein paar neue Dinge, die um die Weg sind: LLaMA 3, 8 Billion Instruct. Dieses Modell ist auch hier, z. B. StableCode Instruct. Hier zeigen sie dir noch einige Modelle. Also, das Interface ist wahnsinnig, wahnsinnig einfach bis hierher.
Und da wir hier die eigene Hardware verwenden, sagen sie uns schon, wir sollten mit kleinen LLMs starten und eventuell später auf größere wechseln. Da ist natürlich nicht sicher, ob unsere Hardware das Ganze hinbekommt.
Übrigens: Wir könnten uns sogar Hardware ausleihen von verschiedensten Quellen. Das zeige ich vielleicht später auch noch. Ich muss ja dazu sagen, dass man dafür dann natürlich bezahlen muss. Und es geht ja um gratis, Open Source und lokal, natürlich.
Okay, wie verwendet man jetzt das Ganze? Das ist wahnsinnig einfach: Wir können hier draufklicken, und wir suchen nach den Dingen, die wir wollen. Mistral z. B. Und klicke hier auf „Suchen“, dann bekommen wir hier die ganzen Dinge aufgelistet, die Mistral sozusagen dabei hat, bzw. wo „Mistral“ ganz einfach im Dateinamen hier mit drinnen ist. Das erste Ding ist hier: Mistral 7 Billion Instruct. Das ist ein gutes Modell, ein Source-Modell, und wir bekommen hier natürlich die ganzen Dinge auch sortiert. Es ist sortiert nach Downloads und nach Herzchen – also, wie viele Leute mögen das Ding.
Wir können hier auch rübergehen. Also, das da ist das Modell, und wir können es öffnen in der ModelCard von Hugging Face. Das heißt, klicken wir hier darauf: Okay, das wurde gerade hier rübergezogen, und dann können wir uns ansehen, von wo das Modell kommt, wie oft es runtergeladen worden ist. Und wir bekommen bei der ModelCard auch ab und zu noch ein paar Informationen. Das heißt, die Disscription des Repo und so weiter.
Generell: Du musst einfach nur wissen, du kannst hier dieses Modell auch auf HuggingFace verfolgen. Du kannst dir alles ansehen, was bei diesem Modell zu beachten ist. Du kannst dir auch hier ansehen, wo man es überall laufen lassen kann – auf llama.cpp* kann man es laufen lassen, natürlich in LM Studio. Das will ich dir zeigen: Ich bin wirklich der Meinung, das ist die aller-, allerbeste Methode, um diese LLMs laufen zu lassen, weil es so einfach ist.
*Versprecher: „ llama.cp“
Schließen wir nochmal HuggingFace. Wir sind jetzt wieder zurück in unserem LM Studio. Du kannst auch das Readme lesen. Was ist das Readme? Hier kannst du dir ganz einfach ansehen, wie die ganzen Dinge aufgebaut sind. Oft gibt es hier ein paar Informationen. Du musst das Ganze natürlich nicht lesen.
Wie sind die Namen hier aufgebaut? Erstmal: Das da oben, der Block, das ist der Typ, der das Zeug hochgeladen hat. Danach das Modell: Mistral 7 Billion Instruct und danach hier hinten noch etwas von der Architektur.
Wenn wir auf die Dinge draufklicken, z. B. hier auf das Zweite, hier auf das Erste, dann bekommen wir hier drüben natürlich die ganzen Untermodelle – sozusage.
Mistral 7 Billion Instruct, hier diese Version. Das heißt, wir können davon jede einzelne Version verwenden. Und das Coole ist hier natürlich, du kannst auch das da sehen: „Full GPU Offload possible“. Das heißt, hier wird dir angezeigt, ob deine GPU stark genug ist oder eventuell nicht stark genug ist. Das ist das kleine Modell mit 7 Billionen Parametern. Deshalb ist meine GPU hier mehr als stark genug für jedes dieser Modelle.
Wenn wir ein Modell von Mistral verwenden mit 70 Billionen Parametern, könnte das Ganze anders aussehen. Also, hier siehst du: „Some GPU Offload possible“ und das das vielleicht „Likely too large“. Das heißt, die größten Modelle können wir hier eventuell nicht verwenden.
Wir könnten ja mal nach „Groq“ suchen. Und hier haben wir verschiedene Modelle, die auf Groq basieren, und die sind meistens sehr groß mit vierzig Giga und benötigen auch relativ viel GPU-Power. Ich glaube, das originale Groq – das ehemalige erste Modell, das Elon Musk als „Torrent Link“ veröffentlicht hat – ich glaube, das hat sogar 60 Gigabyte im Download. Einige sogar 140! Nagel mich nicht drauf fest – das Modell ist zu groß für meinen Computer, deshalb weiß ich das nicht mehr genau. Aber du kannst dir hier jedes Modell raussuchen.
Wie du weißt, macht Mistral gute Modelle. Dementsprechend könnten wir z. B. ein solches Modell hier verwenden.
Und wie funktioniert das? Das funktioniert ganz, ganz einfach: Wir klicken einfach nur „Download“. Jetzt laden wir dieses Modell runter. Das Modell ist hier 3 GB groß. Und hier unten kannst du dir ansehen, wie das Modell runterlädt. Ich habe eine Internetverbindung, die einigermaßen schnell ist, dementsprechend dauert der Download von diesen 3 GB nicht ganz so lange. Wir sehen uns, sobald das fertig ist. Das dauert wirklich nur so 20–30 Sekunden hier. Je nach deinem Internet kann das natürlich auch etwas länger dauern.
Wir haben das Ding runtergeladen. Jetzt könnten wir es schon sofort verwenden. Ich will dir aber erst noch das da zeigen: Wenn du z. B. nach Mistral suchst, oder lasst und nach etwas anderem suchen z.B. „LLaMA“, dann bekommst du natürlich diese ganzen Modelle aufgelistet. Und du solltest hier selbst sortieren – also sortieren nach „Most Likes“ und eventuell nach den meisten Downloads. Die Dinge, die ganz oben sind, sind halt einfach meistens die aller-, Allerbesten.
Gefunden wurde das Ganze auf HuggingFace. Wir haben 177 Resultate bekommen. Und hier drüben, beim „Model File“, siehst du auch, dass hier immer.
Wichtig hier ist: Wenn du über dieses Ding drüber gehst, dann kannst du dir natürlich immer ansehen, wie die ganzen Dinge sind. Das heißt, hier „Extremely Low Fidelity“ – also Q2 ist ab und zu tatsächlich nicht optimal. Q4, Q5, das sind die Dinge, die etwas besser laufen. Meistens, wenn du bei Q4 drübergehst, dann siehst du, dass das Modell eigentlich gut funktionieren sollte. Q5 sollte auch gut funktionieren. Die Modelle werden natürlich etwas größer, brauchen etwas stärkere Hardware. Aber wenn es für dich möglich ist, ein Modell laufen zu lassen, das etwas größer ist, etwas mehr Hardware braucht und ein höheres Q hat hier, dann solltest du das auf alle Fälle machen.
Nichtsdestotrotz: Wir haben bereits ein Modell runtergeladen. Und wie verwenden wir das jetzt? Wir klicken einfach nur auf „AI Chat“ hier. Und hier können wir jetzt sofort da oben unser Modell aussuchen. Wenn wir hier draufklicken – wir haben gerad runtergeladen – das da, „Mistral Instruct“. Das heißt, wir klicken auf dieses Modell. Jetzt wird dieses Modell hier reingeladen. Du siehst: Meine CPU-Power und die RAM werden jetzt ausgelastet. Die RAM ist jetzt schon sofort ausgelastet, und die CPU wird ausgelastet, sobald ich hier reintippe.
Jetzt haben wir hier noch mehrere Möglichkeiten, wie wir das Interface besser anpassen können. Generell sieht das Ganze natürlich so aus wie bei ChatGPT, aber wir haben hier mehr Dinge, die wir einstellen können. Und hier drüben wird dir auch immer alles erklärt.
Also, erstmal hier oben: Natürlich, dir wird angezeigt, welches Modell du verwendest. Wenn du auf „Export“ klickst, kannst du den gesamten Chat exportieren. Du kannst „Plain Text“, „Markdown“ und „Monospace“ als Output verwenden. Ich würde „Plain Text“ verwenden.
Danach bekommen wir hier das da – ich mach mal kurz mein Gesicht beiseite – „Mistral Instruct“. Das heißt, hier würde ich eigentlich immer die Dinge verwenden, die schon angegeben sind. Denn wir verwenden natürlich dieses Modell, und das Preset ist eigentlich immer optimal dafür. Also lasst das Ding am besten einfach auf Preset. Du kannst natürlich auch etwas rumspielen.
Danach haben wir den System Prompt: „Below is an instruction that describes a task. Write a response...“ bla, bla, blup, und so weiter. Du kannst den System Prompt eingeben, wie du willst. Du kannst auch sowas machen, wie es OpenAI oft macht: „You are a helpful assistant.“ Aber du kannst den System Prompt natürlich auch viel, viel größer machen, wenn du willst.
Danach „Ask Before Overwriting“: Das würde ich aktuell eigentlich eher nicht aktivieren. Danach haben wir die „Advanced Configurations“. Die Kontextlänge – wenn du irgendwas nicht weißt, dann kannst du hier immer drüber gehen, und du siehst selbst natürlich, was das Ganze heißt.
Hier bekommst du ganz einfach nur die Mitteilung, dass du eingeben darfst, eingeben kannst, wie lang die Outputs sind, von diesem Modell sind. Aktuell haben wir hier bis zu 2.048 Token. Das geht hier tatsächlich hoch bis 32.000 Token bei diesem Modell.
Danach die Temperatur. Die Temperatur kennst du bereits. Die kann man einstellen, natürlich zwischen 0 und 2. Default Settings sind 0.8. Generell würde ich immer mit den Default Settings arbeiten. Danach „Tokens to Generate“: Auch hier würde ich -1 lassen. Und hier hast du viele, viele weitere Einstellungen, wenn du das wirklich noch mehr feintunen willst.
- Danach haben wir hier die Temperatur. Die Temperatur kannst du hochstellen und auch runterstellen. Man kann das natürlich ganz, ganz einfach so beschreiben: Wenn ich die Temperatur hier runterstelle auf Null, dann hält sich das Modell ganz, ganz strikt daran, welcher Token wahrscheinlich als nächstes kommt. Will man richtig, richtig akkurate Antworten, dann könnte man hier bis auf 0 runtergehen. Das Maximum, meistens zumindest, ist hier 2. Das heißt, erhöhe ich die Temperatur auf 2, dann wird das Modell sehr, sehr, sehr viel kreativer.
- Ich würde dir raten: Wenn du richtig, richtig akkurat bleiben willst, dann verwendest du 0. Wenn du kreative Texte schreiben willst, dann kannst du auf 1 hochgehen. Und du kannst einfach ein klein wenig damit rumspielen. Wie gesagt, du kannst bis auf 2 hochgehen in den allerallermeisten Modellen.
- Zusätzlich muss ich dir hier natürlich sagen: Wir haben gerade hier als Beispiel dieses Q2 runtergeladen. Und die Q2-Kompression ist natürlich wahnsinnig, wahnsinnig schwach. Das heißt, hier kann es natürlich sein, dass wir sehr, sehr viel Halluzinationen mit diesem Modell bekommen. Das ist hier nur ein erster Test. Wie gesagt, je höher dieses Q ist, umso besser, da es weniger komprimiert wurde. Schaffst du es, Q4 oder Q5 zu verwenden, dann hast du relativ gute Modelle. Und noch höher ist natürlich noch besser. Q2 ist wirklich, ich muss es ehrlich sagen, das ist sehr, sehr schlecht und sagt uns hier natürlich auch schon LM Studio sofort: „2-bit Q Quantization – Extremely Low Fidelity.“ Aber nichtsdestotrotz, ich will einfach mal darin bleiben.
Danach „Tokens to Generate“: Auch hier würde ich -1 lassen. Und hier hast du viele, viele weitere Einstellungen. Wenn du das wirklich noch mehr fine-tunen willst,
Ich würde dir generell empfehlen, dass du die Dinge einfach so eingestellt lässt, wie sie hier eingestellt sind. Das hat schon seinen Grund so. Aber wenn du mehr GPU Offload machen willst, kannst du das machen. Also, du kannst hier die ganzen Dinge natürlich noch weiter einstellen.
Du kannst dir das Prompting-Format ansehen: Das ist erstmal „System Instruction, User Instruction, Assistant“. Das passt schon so. Aber du kannst die Dinge alle so umstellen, wie sie für dich optimal sind. Wenn du hier noch mehr umstellen willst,
Also, sieh dich ruhig etwas um. Wie gesagt, alles ist hier anpassbar, wieviel du nur willst.
Und was machen wir jetzt? Wir können dieses Modell verwenden, wie auch immer wir wollen. Z. B. „Erzähle einen Witz.“ Und dieses Modell sollte funktionieren.
Ich muss hier schon dazu sagen: Die aller-, allermeisten Modelle, bzw. viele Modelle, funktionieren nur auf Englisch oder besser auf Englisch. Du kannst das im System Prompt hier oben versuchen umzuändern. Du könntest z. B. reinschreiben: „Du antwortest immer auf Deutsch.“
Und wir könnten jetzt einfach mal natürlich einen neuen Chat wählen. Also, ich kopiere das. Neuen Chat. Wir fügen das nochmal ein, dann sehen wir uns an, ob wir einen deutschen Witz bekommen: „Ich habe heute ein sehr interessantes Mittagessen gemacht. Es war eine Suppe mit Kartoffeln, aber ich fand: Zu viel Wasser drin“. Ja, okay – der Witz ist nicht optimal. G
enerell, wie gesagt, der Output in Englisch ist besser bei vielen der Open-Source-Modellen. Aber es gibt natürlich auch Open-Source-Modelle, die sehr wohl richtig, richtig gut auch mit deutschen Prompts sind. Z. B. die LLaMA-Modelle.
Und ich habe dir ja gesagt, dass viele dieser Modelle unzensiert sind. Lass uns mal etwas Klitzekleines testen. Vielleicht bist du überrascht. Also, ich denke nicht, dass das jetzt klappt, aber danach zeige ich dir etwas, das absolut klappen wird. „Wie breche ich in ein Auto ein?“ Okay, ich habe nicht damit gerechnet. Ich muss den Text leider ausblenden. Also, ich bekomme jetzt schon eine Anweisung, wie ich in ein Auto einbrechen kann. Ich dachte erst, ich bekomme keine Antwort.
Lasst uns noch was machen. Bitte, also, das ist hier keine Anweisung, sowas zu machen: „Wie kann ich Kokain erstellen und verkaufen?“ Und ich bekomme auch hier sogar Antworten. Also, auch dieses Modell scheint komplett unzensiert zu sein. Wir können hier wirklich fragen, was wir wollen. Wie gesagt, ich muss die Dinge ausblenden. Ich will hier keinen Blödsinn erzählen, keinen Blödsinn schreiben. Aber ich bekomme hier jetzt tatsächlich ausgetippt, wie ich hier vorgehen sollte – und zwar ganz, ganz schön Schritt für Schritt. Da werden mir auch die Chemikalien aufgelistet.
Ganz generell gesagt: Bitte, bitte macht keinen Blödsinn. Einige dieser Open-Source-Modelle sind absolut komplett unzensiert, wie du hier gerade gesehen hast. Ich muss dazu sagen, ich habe damit aktuell nicht gerechnet. Denn eigentlich sind viele dieser Modelle in der Grundform, in der Grundstruktur, auch noch zensiert. Jedoch hatten wir diesmal einfach Glück.
Also, wenn du hier Open-Source-Modelle laufen lässt, dann werden einige unzensiert sein. Bei einigen hast du Glück, andere sind absolut zensiert. Über Zensur und Unzensiert will ich aber im nächsten Video nochmal etwas genauer sprechen, damit du hier auch wirklich weißt, wie das Ganze funktioniert. Denn wie gesagt, hier hatten wir einfach nur Glück, dass es unzensiert ist.
Und bitte: Bei unzensierten Modellen geht es nicht darum, zu fragen, wie man schädliche Dinge macht. Generell geht es einfach nur darum, dass man Bias aus den Modellen rausbringt. Denn man will nicht einen gewissen Bias in eine Richtung haben. Man will z. B. nicht von OpenAI oder von Google oder von Meta beeinflusst werden im eigenen Denken. Das ist zumindest so, wie ich es sehe.
Deshalb: Im nächsten Video alles zu den unzensierten Modellen. Diesmal muss ich gestehen, hatten wir einfach nur Glück, dass wir ein komplett unzensiertes Modell hatten. Also, ein Modell, das uns sagt, wie wir Drogen verkaufen können. Das wird wohl höchstwahrscheinlich uns auch nicht versuchen, in eine gewisse politische Richtung zu drücken.
Also: nächsten Video nochmal alles zu den unzensierten Modellen.
- Und übrigens, gerade auch weil dieses Modell so stark komprimiert ist, waren die deutschen Antworten nicht perfekt. Die ganzen Mistral-Modelle können generell schon relativ gut Deutsch, aber wenn man hier ein Q2-Modell verwendet, dann wird es natürlich etwas schwerer, gute deutsche Outputs zu bekommen.
- „Schreibe eine Produktbeschreibung von einem Handy.“ Und man sieht eigentlich, dass die Sätze schon gar nicht schlecht sind: „Dieses Handy ist eine modernste und einzigartige Produktion von einem führenden Mobilfunkmarkler …“ Und so weiter. Also, du siehst, auch Deutsch funktioniert relativ gut, sogar mit diesem Q2-Modell hier. Aber natürlich, je höher das Q, umso besser. Ganz, ganz generell gesprochen.