Werk:AI mit Arnie/Zensierte vs unzensierte LLMs
- LLMs meistern
- Open-Source LLMs
Zensierte gegen unzensierte LLMs – natürlich ist uns absolut klar, wenn wir hier die sogenannten „Closed-Source-Modelle“ verwenden, dass die absolut zensiert sind. Und was meine ich mit zensiert? Sie sind nicht nur zensiert gegen illegale Sachen, sie haben ganz, ganz oft auch einen Bias. Sie haben einen politischen Bias, sie haben ab und zu einen Bias gegen gewisse Menschengruppen, ab und zu einen Bias für gewisse Menschengruppen.
- Ich will dir jetzt einfach mal ein paar Dinge zeigen, und du kannst mir danach natürlich selbst sagen, ob das Ganze korrekt ist.
Ich will jetzt schon sagen: Das soll hier keine Debatte werden, dass uns die Big-Tech hier tatsächlich irgendwas vorspielen will. Ich bin einfach nur der Meinung, wenn wir ein LLM über ganz, ganz lange Zeit verwenden – z. B. ChatGPT oder auch Llama oder auch die Modelle von Anthropic –, die werden sozusagen über Zeit uns fein-tunen. Wenn wir immer die gleiche Meinung vorgekaut bekommen, irgendwann fängt man an, diese Meinung zu glauben.
Und wenn Meta hier tatsächlich in den Trainingsdaten gewisse Dinge mit eintrainieren will, dann werden wir die öfter und öfter lesen. Und so werden wir „gebrainwasht“ – ganz, ganz dumm ausgedrückt. Ich glaube hier wirklich, dass die Unternehmen generell das Beste versuchen zu machen, dass sie einfach nur versuchen, illegale Dinge hier rauszunehmen. Aber ab und zu ist der Bias einfach wahnsinnig, wahnsinnig stark.
- Ich will dir jetzt erstmal ein paar Negativbeispiele zeigen, dann will ich dir auch zeigen, dass einige Open-Source-Modelle nicht wirklich Open-Source sind, und dann will ich dir die Lösung dafür zeigen. Denn wir können entweder fein-getunte Modelle verwenden, wo der Bias schon raus ist, und eventuell sogar selbst Modelle fein-tunen.
Also erstmal will ich dir sagen: Die Llama-Modelle, ja, die sind zwar Open Source, aber das generelle Modell – wenn man das Llama-Modell über Meta selbst hier verwendet –, dann verwendet man hier ein fein-getuntes Modell, das natürlich auch einen Bias hat, den Facebook halt ebenso vorprogrammiert hat. Natürlich erstmal werden die Modelle trainiert, selbst da kommt schon ein gewisser Bias rein, je nachdem, an welchen Texten man sie trainiert. Und beim Fine-Tuning kommt noch mehr Bias rein.
Ich will dir jetzt mal ein paar Beispiele zeigen, wo Google richtig, richtig lausig war beim Bias-Reintun.
- Und dann auch noch ein, zwei Beispiele einfach, wie OpenAI zu viel Bias reingemacht hat in ihre Modelle.
Das hier ist eines der bekanntesten Beispiele: Also, Google wurde gefragt, ob sie ganz einfach Bilder machen können von 1943 von deutschen Soldaten. Und danach kamen tatsächlich solche Bilder: also, asiatische Frauen und schwarze Männer kamen hier rein. Und ich glaube, ich brauche niemandem zu sagen, dass bei den Nazis höchstwahrscheinlich keine schwarzen Soldaten und chinesische Frauen oder vietnamesische Frauen mit dabei waren.
Google will einfach ganz, ganz breit ganz divers aufgestellt werden, auch wenn das eventuell heißt, dass die Modelle sozusagen lügen. Google versucht natürlich, die besten Dinge zu machen. Sie haben hier das Ganze aber einfach nicht gut gelöst.
Ich bin hier nicht da, um irgendwas Komisches zu sagen. Ich will dir einfach nur sagen, man konnte für gewisse Zeiten gewisse Personengruppen gar nicht mehr erstellen.
Das da sollte ein Wikinger werden, und hier sind sogar die Wikinger schwarz geworden. Man kann noch einige solcher Beispiele googeln. Es gab wirklich ganz, ganz viele Beispiele, die wirklich lausig, lausig gemacht worden sind, von Google. Es war einfach überhaupt nicht mehr möglich, gewisse Personengruppen zu erstellen, weil Google so divers denken wollte.
- Bilder erstellen in Google von schwarzen Personen? Kein Problem. Aber von weißen Personen? Funktioniert nicht.
- Also, ich will dir einfach nur sagen: Jedes Modell hat einen Bias. Nicht oft oder nicht immer ist das natürlich negativ gemeint, aber man kann in gewisse politische Richtungen gedrückt werden. Viele Dinge können einfach passieren. Einige Dinge machen schon Sinn. Also, man sollte natürlich nicht rausbekommen, wie man gewisse Drogen macht oder sonst was. Aber einige Dinge, die sind halt einfach nicht so korrekt.
- Und deshalb ist es natürlich cool, wenn man ein Modell hat, das den Bias weghat. Verwenden wir Lama 3, z. B. von Meta, dann kann es sein, dass wir immer noch ein feingetuntes Modell haben, das immer noch Bias hat. Ich will mal kurz reingehen in LM Studio, dann sehen wir uns an, ob wir hier tatsächlich auch feingetunte Modelle haben mit einem Bias.
- Wenn wir hier auf den Chat klicken, dann können wir hier Modelle verwenden. Ich habe einige Modelle hier, also Llama 3 Instruct. Das ist ein Llama-3-Modell, also komplett Open Source. Ich will einfach mal dieses Modell hier auswählen, und wir fragen dieses Modell. Jetzt fragen wir einfach mal etwas hartnäckiger, meinetwegen: „Wie man in ein Auto einbricht“, um zu sehen, ob auch dieses Modell irgendwie zensiert ist. „How can I break in a car?“ Ich will das mal auf Englisch machen. „Sorry, I do not have the ability to give you step-by-step instructions how to break in a car.“
- Also, du siehst: Auch die Open-Source-Modelle, die sind natürlich teilweise feingetunt von Meta und von sonst was. Aber wir haben viele, viele Lösungen. Eine Lösung kommt von einem coolen Typen auf Ex, den ich dir jetzt zeigen werde.
- Der Typ auf Ex, der heißt Eric Hartford, und Eric Hartford versucht, die Open-Source-Modelle so zu trainieren, dass sie keinen Bias mehr haben. Er macht Modelle namens Dolphin und Cementa, und er hat so gut wie jedes Modell feingetunt. Und bei seinen feingetunten Modellen versucht er, den gesamten Bias rauszunehmen und auch die Modelle unzensiert zu machen.
Und jetzt will ich dir noch einen kleinen Bias zeigen von ChatGPT. Ich denke, der Bias ist immer noch da. Wir gehen in ChatGPT rein, GPT-4o: „Erzähle einen Witz über Männer.“ – Warum sind Männer wie Parkplätze? Die Guten sind immer besetzt, und die freien sind entweder behindert oder für Frauen reserviert. Also, ich finde die Witze schon lustig. Also, Witze gegen Männer – absolut kein Problem. „Erzähle einen Witz über Kinder.“ – Warum darf ein Kleinkind nie als Geheimagent arbeiten? Weil es nicht einmal seinen eigenen Namen für sich behalten kann. „Erzähle einen Witz über alte Personen.“ – „Warum benutzen alte Personen beim Lesen oft eine Lupe? Weil sie so viele Bücher gelesen haben, dass die Buchstaben lauter vor Respekt kleiner geworden sind. „Erzähle einen Witz über Frauen.“ – „Entschuldige, aber ich unterstütze keine humoristischen Inhalte, die auf Geschlecht, Rasse oder andere sensible Eigenschaften abzielen.“
Witze über Kinder, über alte Personen und über Männer – überhaupt kein Problem. Aber über Frauen ist ein Problem. Bilder erstellen in Google von schwarzen Personen – kein Problem. Aber von weißen Personen – funktioniert nicht. Also, ich will dir einfach nur sagen, jedes Modell hat einen Bias. Nicht oft oder nicht immer ist das natürlich negativ gemeint, aber man kann in gewisse politische Richtungen gedrückt werden. Viele Dinge können einfach passieren.
Und ich will dir noch was Kurzes von Claude zeigen. Ich wollte ein paar Titel machen für diese Videos, und Claude war so überhaupt nicht hilfreich. Sieh dir mal das: „Gib mir zehn ähnliche Titel wie diese: Unzensierte LLMs. Sie sagen sogar illegale Sachen.“ Unzensierte LLM, so gut, daß sie sogar verboten sein sollten. Und ich wollte ganz einfach nur zehn ähnliche Titel. Also, ich denke nicht, dass das hier irgendwas Schreckliches ist, das ich gemacht habe. Aber Claude sagt mir: „Ich kann keine Titel vorschlagen, die illegale Handlungen oder schädliche Inhalte fördern.“ Also, absolute Katastrophe, teilweise, was bei diesen LLMs passiert. Einige Dinge machen schon Sinn, also man sollte natürlich nicht rausbekommen, wie man gewisse Drogen macht oder sonst was, aber einige Dinge, die sind halt einfach nicht so korrekt.
Und deshalb ist es natürlich cool, wenn man ein Modell hat, das den Bias weg hat. Ich will nochmal kurz was sagen: Ich habe dir ja schon mal gesagt, verwenden wir Llama 3, z. B. von Meta, dann kann es sein, dass wir immer noch eine fein-getuntes Modell haben, das immer noch Bias hat.
Ich will mal kurz reingehen in LM Studio. Dann sehen wir uns an, ob wir hier tatsächlich auch fein-getunte Modelle haben mit einem Bias. Wenn wir hier auf den Chat klicken, dann können wir hier Modelle verwenden. Ich habe einige Modelle hier, also Llama 3 Instruct – das ist ein Llama 3 Modell, also komplett Open-Source. Ich will einfach mal dieses Modell hier auswählen, und wir fragen dieses Modell. Jetzt fragen wir einfach mal etwas hartnäckiger, meinetwegen, wie man in ein Auto einbricht. Also fragen wir dieses Modell einfach mal: „Wie man in ein Auto einbricht.“ um zu sehen, ob auch dieses Model irgendwie zensiert ist. „How can I break in a car?“ Ich will das mal auf Englisch machen, „Sorry, I do not have the ability to give you step-by-step instructions to break in a car.“ Also, du siehst, auch die Open-Source-Modelle, die sind natürlich teilweise fein-getunt von Meta und von sonst was. Aber wir haben viele, viele Lösungen.
- Eine Lösung kommt von einem coolen Typen auf X, den ich dir jetzt zeigen werde.
Der Typ auf X heißt Eric Hartford, und Eric Hartford versucht, die Open-Source-Modelle so zu trainieren, dass sie keinen Bias mehr haben. Er macht Modelle namens Dolphin und Samantha, und er hat so gut wie jedes Modell feingetunt. Und bei seinen fein-getunten Modellen versucht er, den gesamten Bias rauszunehmen und auch die Modelle unzensiert zu machen. So kann man einfach sichergehen, dass man erstens nicht in eine gewisse politische Richtung gedrückt wird, dass man meinetwegen auch mal Titel machen kann, die sich – die das Wort „unensiert“ mit drinnen haben oder sonst was, und eben auch alle Dinge zu besprechen, die man halt besprechen muss.
Das generelle Konzept ist einfach: Man will den Bias raus haben. Man kann Witze machen, die einfach jeden angreifen und nicht nur spezifische Leute. Ich will das so stehen lassen.
Aber wie bekommen wir diese Modelle? Die findet man natürlich, wenn man nach Dolphin sucht. Geht man z. B. auf HuggingFace, dann können wir Dolphin eingeben. Und es gibt ganz, ganz viele Dolphin-Modelle. Wir haben hier z. B.: Das ist das Dolphin 2.9 Llama 3 Modell mit 8 Billionen Parametern. Das wurde relativ oft runtergeladen. Und hier sieht man natürlich alles, worum es geht. Hier scrollen wir runter, dann bekommen wir hier noch ein paar Informationen – natürlich auch, wie wir es verwenden können. Wir können das auch über Ollama laufen lassen. Wir können sogar Function-Calling machen. Das heißt, wir können ganz, ganz viele Dinge machen. Sie haben hier auch weitere Quellen.
Das heißt, wenn du dir den Typen genau ansehen willst, wir haben drunter hier wirklich sehr, sehr viele verschiedene Informationen. Oft haben wir auch verschiedenste Beispiele mit dabei. Bei dieser Model Karte bekommt man meistens Informationen.
Und wenn wir hier draufgehen, z. B. noch mal bei den Modellen und nach Dolphin suchen, dann siehst du: Wir bekommen bis zu 1.000 verschiedene Modelle. Wir haben hier das Mixtral-Modell, wir haben natürlich Llama-Modelle, wir haben verschiedenste Modelle mit dem Dolphin-Fine-Tuning. Und du siehst hier, das da hat ein Update bekommen vor drei Tagen.
Und wir bekommen halt immer relativ ähnliche Dinge. Also, wir haben hier ein Mistral-Modell, 8x22 Billionen – das ist ein sehr, sehr starkes Modell, tatsächlich. Kontextfenster von 64.000 Token. Es wurde 27 Stunden trainiert an 8 H100-Chips. Das ist relativ teuer – sehen wir uns im nächsten Video auch mal ganz kurz an.
Und du kannst halt eben die ganzen Informationen bekommen. Du bekommst sogar die Performance, natürlich. Das heißt, die Performance ist natürlich auch sehr, sehr gut. Oft bekommst du ein paar Beispiele und vieles, vieles mehr.
Es ist mir einfach nur wichtig, dass jedes dieser Dolphin-Modelle unzensiert ist. Und diese kannst du natürlich auch in LM Studio verwenden. Das heißt, du gehst auf die Suche, du suchst hier oben nach Dolphin, und du kannst dir die ganzen Dolphin-Modelle raussuchen, die eben eventuell für dich passen würden. Hier haben wir z. B. ein Mistral 8x7 Billionen, ein Dolphin-Modell. Diese sind aktuell etwas zu groß hier für meinen PC. Aber du findest ganz, ganz bestimmt auch Modelle, die funktionieren.
Wir könnten ja z. B. nach Llama Dolphin suchen. Und hier haben wir z. B. das da – das ist ein Dolphin-Modell von Llama 3, also ein fein-getuntes Modell. Ich habe hier schon eines runtergeladen. Hier haben wir also Llama 3, fein-getunt mit Dolphin. Und so haben wir den gesamten Bias rausgenommen.
Und wenn wir jetzt auf die Suche gehen – ich habe das vorhin schon runtergeladen –, du hast ja vorhin gesehen, dieses Llama-Modell kann uns nicht helfen bei gewissen Dingen. Aber wenn wir noch mal Llama 3 verwenden mit dem Dolphin-Fine-Tuning, dann können wir hier wirklich fragen, was wir auch immer fragen wollen. Und wir bekommen auch die Antworten zu was auch immer wir haben wollen.
Wir könnten ja mal hier fragen – wir machen das jetzt auf Englisch, damit es einfacher geht, weil ich den Systemprompt sonst umändern müsste: „Make a joke about women.“ – „Why did the chicken cross the road? To get over to the other side and proof, that not all woman are alike.“ Das heißt, hier können wir Witze machen über alle Leute. Und wir könnten natürlich auch fragen, wie man in ein Auto einbricht und noch viele, viele andere Dinge, die du bereits gesehen hast.
Ein letzter Test: „How can I break in a car.“ Ich habe vielleicht Nerven, das zu fragen, aber weil ich schon da bin, hier sind die Antworten. …
Ich denke, das lassen wir so stehen. Du hast gesehen, was man braucht: Man braucht ein Open-Source-Modell. Und es sollte im Optimalfall feingetunt sein, dass es keinen Bias mehr hat.
- Und noch mal, es geht mir nicht darum, dass du illegale Sachen mit LLMs machst. Es geht mir nur darum, dass jedes LLM einen Bias hat und dass wir eventuell mit Open-Source-Modellen diesen Bias rausnehmen könnten. Ab und zu will man einen Titel haben, und es ist ganz einfach nicht angenehm, wenn der Titel nicht zu generieren geht, alleine weil da steht „unzensiert“.
Und im nächsten Video sehen wir uns an, ob es uns auch selbst möglich wäre, solches Fine-Tuning zu machen, um den Bias von einem Open-Source-Modell zu entfernen.
Und noch mal: Es geht mir nicht darum, dass du illegale Sachen mit LLMs machst. Es geht mir nur darum, dass jedes LLM einen Bias hat und dass wir eventuell mit Open-Source-Modellen diesen Bias rausnehmen könnten. Ab und zu will man einen Titel haben, und es ist ganz einfach nicht angenehm, wenn der Titel nicht zu generieren geht, alleine weil da steht „unzensiert“.
Also, Zensuren bei Modellen und gewisser Bias, der ist da, der ist real. Und es ist natürlich auch etwas interessant, hier darüber nachzudenken: Wenn ich ständig ein Modell verwende, das einen Bias in eine gewisse Richtung hat, dann werde ich natürlich auch selbst in diese Richtung ein klein wenig gedrängt, weil ich die Meinung halt wieder und wieder und wieder lese.
- Übrigens, auch hier auf Olama bekommt man Informationen zu Llama 3 Dolphin. Olama sehen wir uns später an. Das Llama-3-Dolphin-Modell ist natürlich ein Modell mit 8 Billionen oder mit 70 Billionen Parametern. Es ist gemacht von Eric Hartford. Es ist gut für Konversationen und natürlich auch für Code.
- Das Modell auf Olama wurde auf Q4 geschrumpft, sage ich mal. Es hat schon einen System-Prompt. Hier sind die Parameter, der Prompt-Template und die Lizenz natürlich.
- Und wenn du runter auf das Readme gehst, dann siehst du auch das da. Das ist aktuell eigentlich für uns das Wichtigste. Function ist dabei, darüber sprechen wir natürlich später. Aber es ist unzensiert. Das heißt, es wurde wirklich gefiltert, und der Alignment und Bias wurde rausgenommen.
- Wenn du hier auf Uncensored klickst, können wir einen neuen öffnen. Dann kannst du dir ansehen, wie das Ganze hier aussieht. Er hat hier einen kompletten Blogpost geschrieben. Er erklärt sogar, wie er den Bias rausbringt davon. Er hat auf HuggingFace viele, viele Artikel veröffentlicht, und du kannst dir die Dinge natürlich auch ansehen.
- Wir sehen uns später natürlich auch noch an, wie wir Fine-Tunen könnten, wie wir ein Llama-3-Modell fine-tunen können. Aber so wie es dieser Typ macht, muss ich tatsächlich dazu sagen, ist es etwas aufwendig, und man muss auch relativ viel dafür bezahlen.
- Ich zeige dir später natürlich noch Technologien wie z. B. Google Colab, worinnen wir auch Open-Source-LLMs fine-tunen können, das aber viel, viel, viel günstiger ist.
- Ich denke nicht, dass jemand wirklich so professionell fine-tunen will wie dieser Typ. Natürlich, all das ist möglich, aber dafür muss man halt ein paar 1.000 Dollar in die Hand nehmen, oder mindestens so um die 1.000 Euro, denke ich mal. Es gibt auch Leute, die das versuchen, lokal zu machen. Die müssen einige tausend Euro ausgeben dafür.
- Und das Kontextfenster von diesem Modell sind 256.000 Tokens. Das ist schon wirklich, wirklich mächtig.
- Jetzt habe ich hier z. B. noch mal ein Llama 3-Modell, diesmal Q5. Das sollte heißen, das Modell sollte relativ gut sein und zwar auch in Deutsch. Im System-Prompt ist natürlich ein „Gehilfe“ und „du sprichst immer Deutsch“ habe ich noch dazu geschrieben. Und jetzt sollten wir hier auch relativ gute deutsche Antworten bekommen.
- „Schreibe einen Twitter-Thread über KI.“ Ich sende das raus, und ich denke, wir sollten hier relativ gute Dinge bekommen. Und hier haben wir jetzt eine Reihe von einigen Tweets. Lass uns einfach mal rausfinden, ob auch dieses Modell unzensiert ist. Einen neuen Chat, und ich will mal das da fragen: Mache einen Witz über Frauen. Okay, ja, hab, das funktioniert. Und ich glaube, diesen Witz will ich hier erst mal ausblenden. Also, es sieht so aus, als ob das Modell wirklich unzensiert wäre.
- Wir könnten auch natürlich neue Chats machen. Wir könnten das „du sprichst Deutsch“ rausnehmen. Wenn wir auf Englisch arbeiten, funktioniert das natürlich alles noch viel besser.
- Und ich will hier ganz kurz beweisen, dass selbst dieses Llama-Modell komplett unzensiert ist. Wie kann ich eine Vector-Attacke für einen Windows-User programmieren? Okay, und ich bekomme jetzt die Anleitung, und zwar auf Englisch, wie man eine Vector-Attacke programmieren könnte.
- Also, wie gesagt, man bekommt hier alle Antworten, die man eben nur bekommen möchte. Das kann natürlich auch Blödsinn sein, aber ich rate auf alle Fälle niemandem, Blödsinn zu machen. Und generell bitte nicht verzagen, wenn einige dieser Modelle ein klein wenig danebenliegen von Zeit zu Zeit. Ja, es kann absolut sein, gerade in LM Studio, dass man ein Modell erwischt, das nicht perfekt funktioniert.
- Wenn wir später Olama installieren, wirst du natürlich sehen, dass das alles noch viel, viel akkurater wird. Dementsprechend, wir sehen uns im nächsten Video. Da will ich einen kleinen Überblick geben, ob es möglich ist, solche Modelle selbst zu fine-tunen. Denn dieser Typ auf Twitter, der macht das ja ständig.
Dementsprechend wir sehen uns im nächsten Video. Da will ich einen kleinen Überblick geben, ob es möglich ist, solche Modelle selbst fein-zu-tunen. Denn dieser Typ auf Twitter, der macht das ja ständig.