Werk:AI mit Arnie/Finetuning eines Open Source Modells
- LLMs meistern "Finetuning eines Open Source Modells"
- Open-Source LLMs "Finetuning eines Modells auf Huggingface"
Ist es möglich, selbst ein Modell feinztutunen und so das Modell in diese Richtung zu drücken, wie du es gerne hättest? Absolut! Was brauchst du dafür? Du brauchst das sogenannte Base Model, natürlich ein Open-Source based Model, und danach müssen wir das Ganze natürlich finetunen. Und du kannst das einfacher finetunen, als du denkst. Ich muss jedoch dazu sagen, das ist vielleicht nicht für jeden hier das Richtige, da man doch eine gewisse Summe Geld ausgeben muss.
Zusätzlich will ich auch noch sagen: Man kann auch über die OpenAI-API finetunen. Das sehen wir uns später. Jedoch sind das dann nicht wirklich fein-getunte Modelle, die werden einfach nur minimal angepasst.
Zusätzlich will ich auch noch sagen: Man kann auch über die OpenAI-API feintunen. Das sehen wir uns später an. Jedoch sind das dann nicht wirklich feingetunte Modelle – die werden einfach nur minimal angepasst.
Also, was brauchen wir? Wir brauchen HuggingFace. Auf HuggingFace können wir auf AutoTrain gehen, und bei AutoTrain können wir einfach nur klicken: Create New Project. Danach werden wir weitergeleitet auf das hier. Und hier können wir uns alles aussuchen.
Owner das bin natürlich ich in diesem Fall. Danach können wir einen Space nehmen, eben AutoTrain Advanced. Passt schon so.
Visibility: Private. Ich würde das auf privat lassen. Du willst nicht, dass jeder dein Modell bekommt, willst du das Open-Sourcen? Dann machst du es natürlich public.
Danach die Space Hardware: Du kannst CPU verwenden, und dies ist gratis. Jedoch ist die wahnsinnig, wahnsinnig langsam. Höchstwahrscheinlich brauchst du hier GPU und nicht CPU, und hier verrechnen sie dir natürlich was. Die allermeisten verwenden hier die H100, tatsächlich. Die bekommt man hier aktuell noch nicht mal. Die kostet 10 Dollar pro Stunde. Das heißt, hier bezahlst du natürlich ziemlich etwas.
Wie würdest du jetzt genau vorgehen, wenn du ein LLM feintunen willst? Gehen wir noch mal ganz, ganz kurz zurück zu diesem AutoTraining. Du könntest auf deinen Namen klicken, danach: "New Space." Hier natürlich noch mal einen neuen Space Namen, mein Modell meinetwegen. Die Lizenz? Die erste, passt schon hier. Danach könntest du auf Docker gehen. Und natürlich jetzt: AutoTrain. Jetzt natürlich wieder: Welche GPU würdest du gerne verwenden? Sagen wir einfach mal diese hier. Und dann musst du tatsächlich schon deine Kreditkarte und so weiter hinterlegen.
Wenn hier jemand wirklich mehr Informationen haben will, dann kann er mich anschreiben. Ich habe das schon einige Male probiert, habe mich aber immer dagegen entschieden, weil ich bis jetzt das Geld nicht ausgeben wollte. Man muss hier seinen Stripe-Account angeben, und danach würde man tatsächlich diese H100 mieten. Und mit denen kann man danach das AutoTraining laufen lassen. Man kann hier ein LLM feintunen – das Base Model, z. B. am eigenen Datensatz. Man müsste den Datensatz natürlich vorbereiten, und danach muss man die Dinge eine Weile laufen lassen.
Ein solches Dolphin Model vom Base Model Mistral Mixture – das wurde ungefähr drei Tage trainiert an H100-Grafikkarten, und das kostet in etwa 1.200 Dollar. Ich weiß nicht, ob es wirklich wert ist, selbst ein solches Modell zu feintunen. Aber ich wollte es dennoch hier hinzufügen, falls jemand wirklich ein kompletter Fanat ist und das selbst austesten will, damit ein Modell in seine Richtung eben so drücken kann, wie er es eben gerne hätte – für spezifische Aufgaben und zwar auch komplett unzensiert.
Ich muss dazu sagen: Ich habe selbst noch kein solches Modell feingetunt. Ich habe mich dann immer zum Schluss dagegen entschieden, weil ich meine: Warum? Es gibt so viele tolle Open-Source-Modelle. Höchstwahrscheinlich sollten wir eines von denen verwenden. Und ansonsten könnten wir eventuell auch noch etwas über die OpenAI-API feintunen. Das kostet da einfach nur so, vielleicht so fünf Euro oder zehn Euro, anstatt 1.200 Euro. Aber da hat man halt den Bias mit drinnen.
Ich wollte einfach nur sagen: Es ist möglich, selbst feinzutunen an einem Base Model über HuggingFace mit dem AutoTrain. Man kann sogar Diffusion-Modelle selbst trainieren hier. Das funktioniert sogar sehr, sehr einfach über Google Colab und so weiter. Aber darum soll es hier natürlich nicht gehen.
- Methoden, die jedoch sehr, sehr viel einfacher funktionieren, ist das Finetuning über Google Colab. Wir haben ganz, ganz viele verschiedene Google Colab Notebooks, und in diesen kann man sogar teilweise gratis finetunen. Das will ich später tatsächlich zeigen, denn es ist absolut möglich, Finetuning zu machen an diesen Open Source Modellen. Ja, es funktioniert sogar gratis, aber wir müssen etwas Zeit mitbringen.
- Ich denke, aktuell ist es noch nicht an der Zeit, ein Modell zu finetunen. Ich wollte das dennoch anmerken, denn ich denke, wir sollten uns erst mal auf die anderen Möglichkeiten konzentrieren. Erst mal lernen, wie wir Prompts schreiben für diese Modelle und danach lernen, wie wir die RAG-Technologie verwenden, sodass wir auch eigene PDFs hochladen können und diese ganzen Technologien so verwenden können, wie sie Sinn machen. Auch, wie wir KI-Agenten bauen und vieles, vieles mehr.
- Also, ich denke, das Finetuning sehen wir uns so Richtung Ende des Kurses noch mal etwas genauer an. Denn ich denke, bis jetzt ist das noch nicht nötig. Aber ich wollte es dennoch jetzt schon anmerken, da einfach ganz, ganz viele Leute fragen, nachdem ich ein fein-getuntes Modell zeige: Hey, wie kann ich das selbst machen? Und ich sag dir jetzt schon: Ja, das kannst du, wenn du es professionell machen willst über HuggingFace, dann kostet es ziemlich etwas. Aber wir können es auch über Google Colab machen, und zwar etwas später im Kurs.
In dem Sinne: Wir sehen uns im nächsten Video. Da will ich noch etwas zeigen von LM Studio für jeden, der hier Entwickler ist.
Also, wir sehen uns im nächsten Video!