Werk:AI mit Arnie/Finetuning eines Open Source Modells

Ist es möglich, selbst ein Modell feinzujustieren und so das Modell in diese Richtung zu drücken, wie du es gerne hättest? Absolut! Was brauchst du dafür? Du brauchst das sogenannte Base Model, natürlich ein Open-Source-Based-Model. Und danach müssen wir das Ganze natürlich feintunen. Du kannst das einfacher feintunen, als du denkst. Ich muss jedoch dazu sagen: Das ist vielleicht nicht für jeden hier das Richtige, da man doch eine gewisse Summe Geld ausgeben muss.

Zusätzlich will ich auch noch sagen: Man kann auch über die OpenAI-API feintunen. Das sehen wir uns später an. Jedoch sind das dann nicht wirklich feingetunte Modelle – die werden einfach nur minimal angepasst. Also, was brauchen wir? Wir brauchen Hugging Face. Auf Hugging Face können wir auf AutoTrain gehen, und bei AutoTrain können wir einfach nur klicken: "Create new project." Danach werden wir weitergeleitet auf das hier, und hier können wir uns alles aussuchen – owner, das bin natürlich ich in diesem Fall. Danach können wir einen Space ihm geben, AutoTrain Advanced. Passt schon so. Visibility: Private. Ich würde das auf privat lassen. Du willst nicht, dass jeder dein Modell bekommt, willst du das Open-Sourcen? Dann machst du es natürlich public.

Danach die Space Hardware: Du kannst CPU verwenden, und dies ist gratis. Jedoch ist die wahnsinnig, wahnsinnig langsam. Höchstwahrscheinlich brauchst du hier GPU und nicht CPU, und hier verrechnen sie dir natürlich was. Die allermeisten verwenden hier die H100 tatsächlich. Die bekommt man hier aktuell noch nicht mal. Die kostet 10 Dollar pro Stunde. Das heißt, hier bezahlst du natürlich ziemlich etwas.

Wie würdest du jetzt genau vorgehen, wenn du ein LLM feintunen willst? Gehen wir noch mal ganz, ganz kurz zurück zu diesem AutoTraining. Du könntest auf deinen Namen klicken, danach: "New Space." Hier natürlich noch mal einen neuen Space Namen, mein Modell meinetwegen. Die Lizenz? Die erste, passt schon. Hier. Danach könntest du auf Docker gehen. Und natürlich jetzt: AutoTrain. Jetzt natürlich wieder: Welche GPU würdest du gerne verwenden? Sagen wir einfach mal diese hier. Und dann musst du tatsächlich schon deine Kreditkarte und so weiter hinterlegen.

Wenn hier jemand wirklich mehr Informationen haben will, dann kann er mich anschreiben. Ich habe das schon einige Male probiert, habe mich aber immer dagegen entschieden, weil ich bis jetzt das Geld nicht ausgeben wollte. Man muss hier seinen Stripe-Account angeben, und danach würde man tatsächlich diese H100 mieten. Und mit denen kann man danach das AutoTraining laufen lassen. Man kann hier ein LLM feintunen – das Base Model, z. B. am eigenen Datensatz. Man müsste den Datensatz natürlich vorbereiten, und danach muss man die Dinge eine Weile laufen lassen.

Ein solches Dolphin Model vom Base Model Mistral Mixture – das wurde ungefähr drei Tage trainiert an H100-Grafikkarten, und das kostet in etwa 1.200 Dollar. Ich weiß nicht, ob es wirklich wert ist, selbst ein solches Modell zu feintunen. Aber ich wollte es dennoch hier hinzufügen, falls jemand wirklich ein kompletter Fanat ist und das selbst austesten will, damit ein Modell in seine Richtung eben so drücken kann, wie er es eben gerne hätte – für spezifische Aufgaben und zwar auch komplett unzensiert.

Ich muss dazu sagen: Ich habe selbst noch kein solches Modell feingetunt. Ich habe mich dann immer zum Schluss dagegen entschieden, weil ich meine: Warum? Es gibt so viele tolle Open-Source-Modelle. Höchstwahrscheinlich sollten wir eines von denen verwenden. Und ansonsten könnten wir eventuell auch noch etwas über die OpenAI-API feintunen. Das kostet da einfach nur so, vielleicht so fünf Euro oder zehn Euro, anstatt 1.200 Euro. Aber da hat man halt den Bias mit drinnen.

Ich wollte einfach nur sagen: Es ist möglich, selbst feinzutunen an einem Base Model über Hugging Face mit dem AutoTrain. Man kann sogar Diffusion-Modelle selbst trainieren hier. Das funktioniert sogar sehr, sehr einfach über Google Colab und so weiter. Aber darum soll es hier natürlich nicht gehen. In dem Sinne: Wir sehen uns im nächsten Video. Da will ich noch etwas zeigen von LM Studio für jeden, der hier Entwickler ist. Also, wir sehen uns im nächsten Video!