Werk:AI mit Arnie/GPU bei Runpod oder Massed Compute mieten
Falls unsere lokale Hardware nicht ausreicht, um LLMs laufen zu lassen, dann ist es wichtig, dass wir auch wissen, dass wir tatsächlich auch Hardware ausborgen können, und zwar auf zwei verschiedenen Webseiten. Es gibt Runpod und es gibt Mass Compute. Ich persönlich mag Runpod am liebsten. Und ich muss jetzt schon dazu sagen, dass ich hier eigentlich nie GPUs miete.
Ich verwende tatsächlich einfach nur die Dinge, die ich selbst lokal laufen lassen kann. Und um ehrlich zu sein, ist das auch das Ding, das ich den allermeisten Leuten empfehlen würde.
Ja, wir haben die Möglichkeiten, und wir haben sogar die Möglichkeit, in Google Colab die Dinge laufen zu lassen. Aber wenn jemand wirklich ein anständiges Interface haben will und die Dinge genauso verwenden will wie im Kurs, dann braucht man natürlich eine halbwegs gute GPU.
Aber nichtsdestotrotz, ich will das da mal zeigen, denn gerade in RunpPd haben wir wirklich sehr, sehr attraktive Möglichkeiten. Wenn du dich das erste Mal bei RunPod einloggst, dann musst du dich anmelden mit Passwort, mit der E-Mail und so weiter. Und hier unter "Explore" findest du ganz, ganz viele verschiedene Beispiele.
Das Ding, was ich dir empfehlen würde, ist, dass du runterscrollst und eine fertige UI verwendest. Und dieser Typ, "TheBloke", der macht uns das Leben wirklich einfach. Der hat hier ganz, ganz viele verschiedene Dinge mit dabei.
Und das Ding, das für uns relevant ist, ist irgendwo da unten… einen Moment… das da: der "TheBloke Local LLMs One-Click UI". Wenn du hier draufklickst, dann bist du in diesem kleinen Interface, und wenn du hier "Deploy" klickst, dann wird alles laufen über diese "oobabooga UI". Und das funktioniert sogar richtig gut.
Ich will dir erst mal zeigen, wer "TheBloke" ist. "TheBloke" hat auch ein GitHub Repo. Hier siehst du, wie du deine lokalen LLMs anpassen kannst, in Docker und so weiter. Und "TheBloke" ist auch einer der KI-Experten auf HuggingFace. Der hat unglaublich viele Modelle. Du siehst das hier irgendwo: 3864 Modelle kommen hier von "TheBloke". Das heißt, er macht Fine-Tuning und vieles, vieles mehr. Er hat wirklich unglaublich viele Modelle. Er hat, was KI betrifft, wirklich wahnsinnig, wahnsinnig viel Zeug. Das heißt, du kannst all diese Modelle natürlich auch probieren.
Aber noch mal ganz, ganz kurz zurück zu RunPod. Wenn du hier in RunPod starten willst, dann klickst du einfach hier "Deploy". Und hier siehst du natürlich genau aufgeschlüsselt, was du alles bekommst. Du bekommst danach ein supercooles Interface, das du sofort laufen lassen kannst. Und wie gesagt, dafür klickst du hier "Deploy". Und jetzt musst du auswählen, welche Grafikkarte du mieten willst. Und ja, ich muss dir hier jetzt schon dazu sagen, dass das Mieten natürlich nicht gratis ist.
Eine 4090er von NVIDIA, die kostet 74 Cent die Stunde, also sowas. Das ist wirklich verträglich. Das ist nicht besonders teuer. Wenn du eine H100 mieten willst, dann sieht das Ganze natürlich etwas anders aus. Dann bezahlst du schon so 4 bis 5 Dollar die Stunde. Das heißt, die Preise gehen natürlich nach oben, je nachdem, welche GPU du mieten willst. Eine solche RTX 4090 kann relativ viele Modelle laufen lassen. Nein, die allergrößten nicht. Wenn du ein 70-Billionen-Parameter-Modell laufen lassen willst, dann würde ich dir eigentlich zu einer H100 tatsächlich raten.
Diese H100 haben 80 Gigabyte VRAM, und das ist halt schon wirklich, wirklich der Wahnsinn. Du hast auch die Möglichkeit, diese GPU zu mieten, diese MI300X. Und die ist natürlich auch riesen riesengroß: 192 GB VRAM. Das heißt, du klickst ganz einfach auf die Dinge rauf, die für dich am besten funktionieren. Generell bin ich tatsächlich meistens bei NVIDIA hier geblieben, weil NVIDIA halt CUDA und alles mit unterstützt.
Generell muss ich wirklich sagen: Die NVIDIA-Grafikkarten, die sind eigentlich besser geeignet, wie du hier sehen kannst. Ja, der VRAM ist riesengroß, aber die kommt von AMD. Und NVIDIA mit CUDA funktioniert generell halt etwas besser. Also kannst du natürlich draufklicken auf die Dinge, die du willst. Du klickst z. B. auf das Ding hier drauf. Danach kannst du einen Botnamen noch eingeben, z. B. Arnie. Das Bot-Template, das ist natürlich dieser einzelne Klick hier. Das heißt, das passt alles schon so.
GPU-Count, das ist natürlich on demand. Und wenn du das hoch machst, dann wird das natürlich immer teurer und teurer. Ich würde das einfach mal unten lassen für die erste Zeit tatsächlich. Und danach klickst du noch "Deploy on Demand". Natürlich, wenn du kein Geld drauf hast, so wie ich hier aktuell, dann musst du Geld aufladen. Du kannst das machen über PayPal, über Kreditkarte, ich glaube eventuell sogar mit Bitcoin und anderen Kryptowährungen. Und ich denke, hier bin ich sogar jetzt raus, da ich persönlich nicht besonders begeistert bin von dem Mieten von diesen GPUs.
Da ich natürlich selbst eine GPU habe, die einigermaßen funktioniert. Aber ich kann dir ja ganz, ganz kurz erklären, wie das funktioniert. Wenn du hier Geld aufladen willst und… bitte… also, wenn du hier ein Tutorial haben willst, dann schreib mich an. Ich werde hier auch Geld aufladen und das Tutorial fortführen. Aber generell ist es wirklich einfach: Du lädst hier nur noch Geld auf, klickst weiter, und danach bekommst du ein Interface, wo du jedes Open-Source-Modell laufen lassen kannst.
Und du kannst danach auf Hugging Face die Modelle von diesem Typ suchen, und die kannst du sofort reinziehen in dieses Interface. Und die Dinge laufen. Du kannst sogar die gesamte UI anpassen in Docker, wenn du dir das Readme von ihm durchliest.
Ich denke, das kommt für die wenigsten in Frage. Die meisten werden höchstwahrscheinlich die fertige UI verwenden, hier danach pro Stunde bezahlen und die Modelle von "TheBloke" verwenden oder von wem auch immer. Du hast danach ein ansprechendes Interface, und alles läuft über die GPUs von RunPod.
Wie gesagt, ich mache das mittlerweile nicht mehr, da mein Computer eine ausreichend starke GPU hat. Die zweite Möglichkeit ist, dass du das über Massed Compute machst. Auch Massed Compute macht das relativ ähnlich. Das heißt, hier, wenn du auf "Deploy" gehst, kannst du dir ansehen, was du alles mieten kannst. Generell finde ich persönlich Runpod tatsächlich schöner, besser, angenehmer. Da bekommen wir eine UI mitgeliefert von "TheBloke" und so weiter. Aber auch das würde natürlich funktionieren.
In diesem Video wollte ich dir einfach nur kurz mitteilen, dass du auf alle Fälle GPU-Power mieten kannst. Wenn dein Computer zu schwach ist, um GPU-Offload zu machen, dann kannst du dir eventuell Gedanken machen, ob du GPU-Power mieten willst. Ich muss hier leider dazu sagen, die starken GPU-Karten, bei denen bezahlst du halt 4 bis 5 Euro pro Stunde. Und das summiert sich natürlich auch mit der Zeit, wenn du hier mehr machst. Aber nichtsdestotrotz, es könnte natürlich immer noch günstiger sein, als einen komplett neuen PC zu kaufen.
In dem Sinne: Willst du hier tiefer eintauchen, dann lass mich das wissen. Generell ist es einfach: Du lädst einfach nur hier dein Geld auf, und danach kannst du deine GPU-Power mieten. Und du bekommst auch dein Interface mit zur Hand. Und wir sehen uns natürlich im nächsten Video.