Werk:AI mit Arnie/GPU bei Runpod oder Massed Compute mieten

YT: 3 GPU bei Runpod oder Massed Compute mieten, wenn der lokale PC nicht leistungsfähig genug ist (7:25)

falls unsere lokale Hardware nichtausreicht um llms laufen zu lassen dannist es wichtig dass wir auch wissen dasswir tatsächlich auch Hardware ausborenkönnen und zwar auf zwei verschiedenenWebseiten es gibt runpot und es gibtMass compute ich persönlich mag runbotam liebsten und ich muss jetzt schondazu sagen dass ich hier eigentlich nieGPUs miete ich verwende tatsächlicheinfach nur die Dinge die ich selbstLokal laufen lassen kann und um ehrlichzu sein ist das auch das Ding dass ichden alle er meisten Leuten empfehlenwürde ja wir haben die Möglichkeiten undwir haben sogar die Möglichkeit inGoogle colab die Dinge laufen zu lassenaber wenn jemand wirklich einanständiges Interface haben will und dieDinge genauso verwenden will wie im Kursdann braucht man natürlich eine halbwexeGPU aber nichtsdestotrotz ich will dasda mal zeigen denn gerade in runpothaben wir wirklich sehr sehr attraktiveMöglichkeiten wenn du dich das erste Malbei runbot einlogst dann musst du dichanmelden mit de Passwort mit der E-Mailund so weiter und hier unter explorefindest du ganz ganz viele verschiedeneBeispiele das Ding was ich dir empfehlenwürde ist dass du runter scrollst undeine fertige UI verwendest und dieserTyp the block der macht uns das Lebenwirklich einfach der hat hier ganz ganzviele verschiedene Dinge mit dabei unddas Ding das für uns relevant ist istirgendwo da unten einen Moment das dader blow local llms One Click UI wenn duhier drauf klickst dann bist du indiesem kleinen Interface und wenn duhier deploy klickst dann wird alleslaufen über diese ubabuga UI und dasfunktioniert sogar richtig gut ich willihr erstm zeigen wer the bloke ist thebloke hat auch ein gittero hier siehstdu wie du deine lokalen llms anpassenkannst in Docker und so weiter und derBlock ist auch einer der KI Experten aufhuging face der hat laublich vieleModelle du siehst das hier irgendwo3864 Modelle kommen hier von the blockdas heißt er macht ftuning und vielesvieles mehr er hat wirklich unglaublichviele Modelle er hat was KI betrifftwirklich wahnsinnig wahnsinnig viel Zeugdas heißt du kannst all diese Modellenatürlich auch probieren aber noch malganz ganz kurz Z zurück zu runpot wenndu hier in runpot starten willst dannklickst du einfach hier deploy und hiersiehst Du natürlich genauaufgeschlüsselt was du alles bekommst dubekommst danach ein super coolesInterface dass du sofort laufen lassenkannst und wie gesagt dafür klickst duhier deploy und jetzt musst Du auswählenwelche Grafikkarte du mieten willst undja ich muss dir hier jetzt schon dazusagen dass das Meeting natürlich nichtgratis ist eine 4090er von den Video diekostet 74 Cent die Stunde also sowas dasist wirklich verträglich das ist nichtbesonders das teuer wenn du eine H100mieten willst dann sieht das Ganzenatürlich etwas anders aus dann bezahlstdu schon so 4 5 $ die Stunde das heißtdie Preise gehen natürlich nach oben jenachdem welche GPU du mieten willst einesolche Art diex4090 kann relativ viele Modelle laufenlassen nein die allergrößten nicht wenndu ein 70 Billionen parametermodelllaufen lassen willst dann würde ich direigentlich zu einer H100 tatsächlichraten diese H100 haben 80 Gigabyte VRAMund das ist halt schon wirklich wirklichder Wahnsinn du hast auch dieMöglichkeit diese GPU zu meeten diese mi300x und die ist natürlich auch riesenriesenoß192 GB VRAM das heißt du klickst ganzeinfach auf die Dinge rauf die für dicham besten funktionieren generell bin ichtatsächlich meistens bei nvia hiergeblieben weil in Video halt kud undalles mit unterstützt generell muss ichwirklich sagen die NV Grafikkarten diesind eigentlich besser geeignet wie duhier sehen kannst ja die VRAM istriesengroß aber die kommt von AMD undnvia mit Cuda funktioniert generell haltetwas besser also kannst du natürlichdrauf klicken auf die Dinge die duwillst du klickst z.B auf das Ding hierdrauf danach kannst du einen botnamenoch eingeben z.B Arne das bot Templatedas ist natürlich dieser einzelne Klickhier das heißt das passt alles schon soGPU count das ist natürlich on dememandund wenn du das Hoch machst dann wirddas natürlich immer teurer und teurerich würde das einfach mal unten lassenfür die erste Zeit tatsächlich unddanach klickst du noch deploy on Demandnatürlich wenn du kein Geld drauf hastso wie ich hier aktuell da musst du Geldaufladen du kannst das machen überPaypal über Kreditkarte ich glaubeeventuell sogar mit Bitcoin und anderenkryptowährungen und ich denke hier binich sogar jetzt raus da ich persönlichnicht besonders begeistert bin von demMeeting von diesen GPUs da ich natürlichselbst eine GPU habe die einigermaßenfunktioniert aber ich kann dir ja ganzganz kurz erklären wie das funktioniertwenn du hier Geld aufladen willst undbitte also wenn du hier ein Tutorialhaben willst dann schreib mich an ichwerde hier auch Geld aufladen und dasTutorial fortführen aber generell ist eswirklich einfach du läst hier nur nochGeld auf klickst weiter und danachbekommst du ein Interface wo du jedesOpen Source Modell laufen lassen kannstund du kannst danach auf hugging facedie Modelle von diesem Typ suchen unddie kannst du sofort reinziehen indieses Interface und die Dinge laufen dukannst sogar die gesamte UI anpassen imin docer wenn du dir das Readme von ihmdurchliest ich denke das kommt für diewenigsten in Frage die meisten werdenhöchstwahrscheinlich die fertige UIverwenden hier danach pro Stundebezahlen und die Modelle von Blogverwenden oder von wen auch immer duhast danach ein ansprechendes Interfaceund alles läuft über die GPUs von runpotwie gesagt ich mache das mittlerweilenicht mehr da mein Computer eineausreichend starke GPU hat die zweiteMöglichkeit ist dass du das über Mastcompute machst auch Mast compute machtdas relativ ähnlich das heißt hier wenndu auf deploy gehst kannst du diransehen was du alles mieten kannstgenerell finde ich persönlich runpottatsächlich schöner besser angenehmer dabekommen wir eine UI mitgeliefert vonthe blog und so weiter aber auch daswürde natürlich funktionieren in diesemVideo wollte ich dir einfach nur kurzmitteilen dass du auf alle Fälle GPUPower mieten kannst wenn dein Computerzu schwach ist um GPU Offload zu machendann kannst du dir eventuell Gedankenmachen ob du GPU Power mieten willst ichmuss hier leider dazu sagen die starkengpukarten bei denen bezahlst du halt 4bis 5 € pro Stunde und das summiert sichnatürlich auch mit der Zeit wenn du hiermehr machst aber nichtsdestotrotz eskönnte natürlich immer noch günstigersein als einen komplett neuen PC zukaufen in dem Sinne willst du hiertiefer eintauchen dann lass mich dasWissen generell ist es einfach du lädsteinfach nur hier dein Geld auf unddanach kannst du deine GPU Power mietenund du bekommst auch dein Interface mitzur Hand und wir sehen uns natürlich imnächsten Video