Werk:AI mit Arnie/Flux LoRAs in ComfyUI verwenden
In diesem Video sehen wir uns an, wie wir Flux-LoRas verwenden können. Generell ist es recht einfach. Du musst dir ein LoRa aussuchen. Eines der besten LoRas, oder der LoRas, die am besten ankommen, ist dieses LoRa: Flux Realismus LoRa. Vielleicht hast du ab und zu die Bilder gesehen, die diese Sprecher generieren. Die sind halbwegs viral gegangen, und mit diesem LoRa können wir diese erstellen.
Wir klicken einfach mal auf „Download“. Sobald du das LoRa heruntergeladen hast, muss es danach natürlich an den richtigen Ort. Ich zeige dir noch, wo du solche LoRas finden kannst.
Wenn du auf Hugging Face bei den Modellen „Flux LoRa“ eingibst, dann findest du schon verschiedenste LoRas. Hier von xLab – die haben auch relativ viele LoRas. Wenn du hier draufklickst, dann siehst du, dass du hier verschiedenste LoRas verwenden kannst. Sie haben ein „Fur-LoRa“, danach haben sie dieses LoRa für besseren Realismus, Anime-LoRas – sie haben wirklich verschiedenste LoRas. Und du solltest dir auf alle Fälle ansehen, welches LoRa für dich gut läuft. Das Disney-LoRa und so weiter – das sind auch die LoRas, die du auf dem Hugging Face Space natürlich schon testen konntest. Dementsprechend weißt du, was für dich eventuell das richtige LoRa sein könnte. Du kannst die Dinge danach einfach runterladen, und ich sag dir, wo die Dinger jetzt hinkommen.
In den Downloads haben wir jetzt dieses „Flux Realismus LoRa“. Wir gehen wir in ComfyUI, danach in „Modelle“ und diesmal einfach nur „LoRas“. Das heißt, das können wir zu den Dingen schmeißen, die wir hier schon gehabt haben. Wir schmeißen das hier jetzt rein – schwups – und das Ganze war’s. Jetzt haben wir ein LoRa mit dabei.
Gehen wir jetzt zurück, z. B. zu unserem ComfyUI-Starter hier mit den Videografikkarten. Dann wird sich ComfyUI öffnen. Und da ist es schon, und wir haben auch einen Workflow. Der Workflow der ist jetzt natürlich wieder für unser Developer-Modell, weil wir das schon vorhin offen hatten. Du weißt noch, wie du das machst. Du kannst auf ein solches Bild klicken und das Bild hier reinziehen. Danach hast du natürlich wieder deinen Workflow. Diese Bilder kannst du dir gerne irgendwo abspeichern, damit du den Workflow sofort verwenden kannst.
Zusätzlich müssen wir jetzt darauf achten, dass wir hier ein LoRa dazu bringen. Ich zeige dir gleich noch, wie das funktioniert.
Aber generell: Findest du irgendwo ein solches Bild, wo auch schon ein LoRa mit dabei ist, dann kannst du auch diese Workflows hier mit integrieren, indem du einfach ein solches Bild – schwups – reinziehst in dein ComfyUI. Ich will, dass du das hier verinnerlichst, denn so kannst du schnell lernen.
Bevor ich dir zeige, wie du selbst ein LoRa hinzufügst, will ich dir auch noch das da zeigen: CivitAI. Wenn du hier auf „LoRas“ gehst und „Flux schnell“ und „Developer“ hier anklickst, dann bekommst du auch hier Modelle, die für Flux laufen.
Wenn du hier draufklickst, dann siehst du, dass dieses „Cyberpunk Anime-Style“ speziell für Flux ist. Ich bin kein Fan von diesem LoRa – zumindest nicht aktuell –, aber ich gehe davon aus, dass auch auf CivitAI haufenweise LoRas für Flux rauskommen. Vielleicht ist da das Wichtige für dich dabei. Auch diese kannst du dir runterladen und in Comfy hochziehen.
Und jetzt sehen wir uns an, wie du selbst bei einem solchen Standardmodell hier dein LoRa integrieren kannst. Generell ist das recht einfach.
Alles, was du hier machen musst, ist hier: Rechtsklick zu machen, „Add Node“, „Loaders“ „load LoRa“. Und du siehst, jetzt ist das hier schon sofort ausgewählt: Flux Realismus LoRa, weil wir das hier vorhin reingezogen haben.
Und wir machen generell das Gleiche, wie wir es auch sonst schon gemacht haben. Wir müssen jetzt die Dinge verbinden, die für uns hier passen. Und jetzt zeige ich dir, wo du die Dinge hier einstöpseln musst.
Das LoRa, das muss in diesen Basic-Guide rein. Also hier, wo „Model“ steht, das packen wir hier oben zum Model dazu. Und danach muss das Model natürlich wieder zurück, und zwar genau in diesen Basic-Guider. Und beim Clip natürlich dasselbe wie immer, genau so, wie wir vorhin gemacht haben: Clip muss hier erstmal hoch zu Clip, damit es durch unser LoRa läuft. Und dann geht Clip wieder zurück zu Clip, hier im Text-Encoder, im positiven Prompt.
Und das ist jetzt natürlich ein Workflow, den du aktuell z. B. nicht mit deinem Bild drinnen hast. Aber diesen Workflow, den kannst du dir ganz einfach speichern. Wir machen das jetzt so, dass ich einen Prompt laufen lasse, und dann wirst du sehen, dass wir hier wahnsinnig gute Ergebnisse bekommen.
Wir machen wieder einen solchen Standard-Prompt: „A woman holding a sign with the letters ‘Flux is great’“. Bevor ich hier geneieren klicke, werde ich meine Aufnahme hier erstmal stoppen, damit das ein klein wenig schneller funktioniert. Aber wir klicken einfach nur noch „New Prompt“, und dann haben wir auch hier dieses LoRa mit integriert.
Und jetzt will ich dir aber noch zeigen: Das ist ja ein Workflow, den du hier aktuell noch nicht hast. Den hast du erst, sobald du ein Bild generiert hast. Dann kannst du das Bild wieder reinziehen.
Also, nach dem Bild kannst du den Workflow ganz einfach reinkopieren, indem du dir das Bild natürlich wieder suchst, das du hast. Aber inzwischen kannst du hier auch auf „Save“ klicken. Und du gibst dem natürlich wieder einen Namen, z. B. „Flux LoRA“. Du klickst „Okay“, und das kannst du danach wieder reinwerfen in deinen ComfyUI-Ordner. Und du kannst es immer wieder öffnen, wenn du „Load“ klickst.
Ich klicke jetzt „Que Prompt“ und mache Pause bei meiner Aufnahme … und schwups – das ist mit dem Flux Realismus LoRA. Du siehst, das Bild sieht wirklich aus wie realistisch. Gerad auch, weil die Farben nicht so „poppen“ sind. Die Finger sind auch komplett perfekt, der Text ist perfekt: „Flux is great“. Und das kann ich wirklich nur untermauern.
Das Einzige, was mich ein klein wenig stört, ist, dass meine Grafikkarte zu klein ist. Doch das werden wir im nächsten Video lösen.
In diesem Video hast du gelernt, wie du LoRAs mit Flux verwenden kannst. Das funktioniert perfekt mit diesen ganzen Modellen. Ganz wichtig ist, dass du dir diesen Workflow machst, dass du ihn dir abspeicherst. Sobald du ein solches Bild generiert hast, kannst du natürlich auch später wieder das Bild einfach nur in ein leeres ComfyUI-Interface werfen, und du bekommst den Workflow sofort wieder zurück.
Dennoch würde ich mir das Bild speichern – in einem JSON-Format –, ganz einfach in deinen ComfyUI-Ordner, so wie du es gelernt hast. Und du weißt natürlich: Die Modelle oder die LoRAs, die kannst du finden auf Hugging Face, auf CivitAI, wo auch immer du willst. Verwende erstmal das Realismus LoRA, bevor du mit den anderen rumspielst. Aber ich bin mir sicher, du findest gute LoRAs.
Im nächsten Video will ich dir zeigen, wie du Flux laufen kannst, auch wenn dein Computer nicht besonders stark ist. Denn ich muss es zugeben: Ja, auch mich stört es, dass Flux nicht schneller läuft. Selbst mit einer 4090er-Grafikkarte von Nvidia dauern die Generationen vom Flux-Developer-Modell ziemlich lange. Wir sehen uns im nächsten Video.