Werk:AI mit Arnie/SDXL Kohya LoRA verwenden
Im letzten Video haben wir ja das LoRA trainiert, und in diesem Video werden wir das LoRA laufen lassen, und zwar in Fooocus. Es ist mir egal, ob du das hier lokal laufen lassen willst oder über Google Colab – beides funktioniert hier.
Ich zeig dir erst mal die Downloads. Diese sind meine Downloads, also das sind die Dinger, die ich runtergeladen habe. Ich habe die inzwischen in einen Ordner geschmissen, es ist mir aber egal, wo du die Dinge aufbewahrst. Verliere sie aber nicht.
Du hast hier einige Files. Du hast den Prompt. Wenn du auf den Prompt draufklickst, dann öffnet sich ein Textfile, und hier siehst du den Prompt. Und dieser Prompt triggert dein Modell – damit wird dein LoRA viel besser angewandt. Das werde ich dir da noch genauer zeigen. Dann hast du hier zwei LoRAs. Du hast das pytorch_lora_.safe.tensors und du hast das pytorch_lora_weights_kohya.safe.tensors. Was sind die Unterschiede der zwei? Das da ist das alte Konzept, das funktioniert in alten Softwares wie z. B. ältere Fooocus-Versionen, ältere Automatic-1111-Versionen. Aber bei den neuen Versionen musst du das da verwenden, das Kohya-Modell.
Danach hast du noch das Readme. Wenn du auf das Readme klickst, dann hast du natürlich dein gesamtes Readme. Das hat sich hier gerade im VSCode bei mir geöffnet. Generell brauchst du dieses File jetzt natürlich nicht mehr unbedingt, außer du willst dir das Readme natürlich noch mal selbst durchlesen. Und du hast auch hier natürlich noch den Code. Auch das können wir schließen. Was für dich wichtig ist, ist der Prompt, damit du niemals vergisst, welchen Prompt du verwenden musst, und dieses LoRA Weight. Ich zeig dir jetzt, wo das LoRA Weight rein muss, damit es für uns im Fooocus läuft.
Ich bin hier jetzt also im Fooocus drinnen. Dementsprechend klicken wir auch hier noch mal auf Fooocus. Danach natürlich wie immer auf die Modelle. Bei den Modellen gehst du jetzt in die LoRAs, und hier musst du jetzt dein Modell reinziehen. Ich habe das hier inzwischen gemacht: Pytorch LoRA Weight und hier bitte das Kohya-Modell. Also kopiere das hier rein, zieh es hier rein, es muss hier drinnen sein. Wenn du jetzt zurückgehst – zweimal bzw. dreimal – und du klickst jetzt Run, dann wird sich natürlich Fooocus hier starten und dein LoRA sollte mit dabei sein.
Jetzt sind wir also im Fooocus. Wir gehen hier auf Advanced. Bei Advanced kannst du danach natürlich auf die Modelle klicken. Und jetzt kannst du dein LoRA höchstwahrscheinlich kombinieren mit jedem einzelnen Modell, das du willst.
Das heißt, du kannst Animes von dir machen, den Dream Sharper verwenden, wenn du das Turbo-Modell willst, das Run-Diffusion, also das Juggernaut-Modell, das Normale, oder das Realistic Stock-Foto-Bild. Um das zu aktivieren, gehst du natürlich runter zu diesen LoRAs hier, klickst du drauf und danach verwendest du dein Modell Pytorch LoRA Weights Kohya.safed.tensors. Die automatische Einstellung ist hier 0,1, und das ist hier natürlich viel zu niedrig.
Ich zeig dir jetzt ein, zwei Dinge, die wahrscheinlich nicht funktionieren werden.
Wir gehen jetzt erst mal auf Settings. Wir generieren nur ein Bild, damit wir nicht ewig warten. Wir bleiben auf Speed. Mit Qualität würden wir noch bessere Bilder hinbekommen, natürlich. Die Auflösung, also das Seitenverhältnis, ist mir eigentlich generell egal. Also 9:7 passt hier schon, oder meinetwegen 1:1 oder 2:1. Also es ist für mich egal, welche Auflösung wir verwenden.
Ich mache jetzt einfach mal irgendein Bild. Ich will jetzt einfach mal sagen: Man in the garden. Höchstwahrscheinlich werden wir jetzt irgendeinen Mann in irgendeinen Garten bekommen. Es bin aber höchstwahrscheinlich nicht ich, weil wir hier zwei Dinge nicht beachtet haben. Erstmal natürlich: Bei den Modellen ist das LoRa-Weight viel zu tief. Und zweitens, wir haben nicht unser Triggerwort mit eingebaut.
Du siehst es schon: Es ist irgendein Mann, der im Garten sitzt. Der Mann bin aber absolut nicht ich. Noch mal zurück zu den Settings. Wir könnten auch andere Aspect Ratios verwenden. Also, wie gesagt, das ist mir hier generell relativ egal. Z. B. 1:1. W
enn ich aber jetzt Folgendes mache: Wenn ich hier noch mal auf die Modelle gehe und das LoRa-Weight erhöhe – auf ungefähr 1 – funktionieren diese trainierten LoRAs meistens am besten. Wenn ich jetzt Generieren klicke, dann ist die Chance recht groß, dass mir dieser Typ ähnlicher sieht, aber noch immer nicht perfekt ähnlich, weil natürlich noch unser Triggerwort fehlt.
Das Triggerwort markiere ich in der Zwischenzeit, denn das will ich danach zeigen. Wir haben den Mann. Der Mann sieht mir eventuell ähnlich, aber ich denke, ja, immer noch nicht perfekt. Jetzt fügen wir mal das da ein: Scott Porter man, Beistrich, z. B. in the garden with sunglasses, z. B. Wir klicken mal Generieren, dann sehen wir uns an, ob das Ding jetzt so wie ich aussieht. Und ich denke, man kann es sogar jetzt schon während dem Generieren erkennen. Das bin jetzt zweifelslos ich. Oder zumindest sieht mir der Typ schon viel, viel ähnlicher.
Ich denke, das Training unseres Modells hat relativ gut funktioniert. Und hiermit kannst du jetzt Bilder von dir erstellen. Und die Bilder sollten insgesamt relativ gut aussehen. Wenn du dich vielleicht fragst, ob du besser in Fotorealismus hinbekommst: Also, erstmal, ich denke, das ist schon relativ guter Fotorealismus. Also, das Bild ist schon wirklich gut. Aber ja, du kannst das auch verbessern. Wenn du auf Styles gehst, dann kannst du hier mal die Dinge ausstellen. Und wir können jetzt kompletten Fotorealismus generieren.
Ich will den gleichen Prompt noch mal laufen lassen. Meinetwegen diesmal etwas anderes: Businessman in the office with sunglasses. Jetzt sollten wir hier guten Fotorealismus hinbekommen, ähnlich die Dinge, wie ich sie eben trainiert habe. Aber es sollte mir ziemlich ähnlich sehen.
Also, ich glaube, man sieht es auch hier schon: Der Fotorealismus kommt vielleicht aktuell noch nicht ganz durch. Mal sehen, wie das Ding ist, sobald es generiert ist. Sieht wirklich ziemlich gut aus, ziemlich fotorealistisch. Alles vom Prompt wurde auch gut berücksichtigt. Ich denke sogar, mein Bart wird sehr gut erkannt. Die Augen sind vielleicht nicht perfekt. Wir können aber hiermit machen, was wir wollen: Scott Porter man, Bodybuilding, Muscle, Big Chest. Und so einfach baut man Muskeln auf. Das heißt, ich kann natürlich auch mich generieren mit viel, viel mehr Muskeln, als ich in Wirklichkeit so hab.
Und ich denke, ja, okay, Fotorealismus vom Körper ist generell vielleicht nicht perfekt. Aber mit diesen Styles können wir natürlich weiterhin rumspielen. Ja, okay, diesmal war auch das Gesicht nicht perfekt. Generell muss ich sagen: Ja, schon, schon gar nicht schlecht. Wir könnten vielleicht noch das Painting machen und beim Painting das Gesicht verbessern. Oder natürlich auch hier unten auf Enhance gehn und das Gesicht etwas verbessern. Und wir bekommen die Dinge natürlich noch viel, viel besser hin. Generell kannst du auch mit Styles hier ein klein wenig rumspielen. Also, die Schärfe und den Hands können wir hier natürlich ruhig mit einbauen.
Scott Porter man in the mountains with sunglasses hat auch sehr gut funktioniert. Ich will mal was anderes probieren, anderes Aspect-Ratio bei den Modellen. Will ich das jetzt kombinieren mit dem Anime-Modell? Dann sehen wir uns mal an, ob wir ein Anime von mir machen können: Scott Porter man on a rock… Oder meinetwegen: Is standing on a rock. Das Bild ist viel zu weit weg. Ich schreib den Prompt etwas um.
Vorhin, bei den anderen Szenen, also in der Natur, habe ich immer nur Aufnahmen bekommen, die ganz weit weg sind. Mit so etwas habe ich gerade bessere Ergebnisse. Also, dieses Businessman-Ding scheint ganz gut zu funktionieren. Dementsprechend können wir natürlich auch solche Dinge hier kreieren.
Dementsprechend können wir natürlich auch solche Dinge hier kreieren. Wir können auch auf die Styles gehen und hier alles kombinieren, was du magst. Dementsprechend hast du wirklich ein Modell, und das Modell kann Bilder erstellen von dir in jedem Style, den du willst. Du gehst einfach nur auf das richtige Modell. Die besten Ergebnisse habe ich tatsächlich mit diesem Juggernaut-XL-Modell hier gemacht. Du kannst es natürlich kombinieren mit verschiedenen Styles. Was für mich nicht perfekt funktioniert, ist diese Fooocus-Version 2. Also, das hier bin ich zwar, aber die anderen Dinge funktionieren schon doch relativ gut.
„Standing on a rock“: Lass uns das mal mit diesem Modell hier probieren. Vielleicht kriegen wir das mit dem Juggernaut-Modell besser hin. Mit diesem Modell scheint es auf alle Fälle viel besser zu klappen. Vielleicht ist das Seitenverhältnis nicht perfekt für dieses Bild, aber du siehst: Man erkennt wirklich, das Ding sieht auch mir relativ ähnlich.
Wir könnten ja mal ein 1:2 verwenden, dann sehen wir uns an, ob auch das klappen will, mit diesem Modell hier. „Standing on a rock“ scheint ein Prompt zu sein, der schwer umzusetzen ist, mit diesem Modell kombiniert mit meinem LoRA. Keine Ahnung warum, aber ich denke, auch hier sehen wir: Der Mann sieht mir schon ziemlich ähnlich, zumindest von weit weg entfernt.
Wir könnten natürlich auch das Inpainting machen, wobei ich sagen muss: Der Typ sieht mir wahrscheinlich auch beim näheren Hinsehen ziemlich ähnlich. Das Gesicht ist natürlich nicht komplett perfekt. Könnten wir natürlich noch immer verbessern mit dem Inpainting und etwas in die Richtung.
Aber wir können wirklich sehr, sehr viele coole Dinge hier erstellen. Ein Closeup in „7:9“, dann sehen wir uns mal an, wie wir das hinbekommen. „9:7“ würde vielleicht noch besser passen. Aber auch hier sieht man, dank der Styles bekommen wir Enhance und Schärfe hier mit integriert. Fotorealismus ist natürlich nicht mehr perfekt dadurch. Aber generell haben wir ein, sage ich mal, relativ hübsches Bild.
Ich schick mal dieses Teil „in den Urlaub“. Wir kreieren jetzt noch mal ein Closeup von meinem Gesicht. Aber ich will diesmal ein paar Styles hinzufügen, z. B. auch hier diesen Sai-Anime-Style. Denn ich will eine Zeichnung hier von mir haben. Hier auch diese drei Styles habe ich mit aktiviert. Du siehst, man bekommt wirklich Dinge hin, die da relativ cool sind. Generell gesprochen funktionieren die Dinge scheinbar mit Sonnenbrillen extrem gut, bzw. etwas besser. Hier muss ich wirklich sagen: Die Augen sind ab und zu natürlich nicht perfekt. Wir könnten natürlich noch so was wie „Sai Fantasy Art“ auch hier mit aktivieren. Ja, diese zwei Dinge sind recht cool.
„… standing on street“: Noch mal generieren, dann sehen wir uns mal an, wie wir noch solche Fantasy-Art hiermit erstellen können. Und sonst natürlich das Modell wechseln. Du kannst wirklich relativ coole Dinge hier erstellen,.
Und so einfach funktioniert das Ganze. Ich habe den Prompt noch mal etwas umgebaut. Diese Sai-Fantasy finde ich recht cool, kombiniert mit diesem Sai-Anime und diesen drei Styles. Wir haben hier wirklich einen coolen Style hinzugefügt bei meinem Bild. Das sieht irgendwie so relativ alt aus, eine witzige Beleuchtung. Also, du kannst Bilder erstellen von dir – als Anime, in echt, in jeder Umgebung, die du willst. Und die Dinger kommen auch relativ gut raus.
Und falls nicht, kannst du diese mit dem Inpainting noch ein klein wenig verbessern. Und hier sind noch einige Bilder mit verschiedenen LoRA-Weights und verschiedenen Prompts. Das hat relativ gut funktioniert. Das da war irgendwie auch okay. Dieses Bild ist eigentlich perfekt geworden. Das sieht fast so aus, als hätte ich ein Foto gemacht, hier vor meinem Hintergrund. Hier eigentlich dasselbe. Das da ist auch exzellent geworden, denke ich. Also, man kann wirklich sagen: Das bin ich. Selbiges gilt eigentlich hier. So gut wie keine Makel bei diesem Bild.
Das wurde nicht so gut. Hier habe ich das LoRA-Weight ganz, ganz schwach. Man kann wirklich nur noch erahnen, dass das ich sein könnte. Hier ich als Joker: Mich sieht man, um ehrlich zu sein, nur noch ganz schwach durch. Hier dasselbe. Ja, ich glaube, man könnte hier argumentieren, dass unter der Schminke ich stecken könnte. Selbiges eigentlich hier auch. Hier kommen meine Gesichtszüge halbwegs durch. Das da ist wohl eines der besten Dinge. Also, ich glaube, man kann wirklich auch erkennen, dass ich hier unter diesem Gesicht stecken könnte.
Hier bin ich als Superman – gepaart immer mit verschiedenen Modellen. Das war, das war hier diesmal der Dream Sharper. Hier dasselbe. Das fand ich, um ehrlich zu sein, auch gar nicht schlecht. Hier bin ich im GTA-Look. Das sind hier jetzt Bilder, die mir relativ gut gefallen. Also, der Dream Sharper kombiniert mit dem GTA-Look, LoRA-Weight auf ca. 0,8. Hier habe ich wirklich coole Bilder bekommen. Also, sieht fast so aus wie eine Zeitreise in die GTA-Welt mit meinem Gesicht. Ich glaube, das hier wurde wohl eines meiner Lieblingsbilder. Also, das hier wurde schon sehr, sehr gut. Sieht fast so aus, als wäre ich als GTA-Charakter zu finden.
Hier bin ich irgendwie in eine alte Welt zurückgereist. Mein Gesicht wurde leider nicht perfekt erkannt. Aber hier hätte ich noch mit den LoRA-Weights ein klein wenig spielen können, und es hätte besser geklappt. Hier ist ein Aquarell von mir oder so was in die Richtung. Und hier noch mal selbiges, jedoch mit dem LoRa-Weight ganz, ganz tief. Also, ich denke, du siehst: Du kannst wahnsinnig gut mit diesen Dingen rumspielen.
Genereller Quicktipp: Du kannst natürlich auch mal auf Prompt Hero gehen und dich hier umsehen. Vielleicht findest du ein Bild, das dir relativ gut gefällt.
Oder du machst das in Leonardo. Auch hier kannst du dich natürlich umsehen. Vielleicht findest du ja einen guten Prompt für dich. Dafür könntest du ja mal auf „Character“ gehen, dich hier umsehen, ob du irgendwas Nettes findest. Meinetwegen noch das, das da, generiert wurde, das jedoch mit dem Leonardo Lightning XL. Na ja, macht jetzt nichts.
Ich will einfach mal das da hier haben, kopieren, zurück im Fooocus. Ich lösch das da raus? Hoppala, nicht das Triggerwort vergessen: Scottb muss hier mit rein. Ich denke, ich will einfach mal „Image of a cowboy, scott porter man…“. LoRA-Weight habe ich hier auf 1. Das Modell ist aktuell der Dream Sharper. Und wir klicken einfach mal Generieren. Und auch mit den Styles könnte man natürlich noch viel mehr spielen. Finde ich generell ganz okay. Man könnte das LoRA-Weight vielleicht noch ein klein wenig erhöhen, damit die Ähnlichkeit zu mir noch etwas besser werden würde. Aber wie gesagt: Ich bin zufrieden mit diesen Dingen. Muss man natürlich spielen.
Gratulation: Du hast ein Stable Diffusion XL Modell trainiert, und du kannst es im Fooocus laufen lassen. Wenn du die Dinge nicht lokal laufen lässt, dann gehst du natürlich hier auf Fooocus. Du musst dich natürlich verbinden mit deiner Grafikkarte. Du klickst hier auf den Ordner, und danach muss das Ding natürlich in das gleiche Fleckchen rein wie immer. Du hast das schon gelernt: Du klickst hier einfach nur noch genau die gleichen Pfade wie immer. Sobald du hier verbunden bist, wird der Ordner Fooocus kommen. Du gehst in Focus rein, danach in Modelle, und in LoRAs kannst du dieses Ding danach natürlich sofort reinziehen.
Und falls nicht, kannst du natürlich genauso, wie du es auch hier gelernt hast, natürlich eine Codezelle hinzufügen, bzw. zwei. Die letzte Codezelle hier einfach kopieren, runter schmeißen, diese Codezelle hier löschen, danach meine Codezelle hier einfügen, die ich dir bereits gegeben hab. Du klickst die drei Dinge nacheinander. Und danach läuft das Ding auch in Google Colab.
Noch mal: Gratulation! Du kannst Bilder von dir erstellen, in jeder Umgebung, an die du nur denken kannst. Das solltest du jetzt machen. Außer du hast natürlich ein Modell trainiert an deiner Katze, an deinem Hund, an deinem Kamel, an deiner Kuh oder an verschiedenen Styles wie z. B. Comic Styles oder etwas in die Richtung. Denn du kannst natürlich an allem trainieren, was du willst. LoRAs sind cool. Du solltest ein LoRA trainieren.