Werk:AI mit Arnie/Stable Diffusion und Flux in Forge
3 Stable Diffusion und Flux in Forge UI verwenden (13:02)
In diesem Video bringen wir die ersten Modelle rein in Forge, damit wir auch endlich was kreieren können. Und wir machen das relativ schnell. Danach kreieren wir rein zwei Bilder, und im nächsten Video danach: Inpainting und ein paar Styles. Wie gesagt, in Forge will ich nicht allzu lange bleiben, da ich wirklich denke, Confy ist für die meisten die bessere Version. Aber Forge hat den Vorteil, dass es sehr schnell funktioniert.
Du bist jetzt natürlich wieder im WebUI Forge – das Ding von deinem Computer, von deinem Desktop. Danach kannst du auf WebUI klicken, und hier findest du ähnliche Ordner wie in Fooocus und in Confy.
Wir klicken auf „Models“ und jetzt müssen wir in die Modelle die richtigen Dinge reinladen. Wenn du Loras hinzufügen willst, dann kommen die in „Loras“ rein. Ich denke, das erklärt sich von selbst.
Aber bei den Modellen haben wir hier was Besonderes: Alle Modelle kannst du in Stable Diffusion reinwerfen. Das heißt, du klickst ganz einfach auf „Stable Diffusion“, und hier kannst du jetzt die Modelle hinzufügen, die für dich gut funktionieren. Ich würde dir empfehlen, einfach mal in den Confy-Ordner zu gehen, also auf Confy. Danach gehen wir natürlich auch hier wieder auf die Modelle, hier zum Beispiel auf die Checkpoints, und du kannst die Stable Diffusion Checkpoints hinzufügen, die für dich funktionieren.
Ich persönlich bin der Meinung, dieser neue Stable Diffusion Checkpoint ist es wert zu verwenden, der funktioniert schon sehr gut. Deshalb habe ich den auch hier hinzugefügt. Als nächstes fügen wir auch die Flux-Modelle hinzu, denn auch die Flux-Modelle kommen in diesen Ordner rein. Dafür sind wir bei Confy natürlich nicht mehr in „Checkpoints“, sondern wir haben die bei Confy natürlich hier unten in „Unet“, also auf Unet draufklicken. Und jetzt kannst du die Flux-Modelle hinzufügen, die für dich funktionieren. Du kannst hier alle Modelle verwenden, die du willst. Du kannst quantifizierte Modelle verwenden, du kannst das große Modell verwenden. Also jedes Modell wird hier in Forge funktionieren.
Ich rate dir, die Dinge zu verwenden, die für dich funktionieren. Wenn du das FP8-Modell hast, das funktioniert ohne weitere Installationen in Forge problemlos. Wenn du das ganz normale Flux-Developer-Modell hast oder das Flux-Schnellmodell – auch das funktioniert ohne weitere Installationen. Lediglich die quantifizierten Modelle brauchen später noch ein paar andere Installationen, die ich dir gleich noch zeige. Also zieh die Dinge rein, die für dich eben infrage kommen.
Das Einzige, was ich hier noch kopiere und hinzufüge, ist das da, nämlich das „Flux Schnell in Q8“. Dann siehst du, was ich hier jetzt dabei habe: Ich habe das normale Flux FP8-Modell dabei, ich habe das Flux-Developer im quantifizierten Format, ich habe das Flux-Schnell im quantifizierten Format, ich habe zwei Stable Diffusion XL Modelle, und das war’s auch erstmal.
Sobald die ganzen Dinge hier im richtigen Ordner sind – also erinnere dich einfach nur, in „Stable Diffusion“ –, können wir jetzt erstmal wieder Forge starten. Denn dann haben wir schon sofort Modelle.
Das heißt, wir gehen hier ganz zurück und klicken ganz einfach nur auf „Run“. Update kannst du dir hier sparen. Also einfach nur starten mit „Run“, und jetzt sind wir wieder im Forge-Interface. Wenn wir hier jetzt auf „Stable Diffusion“ klicken, dann können wir die Stable Diffusion Modelle laufen lassen. Klicken wir auf „XL“, dann laufen natürlich die Stable Diffusion XL Modelle. Und das Modell kannst du immer hier auswählen.
Wählen wir einfach mal dieses „Run Diffusion“-Modell aus, das neue, und ich schreibe hier einfach mal rein „Rabbit in the wood“, und dann klicken wir „Generieren“. Die erste Generation dauert natürlich immer lange, weil wir die Dinge neu laden müssen. Sobald die einmal geladen sind, sollten wir danach schnell generieren können.
Und du siehst schon: Ich bekomme hier jetzt meinen Hasen zurück. Das funktioniert schon relativ gut. Ich habe jetzt natürlich keinen negativen Prompt, ich habe einfach nur „Hase im Wald“ hinzugefügt, und zwar natürlich mit unserem Modell hier. Und wie gesagt, das funktioniert gar nicht schlecht.
Jetzt haben wir hier auf der rechten Seite die Möglichkeit, Styles auszuwählen. Diese Styles sind eigentlich alle schon vorinstalliert. Du siehst, hier sind wirklich sehr viele verschiedene Styles. Lass uns mal das „ComicBook“ testen. Wir klicken einfach mal „Generieren“. Diese Styles verändern einfach nur unsere Prompts ein klein wenig, und jetzt sollten wir einen Hasen im ComicBook-Style bekommen. Und ich denke, man sieht auch jetzt schon, dass das wirklich sehr gut funktioniert.
Das heißt, du kannst hier in Nullkommanichts die ganzen Styles hinzufügen, und schwups, wir haben ein perfektes Bild mit einem richtig guten Style. Jetzt hast du hier natürlich immer noch die Möglichkeit, negative Prompts hinzuzufügen. Bei den Prompts ändert sich hier in Forge natürlich gar nichts.
Außerdem werden wir später die Textencoder und so weiter brauchen, wenn wir zum Beispiel ein quantifiziertes Flux-Modell verwenden wollen.
Interessant wird auch noch das hier unten: Hier bei den Generationen siehst du, dass du verschiedene Samplers verwenden kannst, zum Beispiel Euler und so weiter. Auch hier kannst du Dinge umstellen.
Ich würde dir generell raten, dass du diese Sachen erstmal auf den Standardeinstellungen lässt, weil die meistens sehr gut funktionieren. Wenn du hier umstellst, dann siehst du auch: Bei den normalen Stable Diffusion Modellen verwenden wir Euler beim Sampler, und beim XL verwenden wir DPM. Dementsprechend werden hier die Dinge erstmal auch richtig automatisch ausgewählt für das Modell, das du verwendest.
Mit den Steps kannst du natürlich immer noch spielen. Vielleicht weißt du noch vom Prompting Guide, dass wir genau bei diesem Modell bei den Steps auch hochgehen könnten, auf 25 bis 40.
Danach haben wir hier unten Breite und Höhe. Also diese kannst du natürlich verändern. Den CFG-Scale, den Seed haben wir aktuell random, den kannst du natürlich auch verändern. Und danach haben wir noch die ganzen witzigen Dinge wie ControlNets und so weiter.
Generell muss ich sagen, die ControlNets die gefallen mir persönlich in Focus besser für Stable Diffusion XL. Aber auch hier kannst du natürlich spielen.
Jetzt lass uns mal ein Flux-Modell verwenden und uns ansehen, wie das funktioniert. Wichtig ist, dass man dafür hier oben auf „Flux“ draufklickt, weil sich da natürlich wieder einige Dinge etwas ändern. Wir haben hier wieder Euler und Simple daneben, und danach müssen wir ein Flux-Modell auswählen. Das quantifizierte Modell funktioniert hier aktuell leider nicht, aber was funktioniert, ist das normale FP8-Modell.
Also wählen wir einfach mal dieses FP8-Modell aus. Du kannst im Übrigen auch immer hier etwas rumspielen. Vielleicht willst du noch mehr Leistung zu deiner GPU werfen – das würde auch funktionieren. Mit diesen Dingen musst du spielen, dann bekommst du eventuell stärkere Generationen.
Ich schreibe hier jetzt einfach mal „woman holding a sign with the letters flux“, weil das halt ein Standard-Prompt ist, den ich gerne probiere. Und du siehst auch hier: Wir können 75 Tokens verwenden, und natürlich können wir auch den negativen Prompt einstellen. Und auch hier sollten theoretisch die Styles funktionieren. Ich will den Style aber erstmal ausstellen. Du siehst: Wenn ich hier einen Style hinzufüge, dann werden meistens die Prompts verändert, gerade im negativen Prompt siehst du, dass wir hier jetzt viele Wörter mit drinnen haben. Dementsprechend werden hier ganz einfach die Prompts etwas angepasst.
Du siehst hier oben: Wir haben haufenweise Tokens ausgefüllt, wenn wir hier mehrere Prompts verwenden. Und wir können diese natürlich schnell wieder entfernen. Ich will jetzt keinen Style und nichts verwenden und einfach nur das da kreieren mit dem FP8-Modell von Flux. Also generieren.
Und da haben wir unser Bild. Ich öffne das mal. Das Bild ist auch relativ gut geworden mit diesem FP8-Modell. Die Finger sind vielleicht – ja, doch, sie sind recht gut. Wir haben „Flux“ drauf, dementsprechend hat auch das natürlich richtig gut funktioniert.
Also Forge ist schon relativ gut hier bei der Erstellung, gerade mit diesem FP8-Modell. Was wir aktuell leider nicht laufen lassen können, sind die Q-Modelle, die quantifizierten Modelle. Wenn ich hier auf das Developer-Modell klicke, auf das GGUF, dann haben wir hier das Problem, dass ein paar Encoder fehlen. Wenn ich hier generieren klicke, dann wird das höchstwahrscheinlich nicht funktionieren. Und es passiert hier gar nichts. Das Einzige, was ich bekomme, ist einen wackligen Computer und das da Command Prompt „you do not have Clip state dict“. Dementsprechend müssen wir natürlich das hinzufügen, damit es klappt.
Damit wir die quantifizierten Modelle verwenden können, müssen wir noch zwei Dinge hinzufügen. Wir gehen also natürlich wieder in WebUI rein, und wir öffnen auch unser Confy, denn da haben wir die Modelle ja schon. Also hier ist Confy, und hier ist WebUI Forge. Wir gehen in „ConfyUI/ Models/Clip“, und bei Clip haben wir hier natürlich die passenden Encoder. Und die müssen natürlich hier rein bei „WebUI Models Textencoder“. Und genau hier müssen die Dinge rein.
Ich habe hier einige Textencoder. Dementsprechend können wir die drei einfach reinschmeißen: einmal für das Float-16 Modell bräuchten wir noch nicht mal unbedingt, für dieses Modell bräuchten wir auch nicht unbedingt. Die wichtigsten sind diese hier: die Clip-Safe-Tensors. Aber ich schmeiß einfach mal alle drei hier rein. Dementsprechend: kopieren und rein damit.
Als Nächstes brauchen wir das VAE. Wir gehen also nochmal zurück, bei Forge. Wir gehen rein in „VAE“ und jetzt gehen wir wieder zurück in Confy. Bei Confy natürlich auch nochmal zurück. Auch hier sollte irgendwo VAE dabei sein. Da unten sind sie ja, und wir schmeißen auch die VAEs hier rein. Das Stable Diffusion VAE brauchen wir nicht. Das Wichtigste ist das da: Diese Safe Tensors sind für Flux. Dementsprechend schmeißen wir das hier rein, und danach sollten eigentlich auch schon die quantifizierten Modelle laufen.
Wir gehen jetzt zurück in Forge WebUI, und wir müssen „Refresh“ klicken. Das sollte eigentlich sofort funktionieren. Falls es nicht klappt, dann musst du das neu starten.
Und jetzt müssen wir natürlich unser quantifiziertes Modell hier verwenden. Das passt schon so: Das Q8-Modell. Jetzt brauchen wir die Textencoder – da sind sie schon, das war wegen dem Refresh – und hier verwenden wir die AE-Safe-Tensors, zusätzlich die Clip-Safe-Tensors und auch das Ding hier, und zwar für das FP8-Modell.
Jetzt sollte das Ganze eigentlich schon sofort klappen. Wir haben schon eine Auflösung. Dementsprechend versuchen wir einfach mal nochmal diesen Prompt mit dem quantifizierten Modell. Bei den quantifizierten Modellen lassen wir die Steps natürlich auf 20. Also generieren, und da haben wir jetzt natürlich auch dieses Bild. Auch dieses Bild sieht ziemlich gut aus: Wir haben alle Finger da, wo sie sein sollen, es steht „Flux“ auf dem Schild. Es hat alles gut funktioniert.
Natürlich kannst du noch kleinere Modelle versuchen. Du siehst, die quantifizierten Modelle laufen jetzt. Wenn du zum Beispiel das Q4-Modell verwendest, dann ist das Q4-Modell natürlich noch kleiner. Ich sehe gerade, das habe ich noch nicht dabei. Ich muss wohl nochmal neu laden. Habe ich es doch glatt vergessen, hier reinzuschmeißen. Aber jetzt ist es dabei. Also das „Flux Schnell Q4“-Modell.
Jetzt haben wir die Dinge alle da. Also „Flux Schnell Q4“ – das sollte das schnellste Modell von allen sein. Die Encode und so weiter, die passen alle. Und die Steps, ganz wichtig, können wir beim schnellen Modell runtersetzen, auf 4. Damit sollten wir eigentlich im Stande sein, relativ schnell Bilder zu erstellen. Wobei die Bilder natürlich nicht mehr so gut sind. Ich klicke mal „Generieren“, und da haben wir jetzt das Bild. Bitte immer dran erinnern: Bei der ersten Generation dauert das generell etwas länger.
Jetzt sollten die Generationen noch etwas schneller klappen. Ich will mal hier generieren, während ich aufnehme. Also „Generate“, und die Generation läuft jetzt. Ich muss aber dazu sagen, es stockt etwas. Es ist etwas langsam. Aber zumindest machen wir nur vier Schritte. Du siehst, 50, 75, jetzt der letzte Schritt, und danach sollten wir durch sein. Das Bild ist nicht perfekt, aber natürlich – es ist halt quantifiziert, sehr stark quantifiziert, und wir haben das Schnellmodell mit nur vier Schritten.
Wir müssen dem Ding auch was verzeihen. Aber so können wir uns viel, viel Dinge sparen. Jetzt zeige ich dir noch, wo die ganzen Bilder sind. Natürlich: Du kannst hier draufklicken – bumm! – und danach wird das Bild runtergeladen. Dann hast du es natürlich sofort bei dir auf dem PC.
Wenn du in deinen Forge-Ordner reingehst, auf „WebUI“ klickst, dann findest du auch hier „Outputs – Text to Image“, hier das Datum, und danach findest du die Bilder, die wir heute so generiert haben.
Und das waren die absoluten Basics von Forge. Du weißt jetzt, wie du das Ding installierst, du weißt, wie du Modelle reinschmeißt, du weißt auch, wie du quantifizierte Flux-Modelle laufen lassen kannst.
Und im nächsten Video will ich dir zeigen, wie du das Inpainting mit Flux machen kannst. Denn das Inpainting mit Flux finde ich tatsächlich am besten in Forge. Das Inpainting mit Stable Diffusion finde ich tatsächlich am besten in Fooocus. Und das Inpainting in Confy – na ja, es funktioniert zwar, da sind die Workflows mir persönlich meistens zu aufwendig, weshalb ich ganz einfach im Fooocus bleibe. Wir sehn uns im nächsten Video.