Werk:AI mit Arnie/Text in Stable Diffusion
Text in Stable Diffusion ist schwer. Dennoch will ich in diesem Video zeigen, wie wir den Text verbessern können. Du siehst hier das Bild „Feed me human“. Also, diese Katze fragt danach, ob man sie füttern könnte oder befehlt es. Der Prompt ist jedoch ein klein wenig anders. Ich wollte eine Katze, die ein Schild hochhält, worauf steht: „Feed me now human“. Generell muss ich sagen, das Ding haben wir hier schon sehr, sehr gut hinbekommen. Jedoch, wenn du das öfter laufen lässt, bekommst du ab und zu natürlich noch viel, viel schlechtere Ergebnisse.
Wenn ich das jetzt noch mal laufen lasse, z. B. mit einem Random Seed, damit wir ein neues Bild bekommen, bin ich mir relativ sicher, dass der Text noch schlechter wird. Wie gesagt, ich hatte hier einfach nur Glück.
Ich will dir aber danach zeigen, wie du den Text um einiges verbessern kannst. Und generell muss ich hier auch sagen: Ja, du kannst das Ganze natürlich noch viel besser machen mit neueren Modellen wie z. B. Flux oder etwas Ähnlichem. Es gibt viele Stable-Diffusion-Modelle, die auch gut im Text sind. Aber solltest du irgendwann Probleme haben mit Text, dann zeige ich dir, wie du den Text viel besser hinbekommst. Hier sieht man wirklich: Der Text ist relativ schlecht. „Feed – ein Strich – human“ ist auch nicht so wirklich richtig.
Jetzt zeige ich dir aber, wie man dieses Bild um ein Vielfaches besser hinbekommen könnte. Wir laden erstmal dieses Bild runter. Damit wir das jetzt aber hinbekommen,.
Damit wir dieses Schild hier perfekt umändern können, müssen wir das Inpainting machen. Wir gehen mal auf „Input Image“. Und wenn du hier in „Inpaint“ oder „Outpaint“ gehst, dann kannst du dieses Bild runterziehen, und du kannst hier die Dinge markieren, die du natürlich inpainten und outpainten willst. Dementsprechend würde man natürlich z. B. genau das da hier markieren.
Aber jetzt kommt danach was Wichtiges: Wir müssen die Dinge vermischen. Ich will eine Vorlage geben. Und du weißt natürlich, wie die ganzen Grundkonzepte hier funktionieren. Dafür müssen wir auf „Image Prompt“ gehen. Und bei „Image Prompt“ müssen wir eine Vorlage hochladen. Und ich zeige dir mal, wie eine solche Vorlage aussehen könnte.
Wir könnten in Canva gehen und in Canva sowas machen: „Feed me now human“. Das sollte wirklich sehr gut und sehr einfach funktionieren. Wenn du nicht weißt, wie das funktioniert: Das funktioniert wirklich sehr einfach. Übrigens, ja, hier mache ich all meine Thumbnails. Und diese Bilder, die sind immer KI-generiert.
Aber ich zeige dir noch mal, wie das läuft. Duplizieren, das Ding erstmal löschen. Das will ich auch erstmal löschen. Wenn wir dieses Bild hier hochladen, dann müssen wir hier sicher gehen, dass wir die richtige Auflösung und alles verwenden. Erstmal kann ich das auch hier lassen. Das kann ich später auch noch in Gimp verändern, wenn ich mag. Ich verwende das Ding hier. Danach müssen wir hier auf „Elemente“ gehen, und wir fügen irgendein Element hinzu, z. B. das da. Das passt jetzt so schon relativ gut. Wir können es hier viereckig machen, so, damit es in etwa reinpasst.
Die Dinge hier sind nicht so präzise. Du musst hier nicht wahnsinnig genau arbeiten. So oder so ähnlich könnte das klappen. Du schreibst danach ganz einfach, wie du das Ding haben willst: „Feed me now … now human“, z. B. Könntest auch Beistriche machen, was auch immer. Danach die Textgröße so einstellen, wie es halt für dich passt, z. B. so: „Feed me now human“. Meinetwegen hättest du das Ganze auch noch gerne in Fett, das kannst du also machen, so wie du willst. So, oder so ähnlich könnte das klappen.
Wir haben jetzt eine halbwegs gute Vorlage. Diese Vorlage müssen wir jetzt runterladen. Du könntest danach auch noch in ein Tool wie dieses gehen und das Ding zuschneiden, so, damit an den Ecken nichts übersteht. Und als letzten Schritt könntest du es z. B. auch noch in Gimp genau anpassen, an die Auflösung, die eben für dich richtig ist. Dafür klickst du natürlich „skalieren“, und du kannst das Bild größer und kleiner machen.
Hier ist wichtig, dass du die gleiche Pixelgröße hast wie im Fokus. Hier siehst du immer die Pixelgröße. Das heißt, wenn du hier in Fooocus gehst, dann siehst du im Fooocus ja, dass wir die Generation 1408 x 704 Pixel machen. Das müssen wir in Gimp auch einstellen. Dementsprechend: 1408. Ja, ein Pixel auf oder ab macht hier nichts aus. 1408 x 704. 1408 x 704. Du siehst, so wäre das Ganze tatsächlich optimal. Und das Ding würden wir jetzt natürlich exportieren.
Es ist mir generell relativ egal, welches Programm du verwendest, um deine Dinge hier zu bearbeiten. Das funktioniert überall, sobald du die richtige Auflösung hast. Gehst du hier in „Image Prompt“, hier können wir das Ding reinziehen. Wie gesagt, die Auflösung sollte einigermaßen gut sein: „Feed me now human“. Das passt schon so. Jetzt verwenden wir ein ControlNet, und zwar das CPDS oder das Pyra Canny. Für mich funktioniert CPDS besser. Hier mag ich es, um ehrlich zu sein, auch die Dinge ein klein wenig höher zu machen. Und schwups, jetzt haben wir die Dinge höher.
„Inpaint“ oder „Outpaint“ haben wir hier natürlich auch schon perfekt akzeptiert. Wenn wir auf „Advanced“ gehen, dann gibt es natürlich noch den „Developer Debug Mode“. Und du weißt, wir können „Mixing Image Prompt“ und „Inpaint“ kombinieren. Und wenn du auf „Inpaint“ gehst, gibt es auch noch hier was. Wir generieren das jetzt erstmal, ohne die Dinge anzupassen, und sehen uns an, ob das Ganze klappt oder nicht. Generieren … das Ganze. Es ist jetzt natürlich lausig. Vielleicht weißt du auch, warum es lausig ist. Natürlich, weil wir „Mixing Image Prompt“ und „Inpaint“ nicht aktiviert haben. Jetzt aktivieren wir mal das, und wir klicken noch mal „Generieren“. Und ab und zu klappt es auch da nicht. Und da will ich dir auch noch einen supercoolen Trick zeigen.
Wenn du Glück hast, klappt es. Wenn du nicht Glück hast, klappt es nicht. Meistens müssen wir wirklich noch in „Inpaint“ reingehen und hier damit spielen. „Inpaint Perspective Field“ ist automatisch aktuell auf 0 gesetzt. Ja, ich sehe schon, es scheint hier einigermaßen gut zu klappen. Aber wenn du mit dem „Inpaint Perspective Field“ noch spielen willst, dann kannst du das auf alle Fälle noch machen. Ich sag dir danach ganz gleich, wie das Ganze funktioniert. Wenn du das „Inpaint Perspective Field“ größer oder kleiner stellst, wird unterschiedlich viel von diesem Bild insgesamt sich sozusagen betrachtet. Wenn du hier die Dinge runterstellst auf Null, dann wird nichts vom restlichen Bild betrachtet. Und dementsprechend haben wir hier auch Pfoten und solche Dinge mit dabei. Wenn du die Dinge jedoch hochstellst, dann wird das gesamte Bild betrachtet.
Dementsprechend kannst du das Ding gerne mal hochstellen. Ich würde das erstmal auf 1 stellen. Dann sehen wir uns an, was passiert. Du siehst: „Feed me now human“. Der Text war gut, aber das generelle Schild sieht etwas lausig aus, um ehrlich zu sein. Noch mal „Generate“ mit dem „Inpaint Perspective Field“ auf 1. Und schwups, jetzt haben wir ein Bild, das eigentlich perfekt ist: „Feed me now human“. Das Ding sieht sehr gut aus. Und das Ding sieht sich hier beim „Inpaint Perspective Field“ jetzt das ganze Bild an.
Was für dich noch übrig bleibt, ist natürlich mit dem Gewicht und mit dem „Stop at“ zu spielen. Gleichzeitig kannst du natürlich auch noch mit Farben und so weiter spielen: „a cat holding a sign with the letters“. Meinetwegen „With on it, the letters are green“, z. B. so. Kannst du rumspielen oder meinetwegen Rot. Ich denke, das sehen wir besser. Somit kannst du mit den Dingen umspielen. Jetzt beim „Inpaint Perspective Field“. Hier kannst du auch eventuell noch runtergehen, wenn du magst. Ich will jedoch noch mal auf 1 arbeiten. Und natürlich beim „Image Prompt“ das Gewicht wieder so einstellen, wie es für dich perfekt ist. Wir klicken „Generieren“, und du siehst: Wir sind im Stande, den Text wirklich um ein Zehnfaches zu verbessern.
Ja, es gibt andere Modelle, die Text sofort hinbekommen. Das ist aber ein superguter Quickfix. Und du siehst: Wir bekommen jetzt roten Text, und der Text ist auch wieder relativ gut: „Feed me now human“. So oder so ähnlich könntest du Text richtig, richtig gut hinbekommen, und zwar mit dem Inpainting. Und das Ganze funktioniert relativ gut. Spiele ganz einfach mit dem „Inpaint Perspective Field“. Vergiss nicht, auf die „Developer Debug Modes“ zu gehen und unter „Control“ natürlich auch „Mixing Image Prompt“ und „Inpaint“ zu aktivieren. Spiel danach mit diesem Gewicht ein klein wenig rum, und du bekommst generell sehr, sehr guten Text hin, natürlich auch in Stable Diffusion.
Ich denke, das ist hier schon perfekt. Du könntest natürlich danach noch weitergehen, z. B. das wieder deaktivieren: „Inpaint“ oder „Outpaint“, das wegmachen, dieses Bild hier runterziehen. Danach bei den „Developer Debug Modes“ wieder die Standarddinge einstellen, das heißt: das „Perspective Field“ wieder runterschrauben. Bei „Control“ natürlich „Mixing Image Prompt“ und das wieder deaktivieren. Und hier vielleicht noch an Kleinigkeiten arbeiten. Meinetwegen willst du das Ding da nicht mehr haben. Hier haben wir einen Punkt bekommen, der mir z. B. nicht gefällt. Den könnten wir markieren. Jetzt gehen wir hier wieder: „Ja, passt schon.“ Z. B. „Background“, und wir klicken wieder „Generieren“. Und danach sollten wir das Bild wirklich so gut wie perfekt bekommen.
Wir haben eine Katze, die das Schild hält: „Feed me now human“. Und hier oben werden wir das Bild noch besser bekommen, wo auch dieser kleine Fehler hier tatsächlich nicht mehr mit dabei ist. Und du siehst: Unser Schild wird mittlerweile wirklich perfekt. Das letzte Ding wurde hier entfernt. Natürlich könntest du hier auch noch weitere Dinge mit reinzeichnen. Du könntest die Dinge ganz genauso machen, wie sie eben für dich perfekt sind. Das sind hier wirklich Inpainting-Tricks, die kaum jemand kennt. Und deshalb kriegt in Stable Diffusion niemand Text hin, obwohl es eigentlich relativ einfach ist.
Es ist vielleicht nicht einfach – man muss einige Dinge wissen. Aber wenn du mit dem „Developer Debug Mode“ spielst, zusätzlich „Image Prompt“ verwendest, hier CPDS oder Pyra Canny, und auf die richtige Auflösung achtest, dann bekommst du wirklich Text hin, der bis auf die kleinste Ziffer perfekt ist.
Du siehst: Unser Text wurde wirklich 1:1 so übernommen, wie wir ihn eingebaut haben: „Feed me now human“. Und zwar ganz genauso, wie wir es eben hier reingeschrieben haben. Aber das Schild ist dennoch perfekt, weil die Dinge natürlich vom Inpainting in Stable Diffusion mit berücksichtigt werden. Auch wenn wir hier wirklich batzig gearbeitet haben und einfach irgendwas reingeschmissen haben, das ist hier wirklich ein super Tipp.
Und natürlich die neueren Modelle, z. B. Flux, die kriegen den Text normalerweise auch sehr schnell hin. Aber gerade, wenn du große Schilder machen willst, dann könntest du so oder so ähnlich arbeiten. Viel Spaß dabei.