Werk:AI mit Arnie/FaceSwap & ControlNets kombinieren
In diesem Video will ich über FaceSwap sprechen und auch über die Kombinationen dieser ControlNets. Ich zeig dir mal, wie das Ganze läuft.
Ich habe hier ein paar Bilder generiert. Sagen wir, dir gefällt das Bild recht gut, zum Beispiel dieses hier. Das Gesicht gefällt dir nicht besonders, aber generell gefällt dir die Pose. Die Hände sind gut, weil sie versteckt sind. Das Outfit gefällt dir gut, was auch immer. Jetzt können wir natürlich auf Input Image gehen, und wir gehen natürlich mal wieder auf Image Prompt. Hier entferne ich die Dinge, die ich noch drin habe.
Hier gehen wir auf Pyra Canny. Und bei Pyra Canny ziehen wir jetzt das da rein, weil wir natürlich die Pose von dieser Person haben wollen. Jedoch wollen wir ein anderes Gesicht haben. Dafür verwenden wir den FaceSwap, und das können wir kombinieren. Das heißt, Pyra Canny bei dieser Person.
Jetzt habe ich schon dieses Bild hier runtergeladen, weil mir hier das Gesicht zum Beispiel recht gut gefällt. Und jetzt können wir dieses Bild natürlich auch noch hier hochziehen, und jetzt können wir hier auf FaceSwap klicken. Dann bekommen wir diese Person, aber mit diesem Gesicht. Die Haare werden auch meistens vom FaceSwap übernommen. Und wir klicken jetzt einfach mal generieren.
Wir können die Dinge hier mit drinnen lassen im Prompt. Wir können aber den Prompt auch umschreiben oder sogar komplett entfernen. Dementsprechend könnte ich natürlich das da einfach mal so lassen und generieren klicken. Wir verwenden also den gleichen Prompt, und dann sehen wir uns an, was wir hier bekommen.
Und du siehst es auch jetzt schon: Das Ganze funktioniert insgesamt relativ gut. Wir haben genau die gleiche Pose von diesem Bild, aber das Gesicht von dieser Dame hier. Ich denke wirklich, man kann das sehen. Wenn ich hier ein solches Bild öffne – ja, es ist vielleicht noch nicht perfekt. Man könnte mit den Dingen natürlich noch mehr spielen.
Das Gewicht vom FaceSwap könnten wir natürlich auch noch weiter erhöhen. Aber ich denke wirklich, das hat hier recht gut funktioniert. Wir können auch den Prompt umtauschen. Hier zum Beispiel nur noch „women“ reinschreiben. Dann können wir das Gesicht von ihr wahrscheinlich noch besser übernehmen.
Bitte hier FaceSwap und hier Pyra Canny. Dann bekommen wir diese Pose mit diesem Gesicht. Ja, und jetzt funktioniert es sogar noch besser. Wir haben genau die Pose von ihr, aber das Gesicht von ihr. Ich glaube, man kann wirklich sehen, dass hier das Gesicht relativ gut übernommen wurde. Ja, die Gesichter sind nicht perfekt. Man könnte die danach natürlich noch verbessern.
Ich sag dir noch was: Wir können natürlich auch ein Bild komplett wegnehmen, hier nur noch das Gesicht FaceSwapping, und zum Beispiel sowas schreiben: „business woman in an office“. Und wir klicken generieren. Dann bekommen wir eine Businessfrau in einem Büro, aber mit diesem Gesicht. Und ich glaube, man kann es auch hier sehen. Also, der FaceSwap hat relativ gut funktioniert. Wir haben, wie gesagt, dieses Gesicht, aber natürlich mit komplett anderen Kompositionen. Und alles. Hier wurde zum Beispiel doch recht gut umgesetzt. Es ist ziemlich genau dieses Gesicht, aber auf dieser Business-Dame hier. Und auch hier wurde es relativ gut gesetzt. Also, das Gesicht von unserer Dame dank dem FaceSwap auf jedes einzelne Gesicht draufgepackt.
Ich sag dir noch was: Du kannst natürlich auch noch zum Beispiel Bilder von dir hochladen. Ja, ich habe wirklich kein besseres Bild gefunden. Wir gehen auf FaceSwap, und danach könnten wir hier jetzt natürlich sowas eingeben: „business man in an office“. Und wir klicken generieren. Und jetzt sollten wir einen Mann bekommen, der mir zumindest ein klein wenig ähnlich sieht in diesen Bild. Ich muss gestehen, das funktioniert nicht immer perfekt, aber den Dingen sollte man generell mal eine Chance geben. Mit dem FaceSwap-Gewicht kann man natürlich auch spielen – das Gewicht hochsetzen, das Gewicht runtersetzen. Aber mein Gesicht und die Haare werden von der Struktur danach einfach einigermaßen übernommen. Also, ich glaube schon, man kann sehen, dass mir der Mann halbwegs ähnlich sieht. Zumindest hoffe ich es. Ja, die Gesichter sind nicht immer perfekt. Die kann man danach noch nachbearbeiten. FaceSwap ist etwas, das aktuell nicht komplett perfekt funktioniert.
Wir könnten uns hier – ja, ist einigermaßen okay – auch mit anderen Modellen spielen, zum Beispiel das Realistic-Modell. Da sollte es besser funktionieren. Immer wenn du natürlich Modelle wechselst, da musst du einen kleinen Moment warten, weil sich die Modelle eventuell noch runterladen müssen. Selbiges ist natürlich auch bei jeder dieser Methoden, die du verwendest: Inpainting, Image Prompt, FaceSwap – es müssen immer ControlNets und solche Dinge runtergeladen werden. Dementsprechend kann das einen kleinen Moment dauern.
Okay, das ist immer noch nicht perfekt. Laut Stable Diffusion sehe ich so aus. Ich weiß nicht so ganz, ob ich das unterschreiben würde. Aber auch hier kannst du natürlich mit dem Gewicht vom FaceSwap ein klein wenig spielen – zum Beispiel hoch auf 0,9, generieren klicken und dir ansehen, was du alles bekommst.
Wenn wir unser Gesicht verwenden wollen, dann ist das generell die beste Idee, ein LoRA zu trainieren. Und das werden wir später auch machen. Am besten funktioniert das wirklich, wenn du ein Bild generierst mit KI und auf ein anderes Bild das Gesicht draufpacken willst. Da bekommt man teilweise wirklich erstaunlich gute Generationen, wenn man ein klein wenig rumspielt.
Jetzt hier das Gewicht auf 0,9 erhöht. Ich denke, das Ding sieht mir immer noch nicht so wirklich ähnlich. Das ist leider der Stand der KI aktuell. Ich wechsle wieder zurück auf mein initiales Modell und wir machen das noch ein einziges Mal. Ich habe hier zwei Bilder erstellt. Mir gefällt zum Beispiel das Bild relativ gut. Wir klicken wieder Input Image, ziehen das Bildchen hier runter natürlich. Das Gewicht vom FaceSwap meinetwegen mal circa auf 0,8 würde ich hier sagen.
Und jetzt können wir natürlich dieses Gesicht erstellen und zwar ziemlich oft. Wir könnten „business woman“, „cyberpunk“ hier genau gleich lassen. Aber wir wollen hier meinetwegen so zehn Bildchen machen. Wir klicken generieren. Dann bekommen wir dieses Gesicht mit relativ ähnlichen Haaren, relativ ähnlich aufgebaut, alles, aber mit verschiedenen Kleidungen, verschiedener Hintergrund. Es wird hier nur das Gesicht und der Haarstil erkannt.
So sollten wir imstande sein, diese Frau relativ schnell zu rekreieren, und zwar in verschiedensten Hintergründen mit verschiedenen Kleidungen. Die Bilder sollten sich relativ ähnlich sehen, und das Gesicht sollte wirklich einigermaßen gleich aussehen.
Ich glaube, du siehst schon: Das Ganze startet hier relativ vielversprechend. Wir sehen uns das Ganze danach genau an. Da hier das Wort „cyberpunk“ dabei ist, haben wir natürlich diesen typischen Cyberpunk-Look. Aber der Cyberpunk-Look gefällt mir zum Beispiel relativ gut.
Und so schnell haben wir das Ganze hingekriegt, und ich denke wirklich, das Ganze funktioniert gut. Wir haben genau unsere Frau mit unserem Gesicht, relativ ähnlicher Style, aber verschiedene Kleidung, verschiedene Umgebungen, verschiedene Blickwinkel. Alles hat so geklappt, wie ich mir das vorgestellt habe.
So könnten verschiedene Leute zum Beispiel auch KI-Influencer machen. Ich denke, das funktioniert so wirklich unglaublich gut, unglaublich einfach. Man kann sehr schnell sehr, sehr viele Bilder machen, und die kann man danach natürlich nacheinander posten. Und man hat immer was Cooles, Neues für Instagram. So einfach könnte das Ganze tatsächlich funktionieren.
Und ja, du kannst auch FaceSwap machen, unten den Prompt komplett anders umändern: „business woman“ meinetwegen „in the park, sunny weather“. Und wir klicken generieren. Jetzt fehlt uns natürlich auch das Triggerwort „cyberpunk“, aber das Gesicht sollten wir dennoch so gut wie genau gleich hinbekommen. Wir werden den typischen Cyberpunk-Look natürlich verlassen. Wir werden eine Dame haben, die so oder so ähnlich aussieht, aber dafür im Garten steht. Ich denke, man sieht wirklich: Die ersten Bilder kommen schon relativ vielversprechend rein. Es ist die gleiche Dame, eine ähnliche Frisur, genau das gleiche Gesicht, aber es ist eben jetzt im Park, und das Wetter ist sonnig.
Du siehst, dieser FaceSwap, der funktioniert wirklich ziemlich gut. Wir können uns die Bilder ja nacheinander ansehen. Also, ich denke, du hast gesehen, was du sehen musst. Das einzige Problem, das wir hier hatten, war vielleicht mit meinem Gesicht. Vielleicht ist mein Gesicht einfach nicht hübsch genug für Stable Diffusion. Aber du siehst, das Gesicht dieser Dame ist perfekt. Wir bekommen die Bilder wirklich unglaublich gut, unglaublich realistisch hin.
Und so oder so ähnlich könnte man in null Komma nichts ganz, ganz viele Bilder machen – für Instagram, für was weiß ich. Du kannst mit den Dingen natürlich machen, was auch immer du willst.
Und ich glaube, so langsam hast du den Punkt auch verstanden. Hiermit kannst du hunderte Bilder generieren, und zwar im Nu. Gerade mit dieser KI bist du wahnsinnig schnell beim Generieren. In dem Sinn: Viel Spaß beim FaceSwap. Spiel ein wenig rum. Kombiniere meinetwegen auch die verschiedenen Dinge. Willst du eine Pose haben, dann kannst du hier „pose to image“ oder „depth to image“ verwenden und im nächsten Feld den FaceSwap machen. Dann bekommst du dein Gesicht auf andere Posen drauf. Du kannst mit dem Prompt arbeiten, du kannst ganz ohne Prompts arbeiten. Du hast hier viel Kreativität. Du musst ein klein wenig rumspielen. Einige Generationen werden nicht perfekt, aber du kannst ja im Nachhinein noch ein klein wenig nachbessern – mit dem Enhance, Upscale, Kombination mit Prompts. Und du bekommst gute Bilder hin.