Werk:AI mit Arnie/Weitere Beispiele für ComfyUI
ConfyUI ist ein wirklich gigantisches Tool. Und in ConfyUI kannst du natürlich nicht nur Flux laufen lassen, sondern auch Stable Diffusion. Du kannst auch die verschiedensten Extensions von Stable Diffusion verwenden und noch weitere Open-Source-Programme installieren.
In diesem Video will ich dir einen kleinen Überblick geben. Ich will dich einfach mal in die richtige Richtung schubsen. Du musst mit den Dingen rumspielen. Du kannst Sachen installieren wie FaceSwap, Videoerstellung und vieles, vieles mehr. Und ich zeige dir auch noch ein paar Projekte, die ich richtig cool finde, die aber aktuell noch nicht ganz so gut laufen.
Also, ein Projekt, das recht gut ist, ist zum Beispiel der FaceSwap. Der funktioniert ähnlich wie in Fooocos. Du siehst, Leute können ein Gesicht hochladen, und sie können davon danach verschiedenste Styles machen. Das funktioniert wirklich relativ gut.
Das hier ist das Research Paper, und die zeigen auch einige Beispiele hier. Man kann ein einziges Bild hochladen, tatsächlich nur von vorne, und kann das danach in verschiedenste Posen und verschiedenste Richtungen bringen. Hier siehst du noch mal ein paar Beispiele mit verschiedenen Styles. Das funktioniert wirklich relativ gut, muss ich hier sagen. H
ier ein paar Dinge von Taylor Swift. Auch das hat richtig gut funktioniert, auch wenn sie nicht direkt mit in die Kamera blickt. Dementsprechend siehst du, das Ding funktioniert recht gut. Ich will dir zeigen, wie man sowas installieren kann und danach natürlich noch den Überblick zu den anderen Dingen.
Du findest fast immer die Sachen auf GitHub. Das Ding nennt sich zum Beispiel „Instant ID“. ConfyUI Instant ID. Das kannst du googlen. Danach findest du das Projekt auf GitHub.
Wenn du runterscrollst, findest du immer die Dinge, die du installieren musst, und du weißt auch, wie das geht. Das haben wir bis jetzt schon ganz, ganz oft gemacht mit den Flux-Modellen und so weiter. Du brauchst all diese Modelle, damit das ganze Ding läuft.
Du hast hier schon einen Basic Workflow, den kannst du dir sogar reinziehen. Danach ist alles schon richtig eingestöpselt. Du findest ab und zu sogar Video-Tutorials, und die Installation funktioniert insgesamt recht einfach. Du musst natürlich „Git Clone“ runterladen und die Befehle ausführen.
Aber da wir natürlich bereits den Manager haben, kannst du die Dinge auch im Manager suchen. Also suchst du im Manager einfach „Instant ID“ und lädst die Dinge runter, die für dich passen. Danach musst du auf „Hugging Face“ gehen, um die Modelle runterzuladen, und den IP-Adapter und ein ControlNet. Alle Dinge müssen in die richtigen Ordner rein, so wie du das gelernt hat, und danach bist du bereit. Du kannst sofort schon loslegen.
Hier noch ein, zwei Beispiele: Du siehst, das funktioniert wirklich relativ gut, und die ganze Anleitung ist sehr, sehr schön dokumentiert hier auf GitHub. Also, noch mal: Geh ganz einfach auf ein solches GitHub-Repo, schau dich um, was dir gut gefällt, und folge den Anleitungen. Und meistens bekommst du sogar einen Workflow. Auch hier oben findest du meistens noch das ReadMe.
Generell verwende ich den FaceSwap hier eigentlich relativ selten, da das in Fooocos etwas einfacher funktioniert und da wir uns die Downloads sparen können. Diese ganzen Downloads summieren sich auf 5 bis 6 GB. Deshalb habe ich mir das bis jetzt zumindest gespart.
Wenn du ein genaueres Tutorial willst, lass es mich einfach wissen.
Danach ist dieses Projekt auch etwas, das ich relativ cool finde: LivePortrait nennt sich das Ding. Bei LivePortrait kannst du Dinge animieren. Generell geht es darum, dass ein ControlNet die Dinge hier sich ansieht, wie sich Gesicht und Mund und so weiter bewegen, und du kannst das danach umbauen in ein Video von dir. Du siehst, dieser Mensch spricht, das ControlNet zieht sich an, wie sich hier das Gesicht bewegt. Und auch das kannst du natürlich auch in ConfyUI installieren.
Hier siehst du noch ein kleines Beispiel: Man kann zum Beispiel die Mona Lisa hochladen, danach das kleine Video von sich selbst, wie man zum Beispiel den Kopf bewegt und verschiedene Grimassen schneidet. Und das kann man danach dank dem ControlNet ganz, ganz einfach hier erstellen. Auch das funktioniert generell sehr einfach. Du findest viele Beispiele, du findest verschiedene Workflows. Auch das da fand ich besonders cool.
Ich gehe mal mit der Maus weg. Hier unten auf der linken Seite siehst du, wie die Frau Grimassen schneidet. Ich zeige dir das noch mal: Hier oben siehst du danach das Bild, das du hochgeladen hast. Und auf der rechten Seite siehst du, wie ihre Grimassen auf das Bild übertragen werden. Auch hier findest du Workflows, und du weißt natürlich auch, wie du die Dinge installieren kannst. Hier würde es noch ein Beispiel geben, wie sie auf dieses Bild angewendet werden. Dieses LivePortrait ist auch insgesamt relativ cool. Hier unten, wie gesagt, findest du die Beispiele. Und du weißt auch, wie du die Dinge installieren kannst.
Generell immer in den ConfyUI-Manager die Dinge runterladen, danach die Modelle runterladen, einen Workflow suchen, und das war's. Hier findest du sogar Workflows. Also, das ist schon relativ einfach aufgebaut. Dementsprechend bist du hier gut aufgestellt.
Ein weiteres Tool, das ich recht cool finde, ist dieser „Tuncrafter“. Und der Tuncrafter, der kann Animes erstellen. Hier startet man mit einem Startframe und mit einem Endframe, und das Diffusion-Modell macht die Frames in der Mitte. Und man kann klitzekleine Videos erstellen, zum Beispiel sowas.
Du siehst den Startframe und den Endframe. Und die Frames in der Mitte, die werden danach einfach von ConfyUI erstellt. Und hier gilt wieder genau das Gleiche: Also Input-Starting-Frame, Input-Ending-Frame und danach das Video, das generiert wird. Ich muss gestehen, die Videos sind natürlich nicht perfekt. Die sind relativ kurz, aber man kann kurze Videos erstellen. Die Generierungen dauern hier, um ehrlich zu sein, auch sehr, sehr lange. Du findest auch hier immer Workflows und die Anleitungen, wie du die Dinge installierst.
Noch etwas, das ich auch relativ cool finde, ist „Mimic Motion“. Mimic Motion ist auch ein ControlNet, und das kann Leute animieren. Dementsprechend kannst du aus Bildern klitzekleine Tanzvideos machen, wie zum Beispiel das da. Mimic Motion ist ein Projekt, das mir auch relativ gut gefällt. Man kann einfach nur Bilder in bewegte Bilder verwandeln, dank den ControlNets.
Und hier siehst du, wie immer: „How to use“. Du kannst die Dinge natürlich wie immer installieren. Du findest oft sogar Tutorials mit kleinen YouTube-Videos. Und so kannst du all diese Dinge relativ einfach umsetzen.
Ein weiteres Projekt, das ich richtig cool finde, ist „DeForum“. DeForum baut eigentlich auf Stable Diffusion auf, aber die haben sich auch zusammengeschlossen mit XLabs. XLabs kennst du ja bereits. DeForum ist ein Programm, mit dem man Animationen machen kann. Man kann viele Frames nacheinander machen. DeForum ist ein riesengroßes Tool. Zu DdeForum alleine habe ich einen Kurs, der vier oder fünf Stunden dauert. Es ist insgesamt ein sehr, sehr großes Tool. Deshalb kann ich natürlich nicht alles hier reinbauen.
Bei DeForum ist etwas sehr, sehr schade: DeForum Stable Diffusion – dieses Projekt wird nicht mehr weiterentwickelt. Also, die Entwickler vom Standard-Stable-Diffusion-DeForum-Team, die entwickeln hier nicht mehr wirklich aktiv weiter. Aber zum Glück hat hier XLabs gegriffen und zumindest die Fkux-Modelle bei DeForum hinzugefügt. Dementsprechend kannst du auch solche Animationen, wie du hier sehen kannst, mit DeForum machen.
Ich muss gestehen, DeForum ist etwas komplex zu verwenden. Die Lernkurve bei DeForum ist sehr, sehr hoch. Lass mich wissen, wenn ich mehr zu DeForum einbauen sollte. Generell verwende ich für DeForum eher die Stable-Diffusion-Modelle, weil mit Flux die Generationen einfach ewig dauern. Da kann man sich sogar eine A100 mieten, und man muss ewig darauf warten, bis man gute Generationen bekommt. Aber ich bin wirklich, wirklich gespannt darauf, wann wir Flux-Modelle sehr schnell laufen lassen können und ob eventuell auch hier bei DeForum weiterentwickelt wurde.
In diesem Video wollte ich dir einfach noch mal einen kleinen Anstoß geben. ConfyUI ist ein riesengroßes Tool. Die Lernkurve ist hoch, aber du musst selbst ein klein wenig damit rumspielen.
Oft findest du Open-Source-Projekte, und die Chance, dass die in ConfyUI laufen, ist riesengroß. Meistens findest du ein GitHub-Repo, und in diesem Repo wird alles genau erklärt.
Lass mich gerne wissen, wenn ich in eines dieser Projekte tiefer eintauchen soll. Wenn ich einen Workflow zusammenstellen soll, den kann ich gerne teilen. Aber erstmal will ich es wirklich dabei belassen. Gerade die Videos – dafür denke ich fast, dass andere Tools besser und einfacher geeignet sind. In dem Sinne: Wir sehen uns natürlich im nächsten Video.