Werk:AI mit Arnie/Pika Labs
Lasst uns über Pika Labs sprechen. Pika Labs ist ein Tool, das Text-to-Video kann, Video-to-Video und auch Image-to-Video. Und die Outputs von Pika Labs sind eigentlich relativ gut. Sehen wir uns das Ganze einfach mal in Action an.
Wenn du das erste Mal auf diese Webseite draufgehst, dann sieht das so aus. Es steht sofort „Try Pika“, aber wenn du rausscrollst, dann verwandelt sich die Webseite tatsächlich ein klein wenig. Du kannst runtergehen, hier auf „Create“ klicken, wenn du natürlich sofort loslegen willst, aber du siehst auch, was du machen kannst. Du kannst Text zu Video machen, und die Dinge sehen danach so aus. Frag mich nicht, warum man hier andauernd solche Raccoons, beziehungsweise Waschbären, sieht, aber das ist wohl scheinbar ein Prompt, den sie gerne verwenden.
Daneben kannst du Image-to-Video machen. Dementsprechend kannst du natürlich ein Bild hochladen und das danach sozusagen animieren mit Prompts, genauso wie in Stable Video Diffusion.
Und du hast auch Video-to-Video, das heißt, du lädst dein Video hoch, und du kannst es verwandeln, ganz genauso wie du eben hier siehst.
Dementsprechend kannst du mit Pika Labs natürlich viele Dinge machen. Und was auch noch mit dabei ist, ist Lip Synchronize. Das ist auch relativ cool, denn du kannst natürlich Sprache eingeben und kannst danach lippensynchron dazu sprechen lassen. Das ist relativ praktisch, wenn du zum Beispiel ein Bild hast oder ein Video, und du würdest gerne ein Lipsync davon machen.
Etwas vom Coolsten ist auch „Modify Region“. „Modify Region“ kannst du dir so vorstellen, dass du sozusagen verschiedenste Dinge von einem Video austauschen kannst, eben ganz genauso wie du es hier sehen kannst bei diesen Beispielen. Ich denke, die Beispiele sehen wirklich sehr, sehr gut aus. Also, mit einem einzigen Klick kannst du hier die Dinge umändern.
Und du kannst sogar kleinere Videos größer machen, indem du das Aspect Ratio veränderst. Das heißt, du kannst das sogenannte Inpainting und Outpainting in Pika Labs alles machen.
Pika Labs ist eine Plattform, die relativ gut ist. Und du kannst sogar deine Videos natürlich verlängern, indem du einfach das Video erstellst und es immer länger machst, genauso wie du es hier siehst. Auch das funktioniert relativ gut.
Hier drunter siehst du noch haufenweise Beispiele. Ich würde dir empfehlen, dass du dir die einfach mal selbst ansiehst, wenn du magst.
Dementsprechend, wir klicken jetzt einfach mal auf „Try Pika“. Wenn du das das erste Mal machst, bekommst du hier gratis ein paar Kredite, und du kannst das kostenlos testen. Du solltest dich entweder mit Google oder mit Discord anmelden. Es ist relativ egal, womit du dich genau anmeldest.
Sobald du das erste Mal in Pika Labs drinnen bist, siehst du hier die Webseite. Hier kannst du dir ansehen, was andere Leute gemacht haben. Und generell würde ich dir auch das erstmal empfehlen. Das heißt, du siehst sofort, was so generell gut aussieht und was weniger gut aussieht.
Lasst uns einfach mal sehen, wie sich dieser Roboter so macht. Das heißt, du kannst einfach nur mit der Maus über diese Dinge drübergehen, und du siehst, wie das alles aussieht. Der Roboter, der bewegt sich hier relativ gut, wie ich finde. Und falls du diese Videos richtig, richtig gerne magst, dann kannst du die auch sofort runterladen. Und du siehst im Übrigen auch immer, welcher Prompt zu diesem Video geführt hat.
Das heißt, du kannst dich hier gerne einfach mal ein klein wenig umsehen. Ich denke, diese Video-Tools sind relativ gut mittlerweile. Der Output ist zumindest akzeptabel. Und ich denke, das wird natürlich immer besser und besser werden. All die Dinge, die du hier jetzt siehst, das wird für immer die schlechteste Qualität bleiben, die du jemals siehst. Jedes dieser Videos wird natürlich besser und besser mit der Zeit. Und auch dieses Drachenvideo hier oben ist gar nicht schlecht.
Nun hast du mehrere Möglichkeiten. Du kannst entweder hier „Copy“ klicken, dann wird dein Prompt natürlich sofort kopiert, und du kannst den hier unten natürlich wieder einfügen. Dementsprechend könntest du dieses Video hier rekreieren und zwar für dich selbst. Du weißt natürlich, wie das funktioniert. Ich denke nicht, dass ich dir das hier nochmal extra zeigen muss.
Du kannst aber auch Image oder Video hier auswählen. Wenn du das da anklickst, dann kannst du ein Video hochladen von deinem PC. Ich habe hier jetzt einfach mal ein Video hochgeladen, und wir können damit jetzt verschiedenste Dinge machen. Wir können entweder „Modify Region“ klicken, „Expand Canvas“ oder „Lip Synchronize“. Das heißt, wir klicken hier einfach auf das, was wir gerne machen würden.
Ich klicke einfach mal auf „Modify Region“, und du siehst, das ist natürlich dieses Video von der Frau, die hier tanzt. Und ich denke, wir wollen hier einfach mal „Modify Region“ machen. Und zwar würde ich versuchen, ob wir es irgendwie hinbekommen, ihr etwas anderes anzuziehen. Ja, das ist hier vielleicht nicht ganz so einfach. Das Mädchen ist relativ wild hier beim Tanzen. Ich will das dennoch einfach mal probieren.
Jetzt sollen wir unsere Story beschreiben. Das heißt, wir müssen hier natürlich eingeben, was wir sehen wollen: „Model is dancing in a red hoodie“. Ich bin gespannt, ob wir hier tatsächlich einen Hoodie hinbekommen. Also, das wird hier wirklich sehr schwer, denke ich mir. Wir müssen darauf achten, dass bei allen Frames das Oberteil dabei ist. Ich denke, so könnte das hinhauen. Ich will einfach mal „Generate“ klicken. Dann sehen wir uns an, wie das hier so wird. Und, pup, nach ca. einer Minute haben wir unser Video.
Ich will mir das mal ansehen. Ich bezweifle, dass das richtig gut geworden ist, aber ich bin auf alle Fälle gespannt, wie das aussieht. Ja, okay, das ist natürlich eine Aufgabe, die beinahe unmöglich zu lösen ist. Das heißt, das Modell, beziehungsweise die Frau, die bewegt sich hier natürlich wahnsinnig schnell und hüpft hier umher. Aber dennoch finde ich, wurde das gar nicht so schlecht gelöst. Ich wäre wirklich gespannt, wann wir hier soweit sind, dass das perfekt wird. Aktuell bin ich aber dennoch hier positiv begeistert, weil ich hier extra natürlich eine wahnsinnig schwere Aufgabe ausgewählt habe.
Jetzt kannst du das Video natürlich verlängern. Du kannst einen Upscale machen, du kannst es weiter bearbeiten oder reprompten oder einfach neu erstellen. Also, das funktioniert schon generell relativ gut. Und ich muss gestehen, natürlich, das ist ein sehr, sehr realistisches Bild. Aber wir wollen natürlich auch die Tools ans Limit treiben.
Ich will mal „Expand Canvas“ klicken. Also, wir löschen erstmal das wieder raus. Die „Modify Region“ brauchen wir nicht mehr unbedingt. Wir klicken hier mal „Expand Canvas“. Denn ich würde dieses Video zum Beispiel lieber in einem anderen Seitenverhältnis haben. Dementsprechend können wir hier raussuchen, wollen wir es 1:1 haben, 5:2 – das ist viel zu groß –, 9:16 haben wir aktuell, 16:9, 4:3. Ich denke, wir versuchen mal 4:3. Im Übrigen, du kannst das hier umherziehen, wie du magst. Ich will wieder das Tool maximal testen. Dementsprechend will ich es in die Mitte packen, sodass wir links und rechts dazu zeichnen müssen. Wir klicken „Generate“ und sehen uns das Ganze an.
Aber bitte nicht vergessen, dass wir natürlich das Ding beschreiben müssen: „Model is dancing in a room“. Na, was ist das Ganze? Wohnzimmer? Lasst uns das mal einfach Raum nennen, weil ich nicht genau weiß, ob es ein Wohnzimmer ist. Dementsprechend „Generate“, und das Ganze sollte relativ schnell losgehen. Und ja, es wird wahrscheinlich so ein, zwei Minuten brauchen, bis wir unser Ergbenis bekommen. Und wir haben unser Video bekommen! Ich sehe mir das Video mal an. Ich denke, das hat auch nicht zu 100 % geklappt. Ich will natürlich hier immer realistisch sein, und wir müssen uns das perfekt ansehen.
Also, ja, es hat schon geklappt, aber man sieht halt ganz, ganz eindeutig, dass hier irgendwas schiefgegangen ist. Ja, man könnte argumentieren: „Hey, das ist doch nur wegen den Kameraeinstellungen, blibla blub.“ Aber ich denke schon, dass man erkennen kann, dass hier das Outpainting nicht zu 100 % gepasst hat.
Ja, ich muss gestehen, ich verwende hier absichtlich Beispiele, die sehr, sehr schwer für KI zu generieren sind. Aber wie gesagt, mir geht es darum, auch die Downsides der Tools zu zeigen.
Es bringt ja nichts, wenn ich hier nur Illustrationen zeige. Denn da funktioniert es natürlich perfekt. Bei Illustrationen kann man einfach die Dinge hinzufügen, so wie man sie gerne sehen würde. Und das Diffusion-Modell kann perfekt ähnliche Illustrationen dazu machen. Aber mir geht es auch darum, die Downsides immer zu zeigen.
Aktuell sind wir noch nicht an dem Punkt, wo wir jedes einzelne Video bearbeiten und outpainten können, ohne dass man irgendeinen Unterschied merkt. Die Tools in den kleinen Promo-Videos, die wollen uns das natürlich immer vormachen.
Dementsprechend bin ich natürlich auch da, um zu sagen: „Hey, stopp, aktuell sind wir noch nicht ganz auf dem Level.“ Aber ich bin zu 100 % überzeugt, dass wir auf dieses Level kommen werden. Und wir könnten natürlich immer noch einen Lipsync machen. Der Lipsync bei diesem Video würde jedoch scheußlich funktionieren. Dafür braucht man natürlich ein Video, wo auch ein Wort gesprochen wird. Dementsprechend laden wir natürlich erstmal ein neues Video hoch. Ich lade hier einfach mal ein Video hoch von mir, nur ein kurzes Stück vom Video. Und ich will auf Lipsync klicken.
Wenn du hier mit der Maus drübergehst, dann siehst du: „For best results, use Lipsync with front-facing human videos and clear, high-quality audio.“ Dementsprechend, wir sollten natürlich gerade in die Kamera blicken. Das mache ich bei dem Video und ich fasel einfach ein paar Sätze.
Jetzt klicken wir mal auf Lipsync, und du siehst nun Folgendes: „Generate Text-to-Audio“. Das heißt, wir können hier tatsächlich dazuschreiben, welche Dinge hier tatsächlich gesprochen werden sollen. Wir können einen Sprecher auswählen, Rashel Drew, oder sonst wen. Ich will mal was ganz Witziges: Hier soll jetzt mal besser Rachel sprechen, anstatt mir. Und was soll Rachel hier sagen? „Give me more attention, I have a nice voice.“ Das heißt, wir bekommen ein Video von mir, wo ich Englisch spreche, mit der Rachel-Stimme.
Wir könnten aber auch ein Audio hochladen. Und wenn man ein Audio hochlädt, dann würde ich dieses Tool empfehlen: 11Labs. Ich muss dazu sagen, die Generationen von 11Labs sind viel, viel besser als die Generationen in Pika Labs. Dementsprechend verwenden wir diesmal tatsächlich 11Labs, um unser Audio zu generieren.
Wir klicken also auf diesen Link, und hier können wir reinschreiben, was wir sehen wollen: „Give me more attention, I have a nice voice.“ Und das Ganze funktioniert hier natürlich besser. „British Girl“ – ich denke, British Girl sollte auch gut funktionieren für mein Video. „Give me more attention, I have a nice voice.“ Ja, das hört sich doch schon viel besser an. Dementsprechend können wir das natürlich downloaden. Dafür klicken wir einfach auf diesen Button im rechten unteren Eck. Und das wird sofort auf unseren Computer runtergeladen.
Und jetzt gehen wir wieder zurück in Pika Labs. Unser Audio ganz einfach reinziehen. Und jetzt klicken wir „Attach and Continue“.
Übrigens, ab und zu werde ich gefragt, warum ich so oft solchen Blödsinn zeige. Warum zeige ich nicht einfach, wie man zum Beispiel einen Charakter erstellt, ein Audio hochlädt, der danach eine Literatur vorliest? Ich zeige lieber solche Dinge, weil sie erstens witzig sind und zweitens, wenn man sich witzige Dinge ansieht, dann kann man sich die leichter merken. Kein Mensch kann sich Dinge merken, die langweilig sind. Dementsprechend lassen wir einfach mal mich in einer Frauenstimme Englisch sprechen. Ich denke, das macht mehr Sinn. So kannst du dir das merken.
Aber du wendest die Dinge natürlich so an, wie sie für dich im Alltag praktisch sind. Vielleicht hast du ein Video, und du würdest gerne ein Audio drüber packen, das auch Sinn macht. Meinetwegen willst du ein YouTube-Video machen – ein YouTube-Video, wo irgendein Bild, ein Video oder sonst was animiert spricht, mit den synchronisierten Lippenbewegungen. Natürlich verwendest du sowas dafür. Und da haben wir das Video. Lass uns mal ansehen, wie das so geworden ist. Also, man kann eigentlich schon erkennen, dass ich meine Lippen zumindest einigermaßen dazu bewege. Man sieht hier, ich habe den Ton jetzt mal ausgeschaltet, damit du das besser sehen kannst. Man sieht hier, dass meine Lippen komplett verändert wurden. Und meine Lippen sollten sich dementsprechend natürlich zum Audio dazu bewegen.
Sehen wir uns noch mal ganz kurz an, wie das so geworden ist. „Give me more attention, I have a nice voice.“ Ich muss gestehen, hier gibt es andere Tools, die das sogar besser können. Zum Beispiel HeyGen oder auch ein gratis Colab-Notebook. Aber zumindest kann man das auch hier in Pika Labs drinnen machen.
All diese Tools versuchen natürlich, mehr und mehr Sachen zu integrieren. Also, du hast gesehen, hier in Pika Labs kannst du sehr, sehr viele Dinge machen. Du kannst „Modify Region“ machen und deinen Charakter, was auch immer, natürlich verschiedenste Klamotten anziehen. Du kannst auf „Expand Canvas“ klicken und die Dinge auszeichnen. Du kannst Lipsync machen. Und beim Lipsync kannst du natürlich theoretisch zumindest solche Dinge erstellen, wie du hier sehen kannst. Und wenn du das mit künstlerischen Bildern machst, dann funktioniert das natürlich ein klein wenig besser alles.
Du kannst natürlich auch immer zurückgehen auf „Explore“ und dir hier ansehen, was andere Leute so machen. Hier kannst du dir die Lipsync-Dinger von anderen Leuten ansehen. Wie gesagt, solche künstlerischen Bilder, die funktionieren hier tatsächlich ein klein wenig besser, muss ich dazu sagen.
Und du kannst natürlich auch ganz, ganz normale Videos erstellen. Und zwar, indem du ganz einfach hier die Dinge kopierst und dir selbst ansiehst, wie das Ganze funktioniert. Wie gesagt, du musst natürlich kein Lipsync machen.
Du kannst auch aus normalen Text Videos erstellen. Videos wie zum Beispiel dieses hier. Ich will hier einfach mal auf „Retry“ klicken. Dann sehen wir uns an, wie ein solches Video aussieht. Und du kannst natürlich deinen Prompt hier unten auch immer selbst angeben.
Hier haben wir jetzt also unser kleines Video bekommen. Und du siehst, das Video ist eigentlich auch relativ gut geworden. Also, das hat hier wirklich recht gut funktioniert. Und wie gesagt, du kannst natürlich auch den Prompt kopieren, den hier unten eingeben. Und du kannst natürlich auch noch die Möglichkeit, viele andere Dinge mit einzustellen.
Das heißt, du kannst hier auf die Videooptionen zugehen und das Aspect Ratio einstellen: 16:9, 9:16, und so weiter. Wie viele Frames pro Sekunde sollen es 24 sein? Oder doch lieber nur 20, 16 oder 12? 24 ist ein sehr, sehr flüssiges Video.
Wenn du danach hier auf „Motion Control“ gehst, dann kannst du natürlich auch noch die Dinge mit einstellen. Zum Beispiel, soll aus diesem Prompt rausgezoomt werden, reingezoomt oder sonst was? Sagen wir, wir wollen in dieses Video reinzoomen, und es sollte sich nach links drehen, während wir nach rechts auszeichnen. Ja, das ist nicht optimal, aber wir können das natürlich genauso einstellen, wie wir wollen.
Daneben haben wir noch diese Parameter. Hier hast du den negativen Prompt. Negative Prompts hast du mittlerweile kennengelernt. Und auch hier: „Ugly“, „Bad“, „Terrible“ – das sind hier Standardwörter, die generell gut funktionieren: „Ugly“, „Bad“, „Blurry“, „Out of Frame“, und so weiter. Das heißt, du kannst hier einfach die negativen Prompts einfügen.
Hier hast du einen Seed, wenn du denn einen eingeben willst. Lass uns einfach mal mit diesem Seed hier arbeiten und danach die Konsistenz mit dem Text. Ich würde hier die Konsistenz nicht allzu stark verstellen. Einstellungen zwischen 8 und 12 funktionieren für gewöhnlich relativ gut. Du kannst auch mal auf 15 hochgehen, wenn du magst. Mit diesen Dingen musst du ein klein wenig spielen tatsächlich.
Dann lasst uns noch mal dieses Video hier kreieren, und wir sehen uns an, was wir danach bekommen. Solange dieses Video generiert, weißt du natürlich auch noch, dass wir natürlich auch Videos mit Prompts verzieren können. Das heißt, ich lade noch mal dieses Video hoch, wo ich spreche. Und das will ich jetzt kombinieren mit diesem kleinen Prompt hier. Und wir klicken „Generate“. Hier haben wir unser erstes Video bekommen. Und man sieht schon anhand vom ersten Frame, dass dieses Video nicht mehr ganz so gut funktioniert, weil wir natürlich ziemlich viel Kamerabewegung, Zoom und vieles, vieles Weitere mit eingebaut haben. Dennoch hat es zumindest einigermaßen funktioniert, wenn man hier die Augen verzeihen würden.
Und bitte erinnere dich: Das ist das schlechteste Tool, das du jemals verwenden wirst. All das wird immer nur noch besser und besser. Und ich denke mir, in Zukunft kann man damit natürlich komplette Zeichentrickfilme, aber eventuell auch komplette Kinofilme erstellen.
In der Zwischenzeit haben wir auch mein Video bekommen, verziert mit diesen Prompts. Und das hat auch relativ interessant funktioniert. Also, hier anhand vom ersten Frame sieht man meine Pose, wo ich diese drei Finger hochhalte. Genau wie hier wurde das relativ gut übernommen. Ja, der Typ spricht, der Typ zeigt die drei Finger. Also, die generellen Konzepte von Video wurden hier natürlich erfasst.
In diesem Video ging es um Pika Labs. Pika Labs kann unglaublich viele Dinge, jedoch sind noch nicht alle Dinge perfekt. Ja, und ich habe mit Absicht Szenen ausgewählt, die noch nicht perfekt funktionieren. Du kannst aus Text Video machen. Du kannst aus Video Video machen. Du kannst Videos hochladen und die Videos auszeichnen in andere Aspect Ratios. Du kannst bei den Videos das sogenannte Inpainting machen und Dinge umändern. Du kannst sogar Lipsync auf Pika Labs machen. Wie gesagt, all die Dinge, beziehungsweise die meisten Dinge, sind hier noch in einer Beta-Version. Dementsprechend darf man sich noch nicht immer die maximalen Resultate verhoffen.
Ja, das Tool ist relativ cool. Ja, du kannst das Tool generell kostenlos testen. Dementsprechend würde ich dir raten, einfach mal ein klein wenig damit rumzuspielen. Denn sowas ist tatsächlich die Zukunft. Wenn man hiermit lernt umzugehen, dann wird man in Zukunft unglaublich gute Resultate erzielen können. Und ich will natürlich mit Absicht hier nicht nur das sogenannte Cherry-Picking machen und dir nur die besten Ergebnisse zeigen. Es geht mir in diesem Kurs auch darum, eine Perspektive zu bringen, dass aktuell noch nicht alles perfekt funktioniert, aber dass wir eventuell dorthin kommen. Dementsprechend viel Spaß in Pika.