Werk:AI mit Arnie/OpenAI Sora & Veo von Google
| ▶ | Kurs Diffusion meistern |
| 📽️ | Test & Vergleich Veo 2 VS OpenAI] (29:53) |
| 🎓 | OpenAI Sora & Veo von Google |
| KI-Videos | |
| ▲ | Der Überblick: was gibt es & Videos mit FLUX |
| ▶ | OpenAI Sora & Veo von Google |
| ▼ | Hotshot: Text zu Video (einfach und schnell) |
Das ist ein Youtube Video von mir, das super als Update rein passt =)
Hier der GPT: https://chatgpt.com/g/g-675ff11282e0819197ddd1e6f377a07f-perfekt-soora-ptompts
Text zu Video mit Nahaufnahmen, Fotorealismus, künstlerischen Generationen und vieles mehr. Dazu ein Storyboard für mehr Kontrolle in deinen Videos, Recut, um deine Videos zu bearbeiten, Remix, um deine Videos zu verändern oder den Style zu wechseln, Blend, um mehrere Videos verschmelzen zu lassen, und Loop für die Unendlichschleife. Die Auflösung klappt bis zu Full HD, aber die Vollversion kostet 200 € im Monat. Ich habe Sora in der Vollversion ausgiebig getestet und will in diesem Video alles zeigen.
Und natürlich schläft auch die Konkurrenz nicht. Google bringt Veo2, und das sieht zumindest auf den ersten Blick noch besser aus als Sora.
Viele Leute sagen mittlerweile, dass diese neuen Modelle fast schon die Physik verstehen, dass man irgendwann gesamte Filme kreieren kann. Und wir sehen uns natürlich auch an, was das für die Zukunft bedeuten könnte.
openi.sora.com ist die URL, und hier sehen wir schon ein paar Videos. Wenn wir runterscrollen, können wir uns noch mehrere Videos ansehen. Sie haben wirklich einige interessante Beispiele hier mit dabei. Man muss dazu sagen, das sind wohl Videos, die extra rausgesucht worden sind, die gut aussehen. Wenn man noch etwas runterscrollt, dann werden uns die ganzen Tools aufgezeigt.
Wir können das Remix-Tool verwenden. Mit dem Remix-Tool können wir Videos, die wir schon gemacht haben, umändern. Wenn man sich das hier ansieht, dann öffnen sich erstmal ganz normal diese Türen zur Bibliothek. Wir verändern die Türen und machen hier französische Türen. Danach machen wir ein Spaceship daraus mit dem Remix. Oder wir können dahinter den Dschungel mit einbauen. Oder wir können natürlich auch die Mondview hier mit einbauen. Das heißt, wir können dank dem Remix ganz einfach unsere Videos bearbeiten und umändern.
Das nächste Tool, das wir bekommen, nennt sich Recut. Und wir können Videos entweder länger machen oder auch sogenannte Opening-Szenen mit einbauen. Das heißt, wir bekommen eine Timeline. Wir können hinten dran neu generieren, vorne dran neu generieren oder das Ding auch in die Mitte packen und in beide Richtungen Videos dazu generieren, die sehr ähnlich aussehen.
Danach haben wir das Storyboard. Das Storyboard lässt uns unterschiedlichste Szenen generieren und so ganze Geschichten schreiben.
Und außerdem haben wir noch Loop. Mit Loop können wir ein Video machen, und wir können das Video wieder und wieder und wieder abspielen, sodass es eine unendliche Generation ist.
Und das letzte Tool nennt sich Blend. Wir können hier sozusagen zwei verschiedene Videos miteinander vermischen. Auf der linken Seite haben wir diese Schneeflocken, rechts haben wir diese Blumen, und in der Mitte sind die zwei Dinge danach kombiniert. Das ist das Blend-Tool.
Als letztes können wir natürlich auch unseren Style ändern. Das heißt, haben wir dieses Video vom Mammut und Rhinozerosse, dann können wir die Styles so umändern, dass sie entweder in Schwarz-Weiß rumlaufen oder meinetwegen auch mal im Winter oder sogar in einem Origami-Style.
Das nächste wichtige Ding ist natürlich das Pricing. Wir haben zwei verschiedene Möglichkeiten, Sora zu verwenden: Entweder über das normale ChatGPT Plus. Da bekommen wir 50 Generationen, das heißt 1.000 Kredite. Wir können die Videos machen mit 720 Pixeln, und sie sind nur 5 Sekunden lang.
Danach gibt es den Profi-Plan, der 200 € im Monat kostet. Hier bekommen wir bis zu 500 Priority-Videos. Das rechnet sich hoch auf 10.000 Kredite. Unsere Videos können bis zu Full HD sein, das heißt 1080p, und bis zu 20 Sekunden lang sein. Wir können unsere Videos runterladen ohne Wasserzeichen. Und sobald wir unsere Kredite aufgebraucht haben, haben wir noch die Relaxed-Generationen. Diese sind aber sehr langsam, aber dafür sind sie unlimitiert.
Ich muss jetzt schon dazu sagen, die 1.000 Kredite vom normalen ChatGPT – die sind unglaublich schnell verbraucht. Das sind wirklich nur sehr wenige Generationen. Und auch die 10.000 Kredite sind relativ schnell leer. Ich habe den Profi-Plan, und ich habe diese Kredite in einem Tag tatsächlich alle aufgebraucht.
Hier noch mal eine kleine Ansicht, wie schnell man durch diese Kredite durchbrennt. Wenn man zum Beispiel mit 1080p kreieren will in 16:9, dann kostet eine einzige Generation, die 10 Sekunden lang ist, 600 Kredite. 20 Sekunden kann man aktuell nicht machen, aber das würde tatsächlich 2.000 Kredite kosten. Also auch der starke Plan ist im Nullkommanichts aufgebraucht.
Beim günstigen Plan kann man nur mit 720p generieren. Aber auch da: Wenn man hier 20-Sekunden-Videos macht, man kommt halt einfach nur auf ein paar Generationen. Recut, Remix, Blend und Loop sind etwas günstiger zum Verwenden, gerade wenn man kurze Videos macht in kleiner Qualität. Dann ist es eigentlich okay.
Wie können wir hier jetzt starten? Wir klicken einfach mal „Start now“, und danach steht das da: „Sora is not available in Italy yet.“ Also, in Italien bekommen wir keinen Zugriff. Also nehme ich kurz meinen Computer, schnall ihn auf den Rücken und geh nach San Francisco.
Angekommen in den USA sieht das Ganze danach so aus. Da kann man sich tatsächlich einloggen. Kleiner Profitipp: Andere könnten vielleicht auch eine VPN verwenden. Opera ist ein Webbrowser, der automatisch eine VPN erlaubt, gratis zum Verwenden. Ansonsten kann man auch gerne Dinge wie NordVPN verwenden. Und hier können wir jetzt sofort starten.
Hier unten ist die Prompting-Box, und hier können wir die Dinge eingeben. Ich will mit Text zu Video starten, weil das natürlich der Standard ist. Wir geben hier oben unseren Prompt ein. Wir können hier einen Style auswählen, wenn wir möchten. Wir können das Aspect Ratio verwenden, das wir brauchen. Wir können die Auflösung verwenden. Ich nehme jetzt einfach mal 1080p, weil ich, wie gesagt, im starken Plan bin. Ich kann hier die Länge einstellen. Bei 1080p kann man übrigens auch im Profi-Plan nur 10-Sekunden-Videos machen. Ich gehe mal runter auf fünf, weil ich, wie gesagt, meine ganzen Generationen schon fertig hab.
Wenn man hier draufklickt, dann kann man auch aussuchen, wie viele Videos man macht. Eines reicht. Und ich habe noch das Storyboard und die ganzen anderen Dinge, die wir uns danach ansehen. Jetzt schicke ich hier „Senden“, und das Ding wird danach generiert.
Klicke ich hier oben rechts auf meinen Plan, dann sieht man, dass ich nur noch 118 Kredite übrig habe. Das reicht nicht aus für ein solches Video. Deshalb bin ich jetzt in den langsamen Generationen, und das Ganze dauert schon lange.
Danach kann man auf „All Videos“ klicken. Und bei „All Videos“ sind danach die Dinge dabei, die man generiert. Wie gesagt, das ist jetzt die langsame Generation, das dauert ewig. Ich muss dazu sagen, das ist etwas frustrierend. Ich habe aber hier einige Videos generiert in der Zwischenzeit. Aber wie gesagt, die 10.000 Kredite – die sind schneller weg, als man denkt.
Solange das Video generiert wird, wollen wir uns das Prompt-Engineering für Sora ansehen. Wenn man auf die originale Seite von Sora geht, dann sieht man hier drunter natürlich die Prompts, die verwendet worden sind, um diese Videos zu generieren. Und hier fällt meistens auf, dass die Prompts doch relativ lang sind, dass sie sehr ausschweifend sind und dass die Beschreibungen wirklich viele Details mit dabei haben.
Ich habe auch ganz viele Videos generiert und habe auch selbst rausgefunden, dass ein sehr genauer Prompt, ein langer Prompt, bessere Ergebnisse liefert. Und weil ich zu faul bin, lange Prompts zu schreiben, habe ich einen GPT trainiert. Der GPT, den ich gebaut habe, sieht so aus: Wenn ich hier „Cat in the garden“ reinschreib, dann kann ich das losschicken, und ich bekomme einen langen Prompt, der die Dinge ganz, ganz genau beschreibt. Also, dieser Prompt sollte besser funktionieren als unser Beispiel.
Ich will kurz zeigen, wie ich diesen GPT aufgebaut habe. Ich habe ihn „Perfect Sora Prompts“ genannt – Sora mit zwei „o“, damit ich hier keine Probleme bekomme. Prompts für AI-Videos. Das Ding funktioniert für jedes Tool, das Videos generieren kann. Danach habe ich hier unten genau reingeschrieben, was das Ding macht. Und ich habe auch die Struktur festgegeben. Also: Es geht immer um ein Medium oder ein Subjekt, danach die Charakteristiken vom Subjekt in Relation zum Hintergrund, den Hintergrund auch mitbeschrieben, die Details vom Hintergrund, Interaktion mit Farben und Beleuchtung, danach noch „taken on“ oder „drawn with“ für spezifische Kameras, spezifische Styles und natürlich noch die Bewegungen der Szene.
Das sind die Dinge, die dieser GPT hier mit berücksichtigen muss. Und zusätzlich habe ich noch in das Knowledge Base haufenweise Beispiele hochgeladen. Meine Beispiele sehen so aus: Ich habe hier reingeschrieben, was das Ding machen soll. Danach habe ich hier zehn Beispiele gegeben von Sora-Prompts, die mir sehr gut gefallen haben. Dafür habe ich die Galerie durchsucht und einfach haufenweise Sora-Prompts versucht rauszufinden.
Hier unten habe ich noch haufenweise „Zauberwörter“ gegeben, zum Beispiel verschiedene Typen von Shots: Extreme Close-up, Close-up, Medium Shot und so weiter. Danach verschiedene Looks wie zum Beispiel „filmigrain“, verschiedenste Beleuchtungen wie „studio lights“ oder „rainy, foggy“ und so weiter.
Wörter für Bewegungen, wie zum Beispiel „motion blur“, ein paar Kinokameras, ein paar Kameras für Actionszenen, verschiedene Filmgenres, verschiedene Filmemacher, Sportfotografen, verschiedenste Emotionen und natürlich noch Movements. Das heißt, die Kamera kann auch reinzoomen oder gleiten.
All diese Beispiele habe ich hier hochgeladen, und deshalb macht das Ding gute Prompts. Einen solchen GPT kann man sich natürlich selber bauen, oder man tritt der KI-Revolution bei, wo ich natürlich immer alles teile, was ich so mache. Der Link ist natürlich in der Beschreibung.
Unser Video von der Katze ist fertig, und wie man hier sieht, das Video sieht erstmal auch nicht besonders gut aus. Das liegt hauptsächlich an zwei Dingen: Einmal natürlich der schlechte Prompt, und zum Zweiten habe ich einen Style verwendet, der hier nicht wirklich gut dazu passt. Hier im Vergleich dazu ein Video, das besser gelungen ist: Das ist eine Biene auf einer rosa Blume. Und hier habe ich eine Kameralinse mit eingebaut, dann funktioniert das Ganze natürlich etwas besser.
Und hier nochmal der Vergleich von einer Katze, die mit einem Hund spielt, auf einer Blumenwiese. Diesmal war der Prompt um einiges besser. Hier habe ich auch meinen GPT dazu verwendet. Und wie gesagt: Das Ding funktioniert etwas besser. Der Prompt ist – muss ich ganz ehrlich dazu sagen – auch unendlich lang, aber es scheint tatsächlich so, dass sehr lange und beschreiberische Prompts für Sora, zumindest für mich, aktuell besser funktionieren.
Hier ein Businessmann, der in der Stadt spazieren geht. Auch dieses Video fand ich halbwegs okay: gefilmt durch ein Fisheye oder sowas in die Richtung, hinten die Sonne, die sieht relativ gut aus. Natürlich sind die Videos nicht perfekt, aber das ist aktuell das Beste, was man so aus KI-Videos rauskriegt.
Hier habe ich versucht, Text mitzugenerieren aus einem Text-Prompt. „AI mit Arnie“, das sollte hier irgendwie ein KI-Logo werden oder ein Intro oder sowas in die Richtung. Sieht auch einigermaßen okay aus. Hier ein Close-up-Video von einem Auge, und innen drinnen Flammen – sah auch relativ cool aus.
Ein Teddybär, der in der Küche tanzt, fand ich, um ehrlich zu sein, auch richtig lustig. Der Wall-Street-Bulle, der explodiert – das habe ich schon vor einer Weile gemacht, habe ich auch schon mal gezeigt. Aber das ist eigentlich immer noch einer meiner Favoriten. Ich finde das Video eigentlich ziemlich gut gelungen, weil es irgendwie surreal und dennoch lustig aussieht.
Und auch dieser grüne Pandabär auf einem grünen Skateboard in New York ist immer noch einer meiner Favoriten. Das ist auch eines der ersten Videos, die ich generiert habe. Text-zu-Video funktioniert also relativ gut. Und ganz wichtig: anständige Prompts verwenden, am besten relativ lange Prompts. Das waren zumindest meine Erfahrungen. Aber man kann natürlich auch mal Glück haben mit einem kurzen Prompt.
Erstmals vorgestellt wurde Sora übrigens schon am 15. Februar 2024. Wir mussten lange warten, und damals nannten sie das Ganze sogar „Weltensimulator“. Es soll also auch imstande sein, die echte Welt zu simulieren, und die Dinge sollen Physik verstehen.
Sora ist generell ja ein Diffusion-Modell, aber es basiert auf der Diffusion-Transformer-Architektur. Sie haben hier also sozusagen das Coole von ChatGPT genommen aus der Transformer-Architektur, um das Ganze effizienter zu machen, damit es sich leichter und besser skalieren lässt.
Hier fallen jetzt einige Dinge auf: Erstmal haben sie hier schon größere Auflösungen: 1920 x 1080p. Das können wir aktuell nicht generieren. Außerdem sieht man auch, dass die Qualität ein klein wenig besser aussieht bei den Beispielen, den sie hier zeigen. Gerade auch hier sieht man Videos, die wirklich um einiges besser aussehen als die Sora-Videos, die wir aktuell generieren können.
Warum ist das Ganze so? Das hier ist das große, originale Sora. Wir bekommen leider Gottes nur Zugriff auf Sora Turbo. Sora Turbo wurde ganz einfach komprimiert, quantifiziert, damit es etwas schneller läuft. Sie haben natürlich nicht genug GPU-Power, um jedem von uns das starke Sora-Modell zu geben. Außerdem sollte Sora laut dem ersten Papier auch imstande sein, Bilder zu generieren. Das habe ich aktuell aber leider noch nicht gefunden.
Wir haben auch die neue System-Card von Sora, und auch hier sprechen sie noch immer davon, dass es die reale Welt simulieren soll. Das ist ein wichtiger Schritt, um AGI zu erreichen. Ja, man kann davon halten, was man will, aber irgendwann wird das bestimmt der Fall sein. Ich muss aber jetzt sagen, zumindest laut den Videos, die man so generiert, sieht es noch nicht wirklich aus, als ob die Dinge Physik verstehen würden. Oder lasst mich gerne in den Kommentaren wissen, ob ihr das anders seht.
Neben dem Standard „Text zu Video“ haben wir das da – Storyboard. Wenn wir auf Storyboard klicken, dann können wir ganze Geschichten erzählen. Wir können die Auflösung wählen, das Seitenverhältnis, die Länge natürlich wieder selbst, und so weiter. Und was können wir hier machen? Wir können eine Szene beschreiben, z. B. „Pink Cat in San Francisco“. Danach können wir einfach hier „Plus“ klicken, und wir können die Szene verändern. Hier eine neue Szene dazu, danach hier eine neue Szene und hier eine neue Szene.
So können wir ganze Geschichten schreiben. Das ist eine Kurzgeschichte von mir: Es soll eine pinke Katze sein, die erstmal Fahrrad fährt in San Francisco. Danach kommt aber die Flut, und sie muss auf das Surfboard umweichen. Und zum Schluss sollte sie am Abend gemütlich auf der Couch ein Buch lesen.
Die Transformationen, die sind ab und zu, um ehrlich zu sein, etwas komisch. Aber ich finde, man kann dennoch richtig interessante Geschichten generieren. Also, die Grundgeschichte passt schon: Sie fährt Fahrrad, danach kommt die Welle, und sie muss ausweichen auf ihr Surfboard. Und danach ist sie im Wohnzimmer, und sie entscheidet sich dafür, ein Buch zu lesen. Aber die Transformationen, die sind ab und zu schon etwas interessant, wenn wir es einfach mal so ausdrücken wollen.
Aber nichtsdestotrotz kann man hiermit interessante Kurzgeschichten erzählen. Jemand aus der Community hat mir ein gesamtes Skript zugesendet, was ich vielleicht mal nachbasteln könnte in Sora. Und ich habe das auch kurz versucht.
Die Geschichte sieht so aus: Ich muss dazu gestehen, ich habe sie nur zweimal versucht, weil es tatsächlich für mich zu aufwendig war. Es hat sehr lange gedauert, bis die Generationen fertig waren, weil ich einfach nur noch die langsamen Generationen habe. Aber wenn man hier die Geduld nicht verliert, dann kann man wirklich interessante Kurzgeschichten davon erzählen. Vielleicht noch ein Voice-Over dazu mit Eleven Labs, und man könnte einen kleinen KI-Kurzfilm erstellen.
Das nächste Tool, das wir haben, ist Recut. Sagen wir, uns gefällt die Geschichte gut, aber einige Übergänge sind nicht perfekt. Wir können auf Recut klicken. Wir können uns hier die Dinge genauso aussuchen, wie sie für uns gut sind. Und da, wo es uns nicht mehr gefällt, da können wir die Dinge schneiden.
Sagen wir, die ersten Dinge, die finde ich gar nicht schlecht. Aber gerade zum Schluss, als wir hier wechseln, also dieser Cut hier, den finde ich schon etwas komisch. Dementsprechend würden wir hier zurückspulen bis genau hierher. Denn hier sollten wir die Dinge vielleicht neu generieren, weil es wirklich etwas komisch aussieht, als die Katze zum Schluss im Wohnzimmer sitzt.
Die restlichen Cuts finde ich gar nicht schlecht. Also, jetzt noch mal „Create“, und wir können das letzte Ding hier neu dazu generieren. Hier noch mal der alte Übergang: Also, das war schon etwas komisch. Und unser Video ist jetzt fertig.
Bis hierher ist natürlich alles gleich. Lediglich das letzte Stück wurde anders, und es macht wieder ein klein wenig mehr Sinn. Das heißt, die ersten paar Frames, die haben für mich gut gepasst: Die Katze surft, die Katze ist im Wohnzimmer. Und zum Schluss bleibt sie immer noch auf ihrem Fahrrad, auch wenn die letzten Sekunden wieder etwas suboptimal waren. Aber man sieht: Man kann so die Dinge ganz einfach neu generieren.
Das nächste, was wir hier unten haben, ist natürlich Remix. Mit Remix können wir den Style umändern oder aber auch gewisse Dinge zu Videos hinzufügen oder entfernen.
[Stimme Video]
Ich habe von mir noch dieses alte Video gefunden, womit ich mal ein Deforum Video gemacht habe: Ich lese hier die Zeitung, irgendwo in einer Küche, und ich spucke am Ende den Kaffee aus. Das ist einfach ein witziges Video, und dieses Video habe ich danach mit Sora bearbeitet. Wir können es in einen anderen Style umwandeln, dann „Creemix“ oder aber auch am Ende andere Frames hinzufügen. Hier habe ich das Video umgewandelt dank Remix in einen Cyberpunk-Style. Das Video wurde absolut nicht perfekt, aber es wurde schon relativ witzig. Also, sieht schon interessant aus.
Hier habe ich den letzten Frame vom Video hochgeladen, und ich habe den animiert: Ich sollte mich erst am Tisch so drum herumdrehen und danach anfangen zu tanzen. Und das wurde etwas komisch, muss ich sagen. Also: Erstmal verändere ich mich schon mal, danach drehe ich mich – das war schon relativ okay. Aber danach springt einfach irgendein Typ in die Szene rein. Zumindest sieht es relativ konstant aus. Also, die Videos sind bei weitem nicht perfekt, aber man kann natürlich noch mehr damit rumspielen. Ich bin mir sicher, mit etwas Kreativität bekommt man hier richtig coole Videos hin.
Danach haben wir noch Blend, und auch Blend funktioniert interessant. Man kann zwei Videos vermischen.
[Video Stimme Frau englisch]
OpenAI kombiniert hier diese zwei Videos: „And, Wow, Blend was able to transform Butterf…“
Ich habe zum Beispiel dieses Video zusammengeblendet mit dem Video vom Unterwasserding, was ich vorhin gemacht hab. Und man sieht es vielleicht hier: Ich fange an, im Gesicht anzuschwellen, und wenn man mit der Kamera rüber schwenkt, dann sieht man, dass ich eigentlich unter Wasser bin. Also, auch das Video wurde einigermaßen okay. Und gerade am Anfang sieht man, dass die dazu generierten Frames von Sora wirklich mir ziemlich ähnlich sehen. Und danach bin ich halt einfach unter Wasser.
Wenn man selbst das Blend ausprobieren will, klickt man ganz einfach hier unten auf „Blend“. Man kann entweder selbst Videos hochladen oder Videos von der Galerie verwenden. Ich könnte zum Beispiel diese Dame mit dieser Biene verschmelzen lassen. Ich kann hier natürlich auch die Videoa so einstellen, wie es für mich perfekt ist. Und ich kann auch die Kurven so auswählen, wie es für mich gut passt, damit ich einen guten Übergang hab.
Natürlich werde ich das jetzt nicht machen, weil es mir zu lange dauert. Und das letzte interessante Tool, das wir haben, ist Loop. Ich habe hier eine Szene erstellt von Schafen, die einfach auf der Weide spazieren gehen. Wenn wir auf Loop klicken, dann landen wir hier drinnen.
Wir können uns das Video genau raussuchen, wo es immer wieder und wieder wiederholt werden sollte. Danach klicken wir auf „Loop“, und wir bekommen eine Endlosschleife. Und so sieht die Generation im Endlos-Loop aus. Ich muss dazu sagen, das wurde nicht perfekt, aber es wurde so gelöst, dass Sora ganz einfach mit der Kamera von oben jedes Mal wieder von vorne beginnt. Und so haben wir eine kleine Endlosschleife von genau diesem Video, und es fängt immer wieder und wieder von vorne an.
Ein besseres Beispiel von Loop ist wohl höchstwahrscheinlich das da. Man muss natürlich Videos nehmen, wo das Looping auch wirklich Sinn macht. Ich hätte mir vielleicht mehr Mühe geben können.
Etwas, das auch noch relativ gut funktioniert, ist Folgendes: Wenn man von irgendwoher ein KI-Video hat, das zum Beispiel relativ kurz ist, aber einigermaßen gut aussieht, kann man es in Sora hochladen und entweder länger machen, verbessern oder den Style umändern. Das war das originale Video, und daraus habe ich hier zum Beispiel ein 10-Sekunden-Video gemacht. Und hier sieht man das Ergebnis.
Der Style ist sehr, sehr konstant. Das gesamte Video wurde auch um einiges verbessert. Wir haben mehr Realität, einzig und allein, dass der Zug etwas „schleift“. Hier sieht das etwas interessant aus, aber der Style wurde komplett perfekt übernommen. Man sieht, ich habe hier das Video sogar mit eingebaut und links und rechts Frames dazu gemacht. Und das hat wirklich sehr gut geklappt.
Was ist also das Fazit von Sora? Meiner Meinung nach ist es etwas zu teuer. Also, gerade der Profi-Plan, diese 200 € im Monat: Erstens, man kann noch nicht mal so viele Videos damit generieren. Und sobald diese Generationen verbraucht sind, braucht man einfach Ewigkeiten, um Videos zu generieren. Ja, man kann unendlich Videos generieren, aber jedes Video braucht dann 15 Minuten, und das ist für mich persönlich einfach zu lange.
Wenn man den Basic-Plan von ChatGPT hat, kann man einfach mal zwei, drei Videos versuchen zu erstellen, und ansonsten kommt man eh nicht rein. Und der Profi-Plan: Naja, man braucht schon einen guten Anwendungszweck, wenn man damit 200 € im Monat rechtfertigen will. Natürlich schläft auch die Konkurrenz nicht.
Google bringt uns Veo2. Veo2 ist das Modell von Google, das Videos erstellen kann, und die Videos sehen wirklich sehr gut aus, eigentlich sogar besser als Sora. Realistische Videos sind möglich, Qualität bis zu 4K, verschiedene Styles und anständige Kamerakontrolle. Hier sieht man ein Beispiel, das unglaublich gut aussieht. Und auch hier sieht man, dass relativ lange Prompts verwendet werden.
Aber das Video – das ist wirklich kaum zu erkennen als KI-Video. Hier haben sie ein weiteres Beispiel von einem Auto, das durch die Gegend fährt. Also, die Videos von Google, die sehen zumindest auf den ersten Blick komplett phänomenal aus. Sie haben auch einige Benchmarks.
Die Benchmarks sind hier so aufgebaut, dass sie die allgemeine Performance messen und wie sehr den Prompts gefolgt wird. Leuten wurde ganz einfach blind Zugriff gegeben auf mehrere KI-Videomodelle, und sie haben danach einfach gesagt, welches ihnen am besten gefallen hat. Und das Tool Veo2 war gegenüber Sora eigentlich immer im Vorteil.
Und auch gegen alle anderen: Tatsächlich mögen einige Leute sogar „Kling“ in Version 1.5 lieber als Sora. Und wenn es darum geht, den Prompts zu folgen, dann scheint Veo2 auch hier eigentlich überall die Nase vorne zu haben.
Natürlich hat auch dieses Modell Limitationen. Hier bringt uns Google ein paar Beispiele, wo Limitationen da sind. Ich weiß nicht ganz genau, auf was sie in diesem Video anspielen wollen – wahrscheinlich sind es die Gesichter hier im Hintergrund vom Spiegel. Aber generell sieht auch für mich zumindest dieses Video ziemlich, ziemlich gut aus. Lediglich, ja, die Gesichter hier hinten, die haben schon Fehler.
Auch der Umgang mit Flüssigkeiten lässt darauf schließen, dass die Modelle so langsam die echte Welt verstehen. Wenn man sich hier ansieht, wie gut sich die Flüssigkeiten verhalten – gerade wenn man solchen Sirup über Pancakes drüber schüttet –, das ist schon sehr schwierig zu simulieren. Und auch eine Tasse zu füllen ist natürlich schwer für die Modelle.
Auch der Realismus von diesem Modell sieht ausgesprochen gut aus. Man könnte wirklich kaum noch sagen, dass dieses Video KI-generiert ist. Anime-Charaktere und solche Zeichentrickfiguren klappen natürlich auch wunderbar. Und auch hier ist der Realismus unglaublich gut.
Also, das sieht fast so aus wie ein echter Imker. Und wenn man sich ansieht, wie sich der Typ bewegt, dann haben wir auch hier nur minimale Fehler in den Videos. Und auch diese Flamingos – die sehen fast schon perfekt aus, gerade wenn man sich ansieht, wie sie mit dem Wasser interagieren und wie akkurat hier auch die Spiegelungen auf dem Wasser sind.
Das sieht schon sehr mächtig aus. Und auch von diesem Video können wir schließen, dass diese Modelle so langsam anfangen, die Physik zu verstehen. Der Hund bewegt sich fast perfekt auf diesem Flamingo. Das Wasser darunter bewegt sich sehr, sehr natürlich.
Das sind hier natürlich die Beispiele von Google, und man könnte natürlich immer sagen, dass Google nur die besten Beispiele raussucht. Deshalb habe ich ein paar Beispiele auf X gefunden, und die sehen, um ehrlich zu sein, auch richtig gut aus. Dieser Typ hat Zugriff bekommen auf Veo2, und er hat versucht, eine Tomate zu schneiden. Und man sieht auch hier: Das Modell, das sieht beinahe so aus, als ob es die Physik verstehen würde.
Wenn man sich hier das ansieht – das sieht schon wirklich sehr gut aus. Es sieht beinahe so aus, als ob das Modell ganz, ganz genau wüsste, wie und wo das Messer interagieren muss mit dem Ding, wie und wo sich die Scheiben danach hinbewegen, nachdem sie geschnitten worden sind. Also, Veo2 scheint hier den anderen Tools wirklich weit voraus zu sein.
Hier im Übrigen ein Vergleich zu Sora. Ja, das ist vielleicht ein Video geworden, das besonders schlecht geworden ist. Aber zumindest hier im direkten Vergleich von diesem Typ scheint der Prompt in Veo2 wirklich 20-mal besser zu funktionieren.
Und auch das Video fand ich besonders spannend: Hier fährt ein Auto ganz einfach durch die Gegend. Es fährt über den Wasserfall, und wenn man sich ansieht, wie akkurat hier die Bewegungen sind – also, ich bin absolut erstaunt von diesem neuen Modell von Google.
Google feuert aktuell aus allen Zylindern. Hier sieht man auch noch mal ein Video. Ja, bei diesem Video kann man vielleicht argumentieren, dass es nicht perfekt geworden ist. Generell bewegen sich die Flüssigkeiten wirklich relativ gut. Aber wenn man sich ansieht, wie die Handbewegungen sind – sie sind halt noch nicht perfekt.
Und auch sobald er hier umrührt bei diesem Ding: Ja, der Löffel bekommt ein paar kleine Fehler. Aber generell nicht schlecht. Und hier kann man eigentlich was Ähnliches sehen: Die neue Flüssigkeit interagiert mit der alten relativ akkurat. Aber hier haben wir danach sofort einen Fehler: Sobald der das Ding – ja, das Ding verwandelt sich auf einmal in einen Löffel.
Aber generell muss ich sagen, es sieht wirklich so aus, als ob die Modelle einfach jeden Tag um einiges besser werden würden.
Auch das war ein Video, das ich richtig toll fand. Denn hier muss man einfach mal verstehen, wie genau das Modell den Prompts folgen muss. Die Katze, die fängt hier an, sich tatsächlich zu bewegen und zu fauchen, und aus dem Spiegel heraus blickt der Löwe zurück, der tatsächlich diese Bewegungen sehr gut simuliert. Also, auch das ist für mich zumindest ein sehr, sehr gutes Video.
Und hier hat jemand versucht, einen kompletten Kurzfilm zu erstellen. Der Kurzfilm dauert hier nur 30 40 Sekunden. Aber generell kann man hiermit wohl sehen, dass es eventuell möglich sein wird, in Zukunft vielleicht sogar ganze Filme zu generieren.
Die ganzen Shots, die sehen hier wirklich sehr gut aus. Man kann konstante Charaktere über die ganzen Videos hin kreieren, man kann verschiedenste Szenen miteinander zusammenschneiden, und man kann wirklich sehr interessante Dinge generieren damit.
Der springende Punkt ist wohl, dass – vielleicht erinnert sich der eine oder andere noch an die Bildgeneration. Die Bildgeneration von MidJourney: Mittlerweile sind wir übrigens weit höher als Version 5.1. Wir sind ja bei 6.1. Aber das Ganze hat so angefangen mit der Version 1. Die Version 2 wurde etwas besser, Version 3 wurde etwas besser, und die Version 4, die war auf einmal schon relativ gut. Version 5.1 – und wir sind wirklich sehr gut. Mittlerweile sind wir bei 6.1, und die KI-Bilder lassen sich kaum noch von echten Bildern enscheiden.
Vielleicht sind wir bei KI-Videos jetzt gerade an dem Punkt von Version 3 bis Version 4. Also, hier irgendwo. Die meisten Videos erkennt man noch als KI, aber in Zukunft wird man das eventuell nicht mehr erkennen.
Einige Leute sagen übrigens immer noch, dass man KI-Bilder sofort erkennt. Dann würde ich ganz einfach mal auf diesen Thread aus unserer Gratis-Community hinweisen. Hier hat sich jemand die Mühe gemacht, ein Bild zu generieren mit Flux, mit einem starken Look, und er hat es verglichen mit einem Bild von einem echten Fotografen.
Also: Eines dieser beiden Bilder ist KI-generiert, und das andere Bild ist nicht KI. Das andere Bild wurde erstellt von einem Fotografen. Ich lasse euch jetzt ganz einfach mal selbst raten. Jeder kann gerne in die Kommentare reinschreiben, welches Bild KI-generiert ist und welches Bild das originale Bild ist.
Ich muss jetzt schon dazu sagen: Die Umfragen in der Community haben ergeben, dass die meisten Leute nicht sofort erkennen, was KI ist. Ich glaube, die Umfragen, die gingen fast so 50:50 aus. Also, es ist einfach nur noch ein blankes Raten. Eines der zwei Bilder ist KI-generiert, das andere Bild ist ein Bild von einem echten Fotografen. Lass gerne in den Kommentaren wissen, welches es ist – links oder rechts.
Jetzt stellt sich natürlich noch die Frage, wo all das hinführt. Ich denke wirklich, KI-Videos werden über die nächsten Jahre auf einen Stand kommen, dass man sie nicht mehr unterscheiden kann von echten Videos. Vielleicht sind wir danach sogar imstande, gesamte Filme zu erstellen.
Das ist wahrscheinlich noch ziemlich in der Zukunft, aber in fünf sechsJahren könnte ich mir wirklich vorstellen, dass gesamte Kinofilme erstellt werden, alleine durch KI. Das bringt natürlich Chancen und Risiken. Ich will hier jetzt gar nicht in die ganze Deepfake-Szene mit eintauchen. Natürlich gibt es auch Möglichkeiten, Fakes zu machen.
Aber auch für die Filmindustrie könnte diese Technologie riesengroße Revolutionen bedeuten. Man braucht weniger Kameramänner, man braucht weniger Schauspieler und vieles mehr. Wenn man tatsächlich imstande ist, komplette Filme mit KI zu generieren – teilweise ist man ja jetzt schon dazu imstande –, dann werden die Auswirkungen hier sehr groß sein.
Gleichzeitig sind diese Modelle imstande, so langsam die Physik zu verstehen. Ja, es ist noch immer nicht perfekt, aber es geht so langsam in die Richtung. Und auch das bringt massive Anwendungszwecke.
Wenn solche Modelle Physik perfekt verstehen, dann nimmt man natürlich auch diese Simulationen, um Roboter darin zu trainieren, damit sie sich später in der echten Welt besser zurechtfinden. In der Simulation kann man natürlich schneller trainieren – das passiert teilweise übrigens auch jetzt schon. Nvidia Isaac Sim kann man gerne mal googlen.
Also, insgesamt denke ich, die Auswirkungen sind wirklich groß von KI-Videos. Was denkt ihr?
Bei Veo2 von Google kann man sich übrigens auf die Warteliste eintragen. Klappt leider nur mit VPN, weil man in Europa nicht zugreifen kann. Aber einige aus den USA bekommen jetzt so langsam Zugriff.
Interessiert dich das KI-Zeug? Blick gerne mal in der Gratis-Community vorbei. Hier haben wir haufenweise Leute, und wir unterhalten uns fleißig. Und willst du alles zu KI lernen? Empfehle ich dir die KI-Revolution. Da gebe ich natürlich alle Tools raus, die ich mache. Wir haben einen riesig großen Classroom mit all meinen besten Kursen, wöchentliche Live-Calls und vieles, vieles mehr.