Werk:AI mit Arnie/Diffusion kann auch Stimme, Geräusche & Musik
Die Diffusionsmodelle können Bilder machen. Ich hoffe, das haben wir mittlerweile verstanden. Daneben hast du auch gesehen, dass sie Videos machen können. Jedoch will ich dir jetzt was Cooles sagen: Der Prozess der Diffusion funktioniert nicht nur bei Bildern, sondern auch bei Ton, bei gesprochenem Wort, z. B. Das ist relativ interessant. Diese ganzen KIs, die Text generieren können, bzw. gesprochenes Wort generieren können und nicht Text, die laufen auch mit einem Diffusionsmodell.
Ein Diffusionsmodell wird trainiert an haufenweise Text – es wird sozusagen wieder Noise hinzugefügt – solcher Nebel, Rauschen einfach. Und danach versucht die KI aus dem Rauschen heraus wieder zurückzuerechnen, wie sich das gesprochene Wort angehört hat. Und damit kann man coole Dinge machen. Du siehst das auch jetzt schon sofort, wenn du einfach nur „Diffusion Model makes music“ eingibst. Dann siehst du, dass diese Dinge auch Audio generieren können. Und das ist hier auch schon der nächste Schritt.
Also, wenn man gesprochenes Wort machen kann, dann kann man auch Geräusche machen und natürlich auch Geräusche und gesprochenes Wort kombinieren. Das heißt Musik. Und es gibt viele Tools. Eines der bekanntesten Tools ist z. B. 11-Labs.
11-Labs ist aktuell besonders interessant dafür, wenn du einfach nur gesprochenes Wort generieren willst, z. B. sowas hier mit irgendeiner Stimme. Lassen wir es einfach mal Charlotte sein. Hier klicken wir einfach nur „Generate Speech“,
[Stimme]
und du siehst, wir bekommen gesprochenes Wort. Das ist hier jetzt auch nicht unbedingt perfekt. Die Stimme Charlotte ist nicht die allerbeste. Jedoch haben wir auch die Möglichkeit, in 11-Labs, z. B. Stimmen zu klonen.
Ich habe z. B. Stimmen geklont von Angela Merkel, von Elon Musk. Ich habe meine eigene Stimme geklont. Ich habe wirklich viele Stimmen geklont, und auch das funktioniert sehr gut. Hören wir uns einfach mal an, wie ich Englisch sprechen kann.
[Stimme]
Also, du siehst, du kannst jede Stimme klonen.
Jetzt haben diese Leute aber auch Dinge gemacht wie z. B. „Speech to Text“. Hier kannst du jede Sprache oder jedes Audio hochladen und es umwandeln in eine andere Stimme. Zusätzlich kannst du bei diesen Voices, wie du schon weißt, eigene Stimmen generieren. Und bei den Soundeffekten kannst du hier auch verschiedene Effekte kreieren, z. B. Autounfälle oder sowas in diese Richtung. Und diese Soundeffekte kannst du danach natürlich immer und überall verwenden.
11-Labs hat auch eine KI angekündigt, womit wir Musik machen können. Ich hoffe, dass diese bald online ist. Aktuell haben wir sie noch nicht ganz da. 11-Labs ist aber nicht das einzige Tool. Wir haben auch die Möglichkeit, die Dinge von OpenAI zu verwenden.
OpenAI hat jetzt schon Text-to-Speech-Modelle, die sehr gut funktionieren. Und die Text-to-Speech-Modelle, die OpenAI eigentlich jeden Moment veröffentlichen müsste, die sind noch viel, viel besser. Hören wir uns ein Beispiel von „Aloe“ an.
[Stimme]
Du siehst, das hört sich auch sehr gut an. Und ja, diese Stimmen, die können natürlich auch alle Deutsch. Es ist wichtig zu wissen, dass gerade von OpenAI da erwarte ich relativ schnell die neuen Stimmen. Und die sind danach nochmal viel besser.
Vielleicht hat der ein oder andere schon mal die kleine Präsentation gesehen, von wo sie diese Stimmen eingeblendet haben. Die hören sich wirklich wahnsinnig echt an.
[Stimme]
Also das waren hier generell diese Stimmen. Auf OpenAI, auf dem YouTube-Kanal findest du noch viel mehr Beispiele. Ich hoffe, wir bekommen bald Zugriff, so damit wir auch über die API mehr solche Dinge generieren können.
Daneben haben wir weitere Tools, wie z. B. „MurfAI“. Ich muss gestehen, das verwende ich aktuell relativ selten. Und du hast schon gehört, dass, wenn wir natürlich gesprochenes Wort und Geräusche erstellen können, dann können wir auch natürlich Musik erstellen.
In 11-Labs kommt bald das Update. Aber aktuell haben wir Tools wie z. B. „Suno“ und auch „Udio“. Diese zwei KIs machen wirklich ausgesprochen gute Musik. Und wir haben sogar was richtig Cooles: Ein KI-generierter Song „Talahon“. Der ging tatsächlich viral und schaffte es in die Charts hinein. Ich weiß nicht genau, ob ich diesen Song hier spielen darf wegen Copyrights und so weiter. Also, das könnt ihr einfach mal kurz googeln und euch den Song anhören. Also die ersten Songs gehen hier tatsächlich viral. Das war einfach mal gedacht als ein Spaß für TikTok, und irgendwann ging das komplett viral, wurde im Radio gespielt. Und mittlerweile ist der Song in den Charts oder zumindest war er in den Charts. Auch das Cover ist natürlich KI-generiert. Dementsprechend: Man kann schon coole Dinge damit machen.
Und natürlich können die Diffusionsmodelle das Ganze auch rückwärts machen, z. B. mit Tools wie „Whisper“. Und Whisper ist sogar Open Source. Das können wir lokal installieren. Es geht einfach nur darum, dass wir hier z. B. transkribieren können. Das heißt, wir können Stimme hochladen, und wir bekommen Text zurück. Wir können uns z. B. mal kurz diese lausige Datei anhören, und Whisper war im Stande, ein perfektes Transkript daraus zu machen.
[Stimme]
Lausiges Audio, der Typ spricht wahnsinnig schnell, und wir haben es geschafft, perfekte Textdateien zurückzubekommen aus diesem Audio. Sie sagen dir auch kurz, wie die Technologie funktioniert.
Ich will hier nicht zu tief eintauchen. Ich will dir einfach nur sagen: Hey, die Diffusionsmodelle können mehr als einfach nur ein Bild generieren. Du weißt ja: Bild, Video, aber auch, interessanterweise, gesprochenes Wort, Geräusche und Musik. Und das sind die Dinge, die wir uns über die nächsten Lektionen ansehen werden.
Wir werden das relativ schnell machen. Ich zeige dir einfach nur meine Lieblingstools. Da es absolut keinen Sinn macht, dir jedes Tool unter der Sonne zu zeigen, das eventuell irgendwann sowieso wieder offline geht. Also, wir sehen uns im nächsten Video.