Werk:AI mit Arnie/Text to Speech mit der OpenAI API
Eigene Apps über APIs in Google Colab
📽️ 🎓Lasst uns die DTS OpenAI API verwenden. Das heißt, wir können den Text in Sprache umwandeln. Hier bekommen wir sehr, sehr bald eine wahnsinnig, wahnsinnig gute Stimme. Sobald das Ganze da ist, bekommen wir hier wirklich Outputs. Das hast du schon am Anfang vom Kurs mal kurz gesehen. Die sind der komplette Wahnsinn.
Wie verwenden wir das Ding? Das ist natürlich einfach. Wir gehen einfach mal auf die Modelle, und hier waren wir ja vorhin bei DALL·E. DALL·E hat ja gut funktioniert. Dann gehen wir runter auf TTS. Und bei TTS können wir die Dinge verwenden über den Speech Endpoint in der Audio API. Das heißt, wir klicken einfach mal darauf. Hier siehst du, wie das Ganze funktioniert, beziehungsweise welchen Output wir bekommen, zum Beispiel sowas. „The sun risees up in the east and sets in the west.“ Das heißt, wir können Text umwandeln in diese Sprache. Wie funktioniert das? Der Quickstart verrät uns eigentlich schon alles. Hier bekommen wir das gesamte Ding, was wir machen müssen.
Das heißt, wir kopieren einfach mal das hier. Wir gehen zurück in unser Google Colab Notebook. Diesmal will ich das hier alles eingebaut lassen, so wie es ist. Dann können wir natürlich danach unseren API Key verwenden. Das heißt, ich klicke einfach hier wieder auf Code. Wir haben eine neue Zeile, importieren das Ding. Was machen wir jetzt? Wir müssen natürlich noch unseren API Key einfügen: Client = openai. Natürlich sind wir der Client. Also diese Zeile hier, das heißt, das kopieren wir jetzt einfach. Wir können auch das da dazu kopieren. Dann haben wir hier alles weg. Das heißt, ich lösche das, ich füge es ein, und jetzt sollten wir theoretisch schon im Stande sein, alles zu kreieren.
Ich will das mal so machen: Wir werden hier höchstwahrscheinlich einen kleinen Fehler bekommen. Danach sehen wir uns an, wie wir den Fehler beheben können. Ich klicke jetzt einfach mal auf Play, und du siehst es jetzt schon: NameError: name_file_ is not defined. Wenn du jetzt nicht verstehst, wie du dieses Problem beheben kannst – zum Glück haben wir ja LLMs, die uns helfen können! Wir könnten ja mal einen Screenshot machen, genau von diesem Fleck hier. Alles, bup, den Screenshot machen wir jetzt ganz, ganz kurz auf meinen Desktop. Und dann machen wir hier sowas: Ich lade das Ding in ChatGPT hoch. Habe ich jetzt schon gerade gemacht, dass du das nicht mit ansehen musst. Ich frage, was ist hier der Fehler? Und ChatGPT sagt mir hier ganz genau, was der Fehler ist, und wir bekommen sofort den Code, wie der gesamte Code funktionieren sollte. Und er beschreibt uns hier jede einzelne Zeile.
Das heißt, ich kopiere jetzt diesen Code. Also, er sagt mir hier ganz einfach, die Bibliotheken müssen natürlich schon installiert sein – das haben wir natürlich schon gemacht. Aber hier beschreibt er uns ganz genau, was alles passiert bei diesem Code: „Setzen Sie Ihren API-Schlüssel.“ Natürlich, den hat er jetzt schon automatisch mit kopiert. Das heißt, wir gehen wieder zurück. Ich lösche einfach mal diesen Codeblock raus, denn der hat ja nicht optimal funktioniert. Das ist eigentlich wieder fast der gleiche Codeblock. Wir importieren hier die nötigen Libraries. Der Client ist natürlich wieder openai, ganz genauso, wie wir das Ganze hatten. Und hier unten sind die ganzen Dinge, die wir vorhin falsch hatten, nämlich response.stream_to_file. Wir müssen ganz einfach die Dinge speichern. Danach: Hier ist unser Input. Also, das Modell ist TTS1, Voice ist Loe, und der Input: "Today is a wonderful day to build something people love. OpenAI API rocks!" Wollen wir hier noch dazufügen? Wir klicken jetzt einfach mal auf Play, und diese Zelle sollte dann eigentlich funktionieren. Und du siehst, was hier passiert: Wir bekommen die Dinge gespeichert unter content/speech.mp3.
Und das finden wir hier. Ich habe es gerade noch mal geschlossen. Wir klicken auf diesen Ordner. Hier müssen wir uns jetzt Content raussuchen. Das ist da, also content/speech.mp3. Das Ding könnten wir jetzt einfach mal runterladen. Also, herunterladen. Und jetzt haben wir das Ganze heruntergeladen. Ich habe das vorhin auch noch mal getestet, also in den Downloads drinnen. Da sollte unsere neue MP3-Datei sein. Wir klicken darauf. "Today is a wonderful day to build something people love. OpenAI API rocks!" Perfekt. Noch einmal "Today is a wonderful day to build something people love. OpenAI API rocks!" perfekt.
Ich bin wirklich gespannt, wann wir hier die neuen Stimmen bekommen. Ich will dir noch mal ganz, ganz kurz die neuen Stimmen zeigen. Du hörst ja: Die neuen Stimmen, die hören sich wahnsinnig gut an. Und genau diese Stimme bekommen wir auch ganz, ganz bald über die API. Sobald wir diese Stimme bekommen, bekommen wir wirklich Audiodateien, die unglaublich, unglaublich gut sind. Und das Ganze ist auch sehr, sehr günstig über die API. „Sound’s like a fun challange, go ahead and show me that selfie and I’ll put my emotional detector taht on …“ Sobald wir diese Stimme bekommen, bekommen, bekommen wir wirklich Audiodateien, die unglaublich unglaublich gut sind und das Ganze ist auch sehr sehr günstig über die API.
In diesem Video haben wir also gelernt, wie wir die Stimmen von OpenAI über die API verwenden können. Dafür eignet sich Google Colab wahnsinnig gut, weil es so einfach ist. Wir importieren die Bibliothek von OpenAI. Danach importieren wir ganz einfach noch die Dinge, die wir brauchen, um unseren Text zu Speech zu machen. Das bekommen wir alles von OpenAI. Sollte irgendwas nicht funktionieren, dann fragen wir mal ganz, ganz kurz bei ChatGPT nach: "Hey, warum funktioniert das Ganze nicht?" Und danach funktioniert das Ganze einwandfrei. Und wir bekommen ganz, ganz bald die neuen Stimmen, und die sind danach wahnsinnig, wahnsinnig gut.
Und im nächsten Video zeige ich dir, dass wir das Ganze auch umgekehrt machen können. Wir können natürlich auch Speech zu Text machen. Das funktioniert über Whisper, und Whisper ist brutal gut, wenn es um Transkripte geht. Also, wir sehen uns im nächsten Video!