Werk:AI mit Arnie/F5 TTS - Stimme klonen (Opensource)
Das ist ein Youtube Video von mir, es passt hier perfekt rein! Also viel Spaß =)
Kostenloses Stimmklonen mit Open-Source-Tool F5 TTS von Github (Tutorial auf deutsch)
- 👉 Möchtest du KI-Basics gratis zusammen mit Freunden lernen? Klicke hier: https://www.skool.com/ai-mit-arnie-43...
- 🔥 Du willst ALLES über KI lernen? Zur KI-Revolution: https://www.skool.com/ai-mit-arnie-ki...
Videos, die dich interessieren könnten:
- ComfyUI Tutorial: [./Datei:yt_favicon_ringo2.png
] • Die BESTE Private KI [Unzensiert & Gr... - Erstelle deinen persönlichen GPT-4o Assistent: [./Datei:yt_favicon_ringo2.png ] • Diese KI macht mich SPRACHLOS!
- 0:00 Intro 0:20 Elevenlabs 0:55 F5-TTS Überblick und Beispiele 3:50 Die Installation 4:20 Tool verwenden 5:58 Testen auf Huggingface 7:15 Nachteile 7:55 Community mit Text Guide
Meine Mail wenn du Fragen hast: arnio93@gmail.com - Mein Instagram: [./Datei:instagram_1x.png
] / aimitarnie - *Vertiefe dein Wissen in meinem 28-stündigen KI-Kurs: https://www.udemy.com/course/chatgpt-...
Links vom Video:
- *Elevenlabs: https://elevenlabs.io/?from=partnersa...
- https://github.com/SWivid/F5-TTS https://pinokio.computer/
- https://huggingface.co/spaces/mrfaken...
- Mit * gekennzeichnete Links sind Affiliate Links. Das heißt: Du untertützt den Kanal, ohne mehr Kosten für dich, Danke =) #Github #Opensource #tts #tesla #elonmusk #robot #flux #openai #chatgpt #LLM #python #nvidia #rag #llama3#apple #openai #chatgpt #appleintelligence #nvidia #openai #chatgpt #grok #google #elonmusk #ai #ki #agi #llm#chatgpt #aiagents #Apple #meta #llama3 #dolphin
F5 TTS - Stimme klonen (Opensource)
Elevenlabs ist cool, aber neulich sag ich zu dem Ding: Ich mache Schluss! Ich will auch andere Tools, Daten – und mit Daten meine ich verwenden, und mit Tools meine ich F5 TTS. Wir sehen uns an, wie wir Stimmen klonen können, lokal, gratis, und wir müssen nur drei Schritte befolgen: das Tool runterladen, ein Audio hochladen, Text eingeben, und das war's.
Die meisten kennen 1 Elevenlabs: Man geht auf das Tool, man schreibt rein, was man hören will, man klickt „Play“ und man bekommt das Audio zurück. Man kann viele verschiedene Stimmen auswählen, und man kann sogar Stimmen klonen, z. B. von Elan Mask oder aber meine eigene. Das da ist meine eigene, geklonte Stimme. Und ich klicke einfach mal generieren mit diesem Text: „Ich mach Schluss mit dir – oder nein, warte: Wir machen nur Pause.“ Also hört sich schon gar nicht schlecht an.
Das Problem bei Elevenlabs ist, dass man relativ schnell bezahlen muss. Aber wir haben ein Open-Source-Tool, das gratis funktioniert. Das Tool nennt sich F5 TTS. Wir haben den gesamten GitHub-Space. Wir können es lokal installieren, entweder über Python oder aber auch über Pinocchio, was am einfachsten ist.
Ich zeig dir jetzt ein paar Zero-Shot-Beispiele. Das ist die Stimme, die hochgeladen wurde: „Some call me nature, other call me mother nature…“ – also eine sehr klare, sehr gute Stimme, perfekte Qualität. Und diese Stimme, diese hochgeladene Stimme, haben wir geklont mit diesem Tool. Und das da ist dabei rausgekommen: „I don’t realy care what you call me. I’ve been a silent spetator, watching species evolve, empires rise and fall. “ Also hört sich schon sehr gut an. Das Tool kann übrigens auch Chinesisch. Ich hoffe, dass auch bald Deutsch dazu kommt. Ein weiteres Beispiel: Das ist die originale Stimme: „Are you familiar with it? Slice the steak and place the stripts on top …“und das hier ist die geklonte Stimme. „Perhaps they are driven by the delicious blend of flavours or it cpiold be the appealing visual presentation. At …“ Also hört sich auch relativ gut an.
Alles steht und fällt natürlich mit der Qualität vom Audio, das man hochlädt. Letztes Beispiel: „He don’t knoe hoe much trouble you’ve gotten yourself into. Look if one of the other get to you first …“ Das war das Original, und hier die geklonte. „Your safty and your packs reputation are on stake, your bravery is admirable, but some times bravery is knowi …“ Also, wenn der Input gzut ist, ist auch der Output sehr gut.
Das Interessante von diesem Tool ist, dass es mal wieder mit einer Diffusion-Transformer-Architektur arbeitet. Die Diffusion-Transformer kennt man aus den neuesten KI-Tools: Flux arbeitet mit diesem Modell und Sora arbeitet mit diesem Modell. Also Diffusion ist die Technologie hinter KI-Bildern, und Transformer ist die Technologie hinter ChatGPT, also hinter Large Language Models. Und diese kombinierten Dinge, die machen die meisten Sachen ein klein wenig besser mittlerweile.
Also die Diffusion-Transformer-Architektur. Im Research Paper – hier in der PDF – kann man sich natürlich mehr Details dazu ansehen, die ich jetzt einfach mal überspringe. Denn wir wollen das Tool jetzt nutzen, und zwar lokal auf unserer Maschine und danach auf HuggingFace.
Denn natürlich ist es traumhaft, wenn man sowas gratis verwenden kann, anstatt für Elevenlabs zu bezahlen. Und genau deshalb bin ich zur Entscheidung gekommen, mit 1Elevenlabs ein Wort zu sprechen. Ich sagte: „Hey, wir zwei, wir müssen uns hinsetzen. Du weißt, ich liebe dich. Lass uns das anders ausdrücken: Ich mag dich sehr gerne. Ich würde es richtig toll finden, wenn wir zwei Freunde bleiben würden. Vielleicht kommen wir später noch mal ins Gespräch.“ Das ist eine Konversation, die ich schon sehr oft hatte. Normalerweise war ich natürlich auf der anderen Seite der Konversation. Heute drehen wir den Spieß um.
Wenn du das Tool lokal verwenden willst, ist der einfachste Weg, auf pinocchio.computer zu gehen. Und du klickst hier „Download“. Sobald das Programm runtergeladen ist, sieht das so aus: Hier kannst du viele Open-Source-Tools laufen lassen. Wir wollen dieses verwenden, also klicken wir darauf und „Download & Install“. Wenn du das das erste Mal machst, dauert es vielleicht ein paar Minuten, weil du natürlich ein paar Bibliotheken installieren musst. Ich habe das schon vorinstalliert, dementsprechend kann ich es nur noch öffnen.
Das Interface ist sehr einfach: Hier kannst du deine Audiodatei hochladen, von der Stimme, die du klonen willst. Hier unten tippst du die Dinge ein, und danach bekommst du deine Audiodatei zurück.
Wir klonen jetzt einfach mal die Stimme von Elan Mask. Ich habe hier ein MP3-File von Elan Mask, wo er 15–16 Sekunden lang spricht. Und das Ding hört sich so an:
Also man hört typisch Mask – stottert ein klein wenig rum manchmal, aber das sollte jetzt hier nicht zur Sache tun, denn wir wollen ja etwas generieren, das sich ähnlich wird, eventuell sogar ohne das Gestottere. Wir tippen das hier unten rein: „You cannot blame gravity for falling in love with a new tool.“ Leider, wie gesagt, funktioniert das nur in Englisch. Jetzt klicken wir „Synthesis“. Das dauert jetzt ein klein wenig, hier muss man sich etwas Zeit lassen.
Wir verwenden meine lokale GPU. Es kommt jetzt natürlich darauf an, wie stark deine GPU ist. Ich zeig dir danach noch, was auf HuggingFace, damit du auch ohne starken Computer arbeiten kannst. Das dauert für mich jetzt in etwa 60 Sekunden. Wir hören einfach mal kurz rein: ……Also hört sich schon relativ ähnlich zu Mask an. Ist natürlich immer noch nicht perfekt, aber es ist Open Source, gratis, du kannst es für immer verwenden.
Bevor wir auf Hugging Face wechseln, will ich noch sagen: In meiner Community habe ich einen Text-Guide veröffentlicht, dem man Schritt für Schritt folgen kann. Also die Community ist gratis, man kann beitreten und das Klick für Klick nachmachen.
Wir kommen auf diesen Hugging-Face-Space, und wir laden wieder eine MP3 hoch. In diesem Fall habe ich eine Audiodatei genommen von einem Kurs, den ich gemacht habe, auf Englisch. Und ich höre mich auf Englisch in etwa so an, ja Dialekt, so wie aht in Deutsch: „In this section, we start with a view of the basics. So, first of all, I want to give you an overview of some Diffusion Models.“
Also du hörst ja Dialekt, ich habe das hochgeladen. Danach schreibe ich hier rein „Silent“ und so weiter. Ich klicke auf „Synthesize“, und das ist das Ding: So wie ich in Englisch sprechen sollte laut dem Tool. Der Dialekt ist weg, meine Stimme ist noch ähnlich, würde ich sagen: „I don’t – what you call me – silent spectator watching species evolve, empires rise and fall.“ Zumindest ist es ähnlich zu meiner Stimme. Und ich lese genau diese Dinge vor, noch einmal: „Spectator watching species evolve, empires rise and fall.“ Also hört sich schon gar nicht schlecht an. Lass mich gerne wissen, ob meine Stimme zu erkennen ist und ob dir vielleicht dieser Dialekt besser gefällt als meiner. Vielleicht kann ich mich irgendwann komplett durch KI ersetzen.
Ein Nachteil von diesem Tool ist eventuell die Lizenz. Ich bin hier kein absoluter Experte bei diesen Lizenzen, aber das ist wohl eine Lizenz, die man absolut immer und überall verwenden kann. Aber man kann eventuell keine kompletten Werbespots damit drehen. Ist natürlich generell fraglich, wenn man Stimmen klonen will – das sollte man generell nicht machen. Also Stimme klonen von anderen Personen und damit Werbespots machen: sehr fraglich. Wenn man die eigene Stimme klont und damit was Cooles baut, auf alle Fälle, das kann man machen. Oder natürlich für Research ist das gedacht. Also so ein experimentelles Video, wie ich gemacht habe, ist natürlich perfekt dafür geeignet.
Interessiert dich der KI-Kram generell? Du kannst der Community beitreten. Wir kratzen bald an der 2000er-Marke. Hier sind viele Leute andauernd online, wir unterhalten uns die ganze Zeit, und im Classroom ist sogar ein kleiner Starter-KI-Kurs, damit du einen Überblick bekommst. Erster Link in der Beschreibung natürlich.