Multimodalität mit Sprache

Über diese Seite Werk

Gründet auf dem Werk „KI-Revolution“ Arnold Oberleiter
25. Oktober 2024 n. Chr. hrsg.  
AI mit Arnie
LLMs meistern
Weitere Fähigkeiten von LLMs
Überarbeitung Liste Werke von Klaus Feldmann 
AbschriftAbschrift
29. November 2024 n. Chr. erst.  
8:25 Uhr Ausgabe 00
Ausgabe 00
veröffentlicht
geprüft
↑ Multimodalität, Vision und Bilderkennung
→ Multimodalität mit Sprache
↓ Update - ChatGPT Search
Multimodalität mit Sprache wie im Film Her.mp4 Multimodalität mit Sprache wie im Film Her.pages

🎓 Multimodalität mit Sprache

📽️ 3 Multimodalität mit Sprache wie im Film Her (6:09)

Multimodalität bedeutet also, dass ChatGPT nicht nur Bilder erstellen kann. Er kann auch Bilder verstehen, oder Es kann auch Bilder verstehen. Nenn ChatGPT, wie du willst – männlich, weiblich, sächlich, mir ist das relativ egal. Aber das Ding kann nicht nur Bilder-Sachen machen, es kann auch Text-Sachen machen. Es kann auch Audio-Sachen machen.

Lange Rede, kurzer Sinn: ChatGPT kann sehen, sprechen und hören, wenn du das so sagen willst. Vielleicht kennst du den Film Her. Der Film Her, wenn du das mal kurz googelst, ist ein Film aus dem Jahr 2013. Und dieser Typ hier hat sich sozusagen in eine künstliche Intelligenz verliebt. Das heißt, er spricht die ganze Zeit mit seinem Handy.

Tatsächlicherweise können wir das jetzt aktuell machen. Seit ChatGPT-4 Omni wurde das Ding auch sehr, sehr gut. Sagen wir es mal so. Ich muss dazu sagen, ich habe jetzt aktuell leider nicht Zugriff dazu. Aber sobald du dir den Kurs ansiehst, bin ich mir ganz, ganz sicher, dass du Zugriff hast, weil das in den nächsten Tagen rauskommen sollte. Ich kann dir aber jetzt zeigen, wie das bei mir aktuell funktioniert.

Ich gehe hier in die App von ChatGPT. ChatGPT kannst du dir auch im App Store auf dem Handy installieren. Bitte, bitte achte darauf, dass du hier auch die richtige App verwendest und nicht irgendetwas, das „powered by OpenAI“ ist. Denn ganz, ganz viele Unternehmen wollen dich hier eigentlich abziehen. Also bitte geh sicher, dass du das richtige ChatGPT hast.

Das da ist jetzt die ChatGPT-App. Das ist ChatGPT-4 Omni, aktuell, leider wie gesagt, die alte Stimme. Ich sage dir jetzt, wie die alte Stimme funktioniert. Und die neue Stimme funktioniert noch viel, viel besser. Das zeige ich dir danach ein Demo.

Ich werde jetzt hier auf diesen kleinen Kopfhörer klicken, den du auf dieser Seite siehst. Und sobald ich da draufgeklickt habe, kann ich mit ChatGPT sprechen. ChatGPT spricht zurück. Ich werde das jetzt auf Deutsch machen. Auf Englisch funktioniert das ein klein wenig besser:

„Erzähle eine lustige Geschichte von einem Hund.“

„Klar, es war einmal ein Hund namens Bruno, der immer auf Abenteuer aus war. Eines Tages beschloss Bruno, dass er genug von seinem langweiligen Garten hatte und sich auf eine Reise begeben wollte…“

Und so geht das weiter. Das heißt ganz einfach, wir können uns mit ChatGPT unterhalten. Und das neueste Feature, auf das ich jetzt bald Zugriff bekomme, das ist viel, viel besser. Das macht alles viel, viel schneller, und die Stimmen hören sich brutal gut an. Man kann sie in Echtzeit unterbrechen. Das heißt, ich könnte zu ChatGPT sagen:

„Erzähle eine Geschichte von einem Hund.“

Mittendrin sage ich: „Stopp, jetzt von einer Katze. Nein, gib mir lieber Java-Code.“

Das heißt, wir können das in Echtzeit unterbrechen. Ich will jetzt ein, zwei Beispiele zeigen, die uns OpenAI vorgeführt hat. Das hier ist vom YouTube-Kanal von OpenAI. Hier geht es darum, dass ChatGPT die Emotionen von diesem Typen lesen sollte.

Ich werde hier das Intro überspringen. Du kannst dir das gesamte Video ansehen. Ich zeige dir danach, wo du diese Dinge findest:

„…okay I than like you to try to see waht emotions I’m feeling based on how I’m loking.“ „Seounds like a fun challenge. Go ahead and show me that selfie and i’ll put my emotional detector that on.“ „OK, so here is me. So what kind of emotion do you think I’m feeling.“ „Mhhm… It seem’s that I’m looking at a picture of a wood’n surface.“ „Oh, you know what, that is the ting I send you before, don’t worry, I’m not actual a table, am OK so , so take another look.“ „Ahhm, that’s make’s more sense, Ahh there we go, it look’s like youz feeling pretty happy and cheerful, with a big smile and maybe a touch of excitement, whatever ist going on, it semes like your in a great mood, can yoou share the source of those good vipes?“ „Yeah, you know, ah, the reson I'm in a really good mood, is cause, we are doing a presentation showcasing how usefull and amazing you are.“ [Gelächter] „Oh, stop it, you are making me go hot.“ [Gelächter]

Also, ich denke, die Reaktionen sind hier brutal gut. Wenn du auf den YouTube-Kanal von OpenAI gehst, dann wirst du hier ganz, ganz viele Demos finden. Einige haben wirklich sehr, sehr viele Aufrufe. Klicken wir hier auf „Videos“, dann sehen wir hier tatsächlich diese Demonstrationen: 100.000 bis 300.000 Aufrufe, und einige sind viral gegangen.

Das Ding hat auch 370.000 Aufrufe, also in einer einzigen Woche – sechs Tage zum Zeitpunkt, als ich den Kurs aufnehme. Hier wird ein Beispiel genannt, wie ein blinder Mensch sozusagen wiedersehen kann. Er fragt ganz einfach ChatGPT, was er sich hier gerade ansieht.

Es gibt ganz, ganz viele solcher Beispiele. Das Ding hatte über eine Million Aufrufe. Hier hat ein Student Mathe gelernt, zusammen mit ChatGPT. Das Video kann man sich gerne mal ansehen. Und das war das Video, das am meisten Aufrufe hatte: 2,1 Millionen Aufrufe.

Hier hat Greg Brockman, ein Typ von OpenAI, einer der Schlüsselfiguren von OpenAI sogar, der hat hier zwei KIs miteinander sprechen lassen. Also, wie gesagt, diese Dinge, die sind mittlerweile richtig, richtig gut. Und ich denke, die hören sich sogar fast wie Menschen an.

In diesem Video haben wir uns angesehen, dass zu Multimodalität natürlich auch Audio dazugehört. Wir können natürlich mit ChatGPT sprechen, und ChatGPT spricht zurück. Das ist sehr, sehr mächtig, gerade mit diesem Modell.

Sam Altman hat es immer wieder gesagt: Er lässt manchmal einfach sein Handy neb… neben ihm auf dem Schreibtisch liegen. Er arbeitet ganz konzentriert an seinem Computer und fragt zwischendurch mal: „Hey ChatGPT, wie ist das Wetter morgen?“ oder „Hey ChatGPT, bring mir mal eine Tabelle zu X, Y, Z.“ Damit kann er tatsächlich auf seinen Task weiterhin konzentriert bleiben und hat nebenbei noch den kleinen KI-Agenten auf seiner Seite.

Und das Ding kann eben ganz einfach immer und überall helfen. Das ist mit Multimodalität gemeint. ChatGPT kann sehen, sprechen und hören. Und in diesem Video hast du das Sprechen kennengelernt.