Multimodalität, Vision und Bilderkennung

Über diese Seite Werk

Gründet auf dem Werk „KI-Revolution“ Arnold Oberleiter
25. Oktober 2024 n. Chr. hrsg.  
AI mit Arnie
LLMs meistern
Weitere Fähigkeiten von LLMs
Überarbeitung Liste Werke von Klaus Feldmann 
AbschriftAbschrift
28. November 2024 n. Chr. erst.  
19:53 Uhr Ausgabe 00
Ausgabe 00
veröffentlicht
geprüft
↑ LLMs können diverse Tools nutzen
→ Multimodalität, Vision und Bilderkennung
↓ Multimodalität mit Sprache
MULTI~1.mp4 MULTI~1.pages

🎓 Multimodalität, Vision und Bilderkennung

📽️ 2MULTI~1 (5:51)

Lasst uns über Multimodalität sprechen.

ChatGPT und LLMs, die können nicht nur Bilder erstellen, sondern die können mittlerweile auch Bilder sehr, sehr gut verstehen. Die können sozusagen „sehen“, und das klappt teilweise auch schon mit Video. Ich bin mir recht sicher, dass das mit Video besser und besser und besser klappt. Aktuell sehen diese Dinge von Videos tatsächlich nur kleine Screenshots, aber ich denke, dass das natürlich mit der Zeit viel, viel besser wird.

Lass uns einfach mal ansehen, wie das Ganze funktioniert. Später im Kurs werde ich viele verschiedene Beispiele von Vision mit einbauen. Ich will jetzt aber nicht die Zeit verschwenden mit unnützen Beispielen.

Das Ganze funktioniert so: Sagen wir, du siehst irgendwo ein Bild. Ich habe hier mal noch mal gegoogelt: RLHF HuggingFace, also das sogenannte Reinforcement Learning. Du kennst dieses Bild schon, das haben wir uns schon ganz, ganz kurz angesehen. Sagen wir, du verstehst dieses Bild aber nicht. Du könntest dieses Bild z. B. mal speichern auf deinem Desktop. Danach könnte man in ChatGPT gehen, wir klicken auf diese Büroklammer, laden dieses Bild hoch und sagen Folgendes:

Erkläre das Bild, als wäre ich 5 Jahre alt.

ChatGPT wird sich das Bild ansehen und wird sofort das ausführen und uns erklären, worum es hier geht. Allerdings verstehst du das Reinforcement Learning natürlich schon.

Wir können das Ganze auch anders machen. Wir könnten in Paint sein, und sagen wir, du willst eine Webseite bauen, weißt aber nicht, wie das geht. AI mit Arne, natürlich lausige Schrift, und drunter meinetwegen noch eine kleine Box mit „your mail“. Jetzt könnten wir das Bild ja speichern, auf dem Desktop. Wir gehen in ChatGPT, klicken wieder Hochladen:

Schreibe einen Code für eine hübsche HTML-Webseite, die so aussieht.

ChatGPT wird sich jetzt dieses Bildchen ansehen und versteht sofort, was er machen muss. Das heißt, er macht jetzt eine HTML-Webpage, und wir sehen jetzt, dass wir hier relativ viele Informationen schon bekommen bzw. alles, was wir brauchen. Kopieren wir den Code, gehen kurz in Replit. In Replit können wir einfach nur Code testen. Mach dir keine Sorgen, wenn du das aktuell nicht verstehst, das muss nicht unbedingt sein.

In Replit können wir einfach nur Code laufen lassen. Ich nenne das einfach mal „Mein Test“. Wir können das da rauslöschen, einfügen, wir klicken danach hier oben auf „Run“ und wir können uns ansehen, was ChatGPT so gezaubert hat. AI mit Arne, natürlich, meine Schrift war richtig, richtig lausig. Deshalb hat er hier übersehen, dass wir eine Leerzeile haben. Das war natürlich mein Fehler.

Du siehst also, meine Schrift ist lausig. Vielleicht hätte ich einen Punkt machen können, hier etwas mehr Platz lassen. Aber du siehst: Ich habe gesagt, er soll die Webseite etwas hübscher machen. Und die Webseite hat dementsprechend eine schöne Schriftart. Sie ist nicht komplett weiß, sie ist etwas grau. Und ich könnte natürlich auch zurückgehen und sagen: Mach die Seite in rosarot.

Sofort wird das Ganze natürlich umgeschrieben, und ich bekomme einfach alles zurück, was ich will. Ich kann das wieder kopieren, natürlich, und wir können das hier testen. Und ich bin mir zu 99 % sicher, dass die Seite jetzt rosarot sein wird. Wir hätten das natürlich auch selbst hier nachsehen können, denn das siehst du natürlich auch im Code: „background-color“. Hier ist jetzt der Code für Rosarot.

Das Ding unter den Sternchen wird im Code nicht berücksichtigt, das ist zur Erklärung, dass wir eine rosarote Webseite haben, hier, also perfekt umgesetzt.

Ein paar Beispiele von Vision könntest du dir hier ansehen auf der Webseite von Groq. Denn auch Groq ist multimodal. Groq hat es z. B. geschafft, von diesem Bild den Code zu machen für genau diese kleine App.

Das fand ich auch besonders spannend. Hier wurde gefragt, wie viel Kalorien fünf Stücke von diesem Lebensmittel haben. Hier wurden jedoch nur drei auf dieser Packung angegeben. Also muss hier tatsächlich Groq etwas mehr nachdenken, denn er muss erstmal die Rechnung machen. Also: Drei Stücke haben 60 Kalorien. Dementsprechend haben fünf Stücke 100 Kalorien. Er hat also hier Vision verwendet und zusätzlich noch Mathe angewendet – Multimodalität und Tool-Use in einem.

Hier wurde das gezeigt und gefragt nach einer Gute-Nacht-Geschichte für ma… den Sohn. Wurde perfekt umgesetzt.

Diese LLMs verstehen teilweise sogar Memes, verstehen also, was lustig ist. Hier wurde einfach nur Folgendes gefragt: Was ist hier lustig an diesem Meme? Ich verstehe es nicht.

Das wurde gefüttert: „Startups gegen große Unternehmen. Beim Startup schuften noch alle, beim großen nur einer alleine und der Rest sieht zu.“

Hier wurde von dieser Tabelle ein CSV-Table gemacht. Und hier drunter kannst du dir noch ein paar Dinge ansehen, die ich auch richtig spannend fand. Es wurde z. B. gefragt, ob man hier, wenn man nach vorne fährt, zwischen diesen zwei Autos einparken kann, ob genug Platz ist. Und Grock meint hier: „Ja, wir haben genug Platz.“ Das lässt eigentlich auch darauf schließen, dass diese Modelle sehr, sehr gut sehen können. Denn hier muss man auch selbst zweimal hinsehen, ob man wirklich Platz hätte.

In diesem Video haben wir uns die erste Funktion der Multimodalität angesehen: „Vision“. Diese Modelle können auch sehen. Wir können Bilder hochladen, und diese Modelle können die Bilder relativ gut identifizieren.

Man kann hier verschiedenste Dinge machen, die wir später im Kurs noch ein klein wenig ansehen werden. Du hast natürlich jetzt schon einige Beispiele bekommen. Ich will dich nicht mit unendlich vielen Beispielen langweilen. Und im nächsten Video sehen wir uns das Audio an. Denn auch Audio klappt mittlerweile richtig, richtig gut. ChatGPT und OpenAI bauen aktuell etwas, das sich so anfühlt wie aus dem Film „her“.