Werk:AI mit Arnie/Bilderkennung mit Llama3 Llava
Vielleicht hast du schon mal gehört, dass viele dieser LLMs sozusagen multimodal sind. Das heißt, die können sehen, sprechen und hören. Sprechen sehen wir uns natürlich etwas später an. Das Sprechen in LM Studio leider nicht funktioniert; das müssen wir in Anything LLM machen. Das ist eine richtig, richtig coole Application. Hier können wir Open-Source-Tools zusammenflicken mit dem sogenannten Function Calling. Das heißt, hier können wir uns natürlich auch Dinge vorlesen lassen und vieles mehr. Aber Vision, das heißt Sehen, das funktioniert in LM Studio tadellos.
Ich werde dir zeigen, welche Modelle multimodal sind und wie das funktioniert. Alles, was du machen musst, ist natürlich, das richtige Modell runterzuladen. Eines der besten Modelle, die ich zumindest gefunden habe, sind diese Llava-Modelle. Llava kommt von Llama 3. Alles, was du machen musst, ist natürlich, bei der Suche Llava einzugeben mit zwei „L“. Und hier, von XHunter, dieses Llava-3-Modell ist eigentlich, um ehrlich zu sein, perfekt.
Hier hat er zwei verschiedene Modelle: eines mit 16 GB und eines mit 4,9 GB. Das mit 16 GB funktioniert relativ gut. Ich hatte auch das schon ab und zu laufen auf diesem Computer, und es hat eigentlich auch nie Probleme gemacht. Ich habe es aber neulich gelöscht, da ich etwas Speicherplatz brauchte, und ich habe jetzt noch mal das kleine Modell runtergeladen, und auch das funktioniert erstaunlicherweise relativ gut.
Jetzt ist aber wichtig, dass du hier nicht nur das normale Modell brauchst, sondern du brauchst auch das da: Llava-Llama-38bv und so weiter. Hier steht es eigentlich schon dabei: Vision Adapter. Denn du hast ja schon gesehen, bis jetzt können wir in LM Studio keine Bilder hochladen. Aber wenn du diesen Vision Adapter auch mit runterlädst, dann funktioniert das. Das heißt, diese zwei Modelle, die solltest du runterladen. Und wenn du einen sehr, sehr starken Rechner hast, dann kannst du auch das große Modellerunterladen. Aber dieser Vision Adapter, der muss unbedingt dabei sein.
Neben diesen Llava-Modellen haben wir auch noch andere Modelle, die multimodal sind. Also, Llama 3 ist multimodal, dann nennt sich das Ding Llava. Wir haben aber auch das Phi 3. Auch Phi 3 ist multimodal, und auch Phi 3 kannst du runterladen. Bei DaVinci 3, das kommt von Microsoft, das ist generell ein kleines Modell. Da kann man auch das größte Modell runterladen, und auch hier brauchst du das Modell und den Vision Adapter.
Es ist mir relativ egal, welches dieser zwei Modelle du verwendest. Alle Dinge funktionieren eigentlich relativ, relativ gut. Das heißt, du kannst DaVinci 3 runterladen mit dem Vision Adapter von Llama, du kannst Llama 3 runterladen mit dem Vision Adapter, du kannst das auch mit Mistral probieren. Auch hier kannst du ein Modell herunterladen. Hier kannst du auch runtergehen bis zu den größten Modellen. Die sind alle überschaubar klein. Aber bitte, bitte immer den Vision Adapter mit runterladen.
Jetzt zeige ich dir, wie das läuft. Wenn du hier auf den AI-Chat gehst, dann habe ich hier aktuell dieses Dolphin-Modell aktiviert. Jedoch wollen wir natürlich das Vision-Modell, und ich habe das ja schon heruntergeladen. Das heißt Llava 3. Und hier, wenn das Gelb aufleuchtet – Vision –, dann funktioniert das. Wenn Vision nicht gelb aufleuchtet, dann hast du vergessen, den Vision Adapter runterzuladen. Das heißt, du musst unbedingt beide runterladen. Nur wenn du auch diesen Adapter lädst, wird das hier in Gelb mit dabei sein. Das heißt, das Modell und wird noch nicht funktionieren, dieses Ding mit dazu, und es funktioniert. Wenn du in den AI-Chat gehst, dann ist hier Vision eingezeichnet, und dann siehst du auch da unten, dass du hier Bilder hochladen kannst.
Und wir wollen das jetzt erst mal probieren. Bevor wir das machen: Plain Text ist für mich okay. Das da ist aber wichtig, denn wir wollen hier ein anderes Prompting-Format haben. Für uns funktioniert hier Llama 3. Ich klicke einfach mal darauf. „Your helpful assistant … „ und so weiter, Kontextfenster – alles gut. GPU Offload kann ich sogar noch etwas hochstellen. Sieht für mich aktuell relativ gut aus, tatsächlich.
Und was machen wir jetzt? Jetzt müssen wir ein Bild hochladen, und wir sehen uns mal an, ob wir eine Beschreibung rausbekommen. Wir machen sowas. Das bedeutet Reinforcement Human Feedback, natürlich. Wir gehen auf Bilder, und ich will, dass uns das Modell dieses Bild beschreibt. Das heißt, ich lade das Ding erstmal runter. Wir gehen in LM Studio. Ich lade das hoch, öffnen , und ich frage ganz einfach mal: „What is on this pic?“ Fragezeichen. Und „Tataa…“ und wir bekommen natürlich die gesamte Beschreibung, was auf diesem Bildchen hier mit drauf ist. Das heißt, das Modell funktioniert. Und ich will das natürlich auf Deutsch haben. Denn, okay, Englisch würde auch funktionieren, aber ich denke, wir sollten die ganze Beschreibung noch auf Deutsch haben.
Aber du siehst, wir bekommen eine perfekte Beschreibung vom Reinforcement Learning: „Beschreibe auf Deutsch so einfach wie möglich, wie das Konzept auf dem Bild funktioniert, so als wäre ich zwölf Jahre alt.“ … „Das Bild zeigt ein Konzept namens Initial Language Model und zeigt die verschiedenen Bestandteile des Modells in Form von kleinen Unterdarstellungen. Diese sind durch Pfeile mit Zahlen verbunden …“ und so weiter. Das heißt, ja, ganz genau, es sieht wirklich so aus, als ob wir eine detaillierte Beschreibung bekommen würden. Das heißt, Initial Language Model, das ist hier das erste Feld, und das Ding tippt ganz einfach die Dinge hier auf.
Es zeigt auch, wie sich das Modell kontinuierlich anpasst, indem die Benutzer Feedback geben und darunter angeordnet werden. „Dieses Konzept ist dann ein wichtiger Teil …“ und so weiter. Das heißt, wir bekommen die perfekte Beschreibung. Und du siehst, Vision ist keineswegs nur für ChatGPT. Auch Open-Source-Modelle können sehen, sprechen und hören.
Über das Sprechen will ich natürlich etwas später sprechen, denn das können wir in LM Studio leider nicht einfügen. Dafür können wir Dinge verwenden von OpenAI. Aber wir können auch Open-Source-Modelle verwenden. Auch Sprechen ist mittlerweile richtig, richtig cool, auch in den Open-Source-Modellen.
Dementsprechend: das war Vision mit Open-Source-Modellen in LM Studio.
Llava funktioniert perfekt, aber bitte erinnere dich daran: Du brauchst immer das Modell und dazu noch den Vision Adapter. Völlig egal, ob du Llava von Llama 3 verwendest oder ob du hier Phi 3 Mini verwendest. All diese Modelle sind multimodal, aber alle brauchen diesen Vision Adapter.
Also, viel Spaß beim Testen dieser Vision-Modelle, die auch Open-Source sind, auf deinem Computer. Damit kannst du Dinge hochladen und dir Dinge beschreiben lassen. Ich will dir im nächsten Video noch ein paar Beispiele geben, was diese Dinge alles machen können. Denn Vision ist der Wahnsinn.