Werk:AI mit Arnie/Überblick (Open-Source LLMs)
| ▶ | Kurs AI mit Arnie (KI-Revolution) Open-Source LLMs |
| 📽️ | Opensource LLMs Überblick (8:11) |
| 🎓 | Überblick |
| ▲ | Teaser Clip (Das lernst du) |
| ▶ | Überblick |
| ▼ | Downloads & Links |
Willkommen im Open Source LLM-Kurs und erstmal danke! Du hast natürlich die richtige Entscheidung getroffen. Dieser Kurs zeigt dir alles, was du zu Open Source LLMs wissen musst – vom Webinterface bis zum eigenen Server mit Olama und vieles mehr. Ich will erstmal mit ein, zwei Tipps starten.
Der erste Tipp ist natürlich – ich sage es in jedem Kurs: Du kannst die Geschwindigkeit erhöhen. Das hat mehrere Nebeneffekte. Erstmal kannst du wirklich besser lernen, wenn du die Geschwindigkeit erhöhst. Denn unser Gehirn hat nur zwei Schalter: Es ist entweder eingeschaltet oder ausgeschaltet. Und eigentlich ist es niemals ausgeschaltet, außer man ist tot. Heißt also, dein Gehirn ist an, wenn du dir dieses Video ansiehst.
Das Gehirn hat aber etwas Interessantes: Es ist immer zu 100 % eingeschaltet, und wenn du es nicht voll auslastest mit einer einzigen Tätigkeit, dann denkt es andere Denkprozesse in der Zwischenzeit. Vielen ist das schon mal aufgefallen. Sie haben etwas gelesen, sie haben sich irgendwas angesehen im Fernsehen, und irgendwann fängt ihr Gehirn an, andere Sachen zu denken. Das passiert dann, wenn du z. B. so langsam liest. Wenn du ein Buch liest und die ganze Zeit daran denkst, dass du später noch mit dem Hund raus solltest, dann ist dein Gehirn nicht zu 100% ausgelastet und denkt andere Denkprozesse in der Zwischenzeit.
Bei einem Kurs kannst du das Ganze natürlich einfach machen: Du erhöhst die Geschwindigkeit. Die meisten starten mit 1,5-fach, einige gehen hoch bis zu dem Zweifachen oder noch schneller mit gewissen Chrome-Extensions. Also, du kannst den Kurs schneller durcharbeiten und mehr lernen, indem du die Geschwindigkeit erhöhst, weil dein Gehirn bei der Sache bleibt.
Der zweite kleine Tipp: Wir sind natürlich eine Community. Und eine Community lebt von Leuten, denn mehr Leute wissen immer mehr als wenig Leute. Also könntest du diese Community teilen – mit deinen Freunden. Dann haben wir den netten Nebeneffekt, dass wir alle zusammen noch schneller lernen können. Und dein Status wird ansteigen, wenn auch die andere Person lernt. Denn sie schreibt den Wert dir zu, weil du ihr davon erzählt hast. Also haben wir eine Win-Win-Win-Situation.
Der Kurs ist groß, deshalb will ich jetzt mit einem Kursüberblick starten. Die nächste Lektion, die nennt sich „Downloads und Links“ – und dreimal darfst du raten, was das sind. Ja, genau: Downloads und Links. Klickst du auf „wichtige Links“, dann bekommst du eine PDF. Diese PDF kannst du dir runterladen. Hier sind viele Links, die wir über den Kurs brauchen werden, z. B. verschiedene Chatbot-Arenen oder auch Google Colab Notebooks, die Installation von Node oder von Olama. Und wenn du auf diese Links klickst, dann bist du sofort auf der richtigen Webseite.
Also, lad dir diese PDF runter. Lass sie nebenbei geöffnet. Daneben haben wir hier „Prompt-Bibliotheken“. Klickst du hier drauf, dann bekommst du Links zu Prompt-Bibliotheken, die dir weiterhelfen werden, z. B. vom Google AI Studio. Klickst du hier drauf, bekommst du die Prompt-Bibliothek von Google. Auch diese hilft dir, Prompts besser zu schreiben – für LLMs. Die Dinge machen später natürlich mehr Sinn, sobald du das alles verstehst. Also, lad dir die Dinge runter. Die wirst du brauchen.
Sobald du dir eine Lektion übrigens angesehen hast – z. B. diesen Überblick – kannst du auf diesen Haken klicken. Und danach siehst du sofort, dass du dir die Lektion schon angesehen hast, und du siehst sie dir nicht doppelt an, wenn du den Kurs aufteilst. Und du siehst natürlich auch sofort, wenn ich ein Video hochlade. Denn dann ist dieser Haken natürlich nicht mehr aktiviert.
Danach starten wir sofort hier: Open Source LLMs – Vorteile und Nachteile. Erstmal, was sind LLMs generell, welche LLMs gibt es, und was soll man verwenden? Die Nachteile von Closed Source LLMs und danach die Vor- und Nachteile von Open Source LLMs. Danach hast du erstmal einen Überblick.
In der nächsten Sektion starten wir mit den einfachsten Wegen, Open Source LLMs zu verwenden. Erstmal ein paar Voraussetzungen der Hardware, z. B. wie wir LM Studio installieren, wie wir Open Source LLMs nutzen in LM Studio. Zensierte gegen unzensierte LLMs, die Anwendungszwecke von LLMs, wie man ein Fine-Tuning machen könnte auf Hugging Face. Das ist hier erstmal nur Theorie. Später danach in die Praxis. Denn auf Hugging Face ist das Ganze teuer.
Wir sehen uns die Bilderkennung, also Vision, an – mit Lama 3 und Llava. Ich sag dir viele Beispiele der Bilderkennung, mehr Details zur Hardware, also GPU, Offload, CPU, RAM und VRAM. Die Dinge sind wichtig. Und zum Schluss eine kleine Zusammenfassung: Müll rein, Müll raus. Du brauchst gute Befehle, sogenannte Prompts.
In der nächsten Sektion sprechen wir über das Prompt Engineering. Wir arbeiten in einem Webinterface, und zwar mit HuggingChat. Ich zeig dir den Systemprompt und Function Calling, viele Prompt-Engineering-Basics, die einfachsten Strategien, wie wir Assistenten erstellen in HuggingFace. Ich zeig dir Groq. Der Groq ist interessant – mit der LPU anstatt mit einer GPU … und eine kleine Recap:.
Vektordatenbanken und Embedding-Modelle musst du auch verstehen. Noch mal im Detail: Was ist Function Calling, was sind Vektordatenbanken, Embedding-Modelle und die RAG-Technologie? Wir installieren uns Anything LLM, denn damit können wir all diese Dinge lokal laufen lassen. Wir machen uns einen lokalen RAG-Bot mit Anything LLM. Danach sehen wir uns Ollama und Lama 3 an. Wir schauen uns an, wie wir Function Calling machen können mit Llama-3-Modellen, mehr Details zum Function Calling und weitere Funktionen von Anything LLM mit verschiedenen APIs.
Sobald du einen RAG-Bot bauen kannst, sehen wir uns an, wie wir die RAG-Technologie verbessern. Es geht um Datenvorbereitung. Dafür verwenden wir Firecrawl oder aber LlamaIndex mit LlamaParse. Diese zwei Tools helfen dir, aus schlechten Daten bessere Daten zu machen.
Im nächsten Schritt machen wir nicht nur normale Chatbots oder RAG-Bots, sondern wir wechseln in KI-Agenten mit Open Source LLMs. Wir sehen uns erstmal an, was KI-Agenten sind, die verschiedenen Möglichkeiten, wie wir Flowise betreiben. Denn wir werden Open Source LLMs in Flowise zusammenstüpseln. Wir werden Flowise installieren, wir sehen uns das Interface an und einen kleinen Überblick von einem lokalen RAG-Chatbot. Danach bauen wir den ersten KI-Agenten. Wir sehen uns an, wie wir Function Calling mit Open Source LLM als KI-Agent bauen können. Und danach gibt es noch einige Tipps von Agenten, die wir eventuell bauen könnten.
Fine-Tunings, GPU-Power mieten, Open Source Text-to-Speech – das sind die Dinge, die wir uns als Nächstes ansehen.
Wir sehen uns ein Text-to-Speech-Tool an, das wir in Google Colab verwenden können. Danach F5-DTS – das ist besonders interessant, läuft aber leider nur auf Englisch. Wir sehen uns das Fine-Tuning an von Open Source LLMs in Google Colab. Danach sehen wir uns an, wie wir GPU-Power ausleihen können, z. B. bei Runpod oder Massed Compute. Und zum Schluss natürlich: Was ist das beste Open Source LLM? Die Antwort ist gar nicht so einfach.
Datenschutz, Sicherheit und wie geht es weiter – das ist die letzte Sektion. Wir sehen uns Jailbreaks an, Prompt Injections und Data Poisoning, alles speziell für Open Source LLMs. Danach ein paar generelle Dinge zu Datenschutz und Sicherheit, ob es auch möglich ist, diese Dinge kommerziell zu nutzen und eventuell zu verkaufen.
Und zum Schluss mein Danke und wie es weitergeht. Genauso, wie ich auch jetzt erstmal Danke sagen will. Denn du schenkst mir das wertvollste Asset, das du besitzt: nämlich deine Zeit. Jeder auf dieser Welt hat nur begrenzt Zeit zur Verfügung. Und du entscheidest dich dafür, deine Zeit mit mir zu verbringen. Also erstmal Danke dafür.
Hast du irgendwann irgendwelche Fragen, auf alle Fälle rein damit in die Community. Eröffne gerne einen Thread, teile deine Erfahrungen, und wir haben alle zusammen einfach etwas Spaß. Eröffnest du einen Post, erinnere dich auch noch mal kurz an die Profitipps für bessere Posts: weniger Ich-Postings und mehr offene Fragen. So erhältst du bessere Antworten.
Und als kleiner Profitipp: Wenn du fragst, was Leute in der Vergangenheit gemacht haben, bekommst du auch bessere Antworten. Beispiel: Frage ich dich, was willst du nächste Woche auf Social Media posten, dann weißt du es nicht. Wenn ich dich aber frage, wie oft hast du letzte Woche gepostet, dann weißt du es sofort: nie, zehnmal, jeden Tag – keine Ahnung. Du, ich denke, du verstehst das Konzept.
In dem Sinne noch mal Danke. Wir sehen uns im nächsten Video oder aber in der Community.