Werk:AI mit Arnie/Installation von Ollama & download von Modellen
Um lokale LLMs laufen zu lassen, brauchen wir natürlich ein Programm. Das Programm, das wir verwenden werden, nennt sich Ollama. Wir können Ollama runterladen. Von Ollama können wir danach zusätzlich noch Modelle runterladen, und diese Modelle können wir lokal auf unserem PC laufen lassen, wenn unser PC stark genug ist. Ich zeig dir einfach mal, wie das Ganze funktioniert.
Das Erste, was du machst, ist, Ollama zu googeln, und du kannst auf den ersten Link klicken. Das hier ist der Ollama. Danach klickst du hier „Download“. Das heißt, du klickst „Download“, das Ding wird in deinen Downloads sein, z. B. für Windows. Ich habe eine Windows-Maschine, deshalb klicken wir auf „Download für Windows“. Danach kannst du natürlich nur in deine Downloads reingehen, und hier hast du jetzt natürlich dieses Programm. Sobald das runtergeladen ist, klickst du dieses Programm einmal an, und du installierst es. Das heißt, du klickst drauf, und du machst die ganz normale Installation. Du installierst dieses Fenster.
Nachdem das installiert ist, wird es verpuffen – es ist weg. Aber das ist zu erwarten, denn starten musst du Ollama über dein Terminal.
Du verwendest den Command Prompt, die Eingabeaufforderung, wie du das Ding auch immer nennen willst. Und das funktioniert auch einfach. Das heißt, sobald das installiert ist, kannst du Ollama starten über den Terminal. Und das machst du so, indem du auf diese Suche gehst, und danach gibst du ein „Eingabeaufforderung“ z. B. Diese Eingabeaufforderung, die funktioniert perfekt. Sobald du dieses Ding offen hast, müssen wir ein Modell runterladen. Das heißt, ich pack das einfach mal zur Seite, wir gehen wieder zurück auf Ollama, und wir klicken auf „Models“. Und hier kannst du jetzt sofort alle Modelle suchen, die du gerne verwenden würdest.
Wir haben hier „gemma2“. Gemma hat zwei verschiedene Modelle: ein 9-Billionen-Modell und ein 27-Billionen-Modell. Ja, diese Billionen sind Englisch, das sind Milliarden auf Deutsch. In die Parameter will ich nicht zu tief eintauchen, weil ich das schon in einigen anderen Kursen erklärt habe. Du kannst aber auch „Llama 3“ verwenden, „quen2“, „deepseek-coder“, „Phi3“ und so weiter.
Anzumerken ist, dass das die normalen Modelle sind. Diese sind feingetunt worden von den großen Unternehmen – also von Meta, von Google, von was weiß ich wem. Du kannst aber auch Modelle verwenden, die unzensiert sind. Und diese unzensierten Modelle, die findest du auch, wenn du „uncensored“ eingibst. Dann findest du viele verschiedene Modelle: „Llama 2 uncensored“, diesen „Wizard“ und so weiter.
Und die unzensierten Modelle, die ich am liebsten mag, das sind die „Dolphin“-Modelle. Wenn du „Dolphin“ eingibst, dann findest du „Dolphin Mixtral“, „Dolphin Mistral“, „Dolphin Llama 3“. Und wenn du hier draufklickst, dann siehst du auch, worum es hier geht. Das heißt, hier haben wir ein Modell, und zwar „Llama 3“. Wir können das 8-Billionen- oder das 70-Billionen-Modell verwenden. Ein Typ namens Eric Hartford hat hier das Fine-Tuning für uns gemacht. Und ich zeig dir kurz, worum es hier geht. Es geht darum, dass das Unternehmen „Cognitive Computations“ diese Modelle unzensiert gemacht hat.
Öffnen wir das in einem neuen Link, dann kannst du dir ansehen, worum es hier genau geht. Er erklärt dir, was Modelle sind. Also, Modelle sind natürlich so wie ChatGPT. Wir haben ein Llama-3-Modell. Danach sagt er uns, was unzensierte Modelle sind. Der hat diese Modelle sozusagen feingetunt, dass man fragen kann, was man will. Sie haben keinen politischen Bias und gar nichts. Du kannst wirklich alles fragen, was du willst. Du könntest sogar solche dummen Fragen stellen wie, wie du Bomben machst und so weiter. Also, die Modelle antworten auf alles.
Und du kannst dir natürlich generell noch viel mehr durchlesen. Ich will dir einfach nur sagen: Wenn du hier unzensierte Modelle verwendest, dann wird jede Frage beantwortet, die du fragst, und du wirst niemals in eine politische Richtung gedrückt. Mir ist relativ egal, welches Modell du verwendest. Willst du Dinge machen, die sehr seriöse Dinge beantworten, dann verwendest du ein normales Llama-Modell. Willst du sichergehen, dass du nicht in eine politische Richtung gedrückt wirst, dann verwendest du ein solches Dolphin-Modell.
Ich zeig dir jetzt, wie du dieses Modell runterladen kannst. Und zuvor zeig ich dir noch das da: hier verwendet man automatisch ein Q4-Modell. Das Modell ist quantifiziert. Das bedeutet einfach nur, dass es kleiner und effizienter gemacht worden ist, damit es weniger Hardware auf deinem Computer braucht. Auch hier will ich nicht zu tief in die Hardware eintauchen. Es geht uns hier mehr um die Agenten.
Ich zeig dir jetzt, wie du dieses Modell runterladen kannst. Du klickst hier drüben drauf. Du kannst wählen zwischen dem 70-Billionen-Modell – das ist höchstwahrscheinlich zu groß für die allermeisten Computer – aber das 8-Billionen-Modell sollte funktionieren. Wenn du auf „View More“ gehst, dann kannst du dir hier ansehen, welches Modell du genau verwendest. Generell würde ich dir raten, das Q4-Modell zu verwenden vom Llama 3. Und das ist dir automatisch ausgewählt. Aber wenn du ein größeres Modell verwenden willst, z. B. mit 256.000 Tokens, dann kannst du das verwenden. Wenn du stärkere Modelle verwenden willst, dann kannst du ein Q8-Modell verwenden. Das verwendest du nur, wenn du einen starken Computer hast.
Generell kannst du mit diesen ganzen Dingen ein klein wenig rumspielen. Starte aber erst mal mit diesem Standardmodell. Und dieses Standardmodell kannst du runterladen, indem du das hier kopierst. Du gehst in deinen Terminal zurück, also in die Eingabeaufforderung – habe ich schon hier drüben. Und wenn du jetzt das hier einfügst: „Ollama run Dolphin Llama 3“, dann wird sich dieses Modell runterladen. Dieses Modell habe ich schon runtergeladen. Aber falls du das noch nicht hast, dann sendest du das hier ab, und es wird danach einen kleinen Moment dauern, bis dieses Modell runtergeladen ist.
Wie gesagt, ich habe das schon runtergeladen, deshalb habe ich es hier jetzt da. Und jetzt können wir natürlich das Modell sofort testen. „Hey Llama!“ Wenn ich das jetzt eingebe, dann antwortet mir hier dieses Modell. Es antwortet hier jetzt automatisch Englisch, aber keine Sorge – diese Modelle können auch Deutsch. „Hey Llama!“ ist einfach nur – ja, das kannst du auch als Englisch sehen. Dementsprechend haben wir jetzt natürlich schon ein solches Modell laufen, lokal auf unserem Computer. Und das funktioniert richtig gut. Und es ist sogar unzensiert, zumindest dieses Dolphin-Modell.
Und jetzt sehen wir uns an, wie wir einen lokalen Server machen können. Dafür müssen wir auch nur ein paar Wörtchen hier eintippen.
Erst mal kann ich mich von dieser Konversation ausloggen, indem ich „/bye“ eingebe. Und danach sind wir ausgeloggt. Und jetzt zeige ich dir, wie man einen Server startet. Normalerweise ist der Server schon automatisch gestartet. Aber wenn er das noch nicht ist, dann klickst du das da ein: „Ollama serve“. Das schickst du ab. Und jetzt bekomme ich zumindest diesen Fehler, weil ich bereits einen Server offen habe.
Diesen Server kannst du jetzt kopieren. Dann kannst du dir ansehen, dass der Server wirklich schon läuft. Das heißt, kopiere ich das hier, kann ich in einen neuen Tab rein. Und wenn ich das hier reingebe, dann siehst du: „Ollama is running“. Dementsprechend haben wir jetzt schon einen lokalen Server laufen. Und diesen lokalen Server, den können wir jetzt verbinden mit Flowise.
In diesem Video haben wir uns angesehen, wie wir lokale LLMs verwenden können. Wir gehen auf Ollama, wir laden das Programm runter. Danach gehen wir in die Eingabeaufforderung, und wir tippen das Modell ein, das wir downloaden wollen. Nachdem es downgeloadt ist, können wir es testen. Und wir können einen lokalen Server starten. Sobald der lokale Server läuft, können wir diesen verbinden mit z. B. Flowise. Und dann können wir unsere KI-Agenten bauen, mit einem LLM, das lokal läuft.
Generell angemerkt: Du solltest ein Modell verwenden, das für dich funktioniert. Es kommt auf die Hardware von deinem Computer an. Hast du eine starke Nvidia-Grafikkarte, ist die Chance groß, dass du Q6-Modelle laufen lassen kannst. Hast du eine schwache Hardware, dann wird es relativ schwierig, anständige lokale LLMs laufen zu lassen.
Generell: Ein Q4-Modell funktioniert für die allermeisten PCs relativ gut. Q4 bedeutet einfach nur quantifiziert. Und je größer das Modell, umso schwieriger kannst du es laufen lassen. Das 70-Billionen-Modell funktioniert für die allermeisten in diesem Kurs wahrscheinlich nicht. Deshalb rate ich dir, ein Standardmodell zu verwenden, z. B. Llama 3 – das 8-Billionen-Modell im Q4-Format. Das ist ein guter Zwischenweg zwischen Performance, aber dennoch einfach laufen zu lassen.
In dem Sinne, wir sehen uns im nächsten Video, sobald wir einen lokalen KI-Agenten erstellen, der alles machen kann, was du willst. In diesem Fall wäre er sogar unzensiert. Also, wir sehen uns natürlich.