Werk:AI mit Arnie/Vor- und Nachteile von Open-Source LLMs
- Open Source LLMs
- KI Akenten
- eingerückt gekürzt
In diesem Video sprechen wir über ein paar Vor- und Nachteile von Open-Source-LLMs. Und ich starte erstmal mit den Nachteilen, denn wir haben natürlich auch Nachteile.
Also, erstmal: Man kann diese Modelle laufen lassen, und zwar lokal auf dem Computer. Generell ist das ein riesen Vorteil, aber auch eventuell ein Nachteil, wenn dein Computer nicht stark genug ist.
- Diesen Nachteil kann man umgehen, indem man sich GPU-Power mietet. Das werden wir uns später noch ansehen.
Und man kann natürlich auch diese in der Cloud laufen lassen, wobei das dann natürlich etwas am Konzept vorbeigeht, da die KI nicht mehr wirklich lokal ist.
Das sind hier so die Grauzonen, also weder riesen Vorteil noch riesen Nachteil. Man braucht halt die nötige Technik dafür.
Aber der wirkliche Nachteil, zumindest meiner Meinung nach, ist, dass aktuell die Closed-Source-LLMs etwas besser sind.
Wenn wir auf diese Chatbot-Arena gehen, dann können wir hier sortieren, was die stärksten LLMs sind. Gehen wir hier auf "Overall", dann sehen wir z. B. GPT-4 Omni auf Platz 1. Danach kommt Gemini, danach wieder GPT-4 Turbo, Claude 3, Opus. Das heißt, wir sind dominiert von OpenAI, Google und Anthropic, den Closed-Source-LLMs.
Und danach, ab Platz 9, kommen aber schon die Open-Source-LLMs, z. B. Yi-Larg-, das Preview-Modell, oder Nemotron von Nvidia. Das ist ein riesen riesengroßes Open-Source-LLM. Danach kommt Llama 3 von Meta. Llama 3 sollte übrigens relativ bald noch ein stärkeres Modell bringen. Wir werden relativ viel mit Llama 3 arbeiten in diesem Kurs, da Llama ein richtig starkes Modell ist. Und ich nehme an, die neue Llama-Version wird auch hier wieder weiter hochkommen.
Ja, Das heißt, diese Closed-Source-LLMs sind etwas besser, aber nicht unglaublich viel besser. Aber es ist dennoch natürlich etwas, was man im Hinterkopf haben muss. Closed-Source-LLMs sind aktuell etwas stärker.
Jetzt aber zu den Vorteilen von Open Source LLMs:
Datenschutz. Keine Daten verlassen das lokale System. Kein Risiko, Daten an Dritte zu senden. Ja, wenn du die Dinge lokal laufen lässt, dann kannst du dir halt zu 100 % sicher sein, dass kein anderes Unternehmen jemals deine Daten bekommen wird. Hast du z. B. heikle Kundendaten, dann kannst du die mit der lokalen KI wunderbar aufarbeiten. Du kannst bauen, was du möchtest, und deine Daten sind sicher.
Kostensersparnis, natürlich. Du brauchst keine Cloud-Kosten bezahlen, du brauchst kein Abo in ChatGPT, in Gemini, in Claude oder wo auch immer. Und natürlich musst du auch keine API-Kosten bezahlen – dementsprechend.
Sie sind sehr, sehr stark anpassbar. Man kann sie fine-tunen, umbauen, wie man will, sogar vorgetunte Modelle finden und vieles mehr.
Du brauchst noch nicht mal Internet, um die Modelle zu verwenden.
Die Geschwindigkeit liegt alleine an deiner Hardware. Das heißt, du brauchst keine Latency wegen schlechtem Internet in Kauf nehmen oder wegen Netzwerküberlastungen.
Sie sind natürlich sehr flexibel.
Du hast natürlich immer die langfristige Kontrolle und bist nicht abhängig von externen Anbietern.
Und natürlich: Sie haben keinen Bias.
Es gibt Modelle, die komplett ohne Bias sind. Diese Modelle kannst du Dinge fragen, die politisch unkorrekt sind. Diese Dinge sind nicht feingetunt, dich in eine gewisse politische Richtung zu drücken. Diese Modelle sind halt einfach komplett unzensiert und haben keinen Bias.
Also, Open-Source-Modelle, im Groben zusammengefasst: Aktuell noch nicht ganz auf dem Stand von den Closed-Source-LLMs. Dennoch richtig gut. Du kannst sie lokal verwenden, deine Daten sind sicher, sie sind unzensiert und haben keinen Bias.
Das sind schon riesengroße Vorteile. Und ich denke, man sollte sich auch mit Open Source LLMs auskennen, da sie eventuell richtig, richtig praktisch sein können.
Wir sehen uns natürlich im nächsten Video.