Werk:AI mit Arnie/Was sind Open Source LLMs und welche gibt es
Lasst uns über Open Source LLMs sprechen. Erstmal: Was sind Open Source LLMs? Natürlich, das weißt du mittlerweile schon. Wir haben die Closed-Source-LLMs uns schon angesehen. Das sind ganz einfach LLMs, die tatsächlich von einem Unternehmen kommen, die den Code und die Parameter nicht öffentlich zur Verfügung stellt. Die Open-Source-LLMs sind hier anders. Meistens kann man hier die gesamten Files runterladen.
Du weißt, wir haben ja meistens nur zwei Files: ein File mit Code und ein File mit den Parametern. Diese Dinge können wir runterladen, und wir können diese Dinge entweder lokal laufen lassen oder auch über ein Cloud-Interface. Und das können wir halt eben auch alles gratis machen. Viele dieser Modelle sind nicht zensiert. Wir könnten sie theoretisch selbst komplett feintunen. Das würde teilweise so um die 1.000 Dollar kosten. Ich weiß nicht, ob es das jemandem wert ist. Man könnte sich hier z. B. gute Grafikkarten ausleihen, auf Hugging Face und so weiter. Aber generell musst du einfach nur wissen: Die Open-Source-Modelle, das sind ganz einfach Modelle, die von Firmen kommen, die uns alles zur Verfügung geben.
Einige der bekanntesten sind hier natürlich LLaMA von Meta, also die gesamte LLaMA-Serie. Mistral – das ist auch ein richtig starkes Unternehmen aus Frankreich – gibt uns viele Open-Source-Modelle. Groq von xAI ist auch eines der bekanntesten Open-Source-Modelle. Und wir haben natürlich noch viele, viele weitere. Wenn du z. B. in die Chatbot-Arena reingehst, dann findest du ganz, ganz viele Modelle. Hier oben sind eigentlich eher die Closed-Source-LLMs, also hier z. B. bis in die Top 4, Top 5 – das sind alles Closed-Source-LLMs. Danach bekommen wir aber schon sofort Open-Source-LLMs, z. B. LLaMA 3 70 Billionen. Sobald wir das LLaMA 3 400 Billionen Modell da haben, nehme ich an, das ist dann relativ weit oben wieder.
Wir bekommen auch andere Dinge, wie z. B. Command R Plus – das hier ist auch ein recht starkes Modell. Danach haben wir hier unten natürlich weitere LLaMA-Modelle, wir haben Mistral-Modelle und viele, viele mehr. Generell gesagt: Wir haben ganz, ganz, ganz viele Open-Source-Modelle. Und in dieser Sektion sehen wir uns an, wie wir die Dinger laufen lassen können.
Damit wir hier tatsächlich Zugriff bekommen, brauchen wir einige Webseiten. Wir sollten einige Dinge kennen. Wir sollten Hugging Face kennenlernen, um natürlich auch entweder deren Interface zu verwenden oder die Modelle runterzuladen. Wir sollten danach natürlich auch GitHub kennenlernen, wenn wir uns irgendetwas runterladen wollen, z. B. einen Code. Wir sollten Google Colab kennenlernen, wenn wir irgendwo Code laufen lassen müssen. Dazu kann es immer mal wieder kommen. Und wir sollten auch Tools kennenlernen wie LM Studio, damit wir diese Dinge auch lokal laufen lassen können.
So sind wir danach tatsächlich im Stande, lokale LLMs laufen zu lassen. Danach ist man zu 100 % sicher mit dem Datenschutz, und zusätzlich kann man auch noch die Modelle komplett unzensiert verwenden. Also generell: Open-Source-Modelle sind cool. Ich denke, du solltest dir diese Sektion absolut ansehen.