Werk:AI mit Arnie/Was ist das beste Open Source LLM
Ich werde ganz, ganz oft gefragt: „Hey Arnie, was ist das beste Open Source LLM, das ich verwenden kann? Entweder in LM Studio oder in Ollama oder natürlich in Anything LLM mit einem Server oder natürlich auch, um einen KI-Agenten zu bauen in Flowise?“ Und die Antwort, die wechselt natürlich.
Also, ich bin der Meinung, du solltest HuggingFace folgen. Also geh ganz einfach auf X. Auf X sind die eigentlich meistens mit dabei, und folge HuggingFace. HuggingFace postet immer neue Dinge, und einer der neuesten Posts kommt hier von Thomas Wolf. Er hat das geteilt, und HuggingFace hat einen Repost gemacht.
Und wir haben mittlerweile ein neues Leaderboard. Das heißt, sie haben auch für Open Source LLMs ein komplettes Leaderboard, sozusagen die „Chatbot Arena“. Du weißt ja, wir haben die insgesamte Chatbot Arena, und die insgesamte Chatbot Arena, die lässt natürlich auch die Closed Source LLMs miteinander kämpfen. Aktuell: GPT-4 Omni Platz 1, Platz 2 Cloud 3.5 Sonnet und so weiter. Und du siehst auch hier natürlich, wie die Dinge gelistet sind. Aber wir haben jetzt auch ein Leaderboard speziell für Open Source LLMs.
Hier ist der gesamte Artikel, wie sie hier die Tests machen. Das heißt, alles ist sehr, sehr stark und gut durchdacht. Ich will jetzt nicht zu tief eintauchen, aber sie haben all diese ganzen Tests, die ganz, ganz viele Leute machen. Und sie haben auch zwei verschiedene Leaderboards. Das hier ist etwas das ältere Leaderboard. Und wenn du hier runterscrollst, dann haben wir auf Platz Nummer 1: Llama 3, 70 Billionen Instruct von Meta. Auf Platz 2: Das 8x22 Billionen Instruct-Modell von Mistral Mixture. Danach: Phi 3 Medium von Microsoft.
Und diese Dinge sind aktuell ein klein wenig überholt tatsächlich. Denn mittlerweile haben wir das neue Leaderboard. Und das neue Open Source Modell Leaderboard sieht so aus: Auf Platz Nummer 1 haben wir Quen2 72 Billionen Instruct. Auf Platz 2 natürlich immer noch Llama 3 von Meta. Also ich denke, die Llama-Modelle, die sind und werden wahrscheinlich immer ganz, ganz weit vorne mit dabei bleiben. Auf Platz Nummer 3: Wieder ein Quen-Modell. Danach ein Modell wieder von Mistral, ein HuggingFace-Modell, Microsoft Phi 3, Cohere. Also das „Command R+“. Also diese Modelle, die sind natürlich alle relativ gut.
Ich wollte dir einfach nur sagen: Diese Dinge, die werden andauernd wechseln. Und ich denke, du solltest genau auf dieses Leaderboard gehen, und du solltest dich selbst umsehen, welche Dinge du hier findest.
Quen hat sich besonders ausgezeichnet durch Mathematik. Das heißt, dieses Quen2-Modell, das ist insgesamt relativ smart, weil es besonders in Mathematik sehr, sehr, sehr schlau und stark gewesen ist.
In dem Sinne: Es kommt natürlich auch drauf an, was du machen willst. Willst du zum Beispiel irgendetwas machen, wofür ein anderes Modell besser geeignet ist, dann kannst du dich umsehen. Und ansonsten: Viel Spaß mit dem Leaderboard!
Und ab jetzt weißt du immer, welches Modell aktuell zu verwenden ist. Denn das wird hier natürlich beinahe täglich wechseln. Hier gehen ganz, ganz, ganz viele User drauf, bewerten die Dinge andauernd, die Tests werden verbessert, und wir, wir haben immer die neuesten Informationen. Und du, du solltest dir das ab und zu ansehen.