Zum Inhalt springen

Werk:AI mit Arnie/Huggingface Eine Einführung

aus AufEinWort, der freien Forschung

Open-Source LLMs

📽️ 🎓
◀ Kurs AI mit Arnie (KI Revolution) LLMs meistern
2 Huggingface Eine Einführung (5:36)
Huggingface Eine Einführung
▲ Was sind Open Source LLMs und welche gibt es
▶ Huggingface Eine Einführung
▼ HuggingChat: Ein Interface für Open Source LLMs

Wenn wir über Open Source sprechen, kommen wir über eine Webseite nicht die Runde. Wir kommen einfach nicht vorbei. Das Ding nennt sich Hugging Face, und Hugging Face bietet uns viele, viele verschiedene Möglichkeiten. Hugging Face bietet uns mit dem Hugging Chat ein Interface, das wir verwenden können. Hugging Face bietet uns auch viele, viele, viele verschiedene Modelle, die man zum Beispiel runterladen kann. Und Hugging Face bietet sogar ein klein wenig GPU-Power, das wir verwenden können, um Modelle zu trainieren, und auch Speicherplatz, um Modelle zu speichern. Wir könnten zum Beispiel sogar Modelle selbst speichern, danach auf Hugging Face hochladen und Open Source machen. Das heißt, wir könnten anderen Leuten Zugriff zu verschiedensten Modellen geben. Das würde klappen mit LLMs, aber auch mit Diffusion-Modellen.

Lassen wir uns erstmal ganz, ganz kurz verzaubern bei dieser wunderhübschen Webseite. Du brauchst einfach nur huggingface.com eingeben oder einfach auf Google „Huggingface“, und du wirst auf dieser Webseite landen. Wenn du noch kein Konto hast, solltest du eins machen. Du kannst dich einfach nur mit Google verbinden. Wenn du hier oben draufklickst, dann landest du natürlich hier auf diesem Interface, und hier findest du ganz, ganz viele verschiedene Dinge. Du siehst, ich bin hier bereits angemeldet mit diesem Namen hier. Wir haben ein Profil, Inbox, Settings und so weiter.

Du kannst auch auf Pro updaten, wenn du magst. Du bekommst verschiedene Research und einen Haufen, Haufen cooler Artikel. „Follow your favorite AI creators“ – das heißt, das sind die Dinge, von denen ich viele Sachen gelesen habe. Den könnte man natürlich auch folgen. Es gibt aber noch viel, viel, viel mehr hier, denn wir können hier oben nach alles suchen, was wir eben suchen wollen. Das ist also die Suchbar. Danach können wir auf Models klicken, und hier finden wir wahnsinnig viele verschiedene Modelle.

670.000 verschiedene Modelle! Man findet wirklich alles hier, zum Beispiel Lama 3. Das ist natürlich ein ganz, ganz bekanntes Modell, und da… hier könnten wir wirklich das gesamte Modell runterladen. Also, wir könnten hier das gesamte 8-Billionen-Instruct-Modell von Lama 3 runterladen. Das wurde bereits 2,27 Millionen Mal runtergeladen.

Du findest hier also wahnsinnig viele verschiedene KI-Modelle, und zwar nicht nur LLMs, sondern auch Diffusion-Modelle und vieles, vieles mehr. Wenn du auf „Datasets“ gehst, dann findest du natürlich auch ganz, ganz viele Datasets. Du kannst auch auf „Spaces“ gehen. Hier findest du die ganzen Hugging Face Spaces, und hier kannst du ganz einfach Leute finden, die ähnliche Dinge machen wie du. Du kannst dir hier ganz, ganz viele verschiedene Sachen ansehen.

Außerdem kannst du auf „Posts“ gehen, und du kannst dir auch Posts durchlesen. Ganz, ganz oft findet man auf Hugging Face richtig super gute Artikel. Wir haben uns ja schon ein oder zwei Artikel auf Hugging Face in diesem Kurs hier angesehen.

Du kannst auch auf „Docs“ gehen, wenn du verschiedene Dokumente dir ansehen willst, und auf „Pricing“, wenn du natürlich einen Pro-Account haben willst. Ich denke aber, für die aller, allermeisten ist der Gratis-Account hier wirklich genug. Danach kannst du auch hier oben draufklicken, und du bekommst viele, viele weitere Möglichkeiten. Und auch hier ist dein Name. Du kannst sogar neue Datasets selbst erstellen. Wenn du zum Beispiel auf „Settings“ klickst, dann befindest du dich hier natürlich in deinem Account. Du kannst die Hugging Face Tokens machen – das sehen wir später noch an –, also verschiedene Access Tokens. Das sind hier die API Keys. Und du kannst dir natürlich auch deine eigenen Modelle ansehen. Hier sind zum Beispiel einige KI-Modelle, die ich trainiert habe.

Also, das ist Hugging Face. Übrigens, ich habe ChatGPT gefragt nach einer Zusammenfassung. ChatGPT fasst Hugging Face so zusammen: Hugging Face ist ein Unternehmen, das sich auf maschinelles Lernen und natürliche Sprachverarbeitung spezialisiert hat. Hier sind die wichtigsten Punkte: Fokus auf maschinelles Lernen und NLP, natürlich. Hauptprodukt bietet die Hugging Face Transformer-Bibliothek, die verschiedene vortrainierte Modelle für NLP-Aufgaben bereitstellt. Enthält Modelle wie BERT, GPT-3, T5 und viele mehr. Anwendungsbeispiele zur Textgenerierung, Textklassifizierung, Übersetzung, Sentiment-Analyse und andere NLP-Aufgaben. Alles ist Open Source. Also, die Transformer-Bibliothek ist Open Source und wird aktiv von der Gemeinschaft weiterentwickelt.

Das ist das Coole: Open Source-Dinge werden natürlich immer weiterentwickelt. Eine große Community von Entwicklern ist hier da, bietet einfache Integrationen. Hugging Face hat natürlich eine Plattform zum Teilen und Verwalten der Modelle und Datasets, und man kann sich natürlich auch gegenseitig unterstützen.

Also, in diesem Video hast du Hugging Face kennengelernt. Hugging Face ist eine Webseite, die man kennen sollte, wenn man irgendwas macht, was in Richtung Open Source geht. Daneben sollte man noch GitHub und Google Colab kennen. Das sind die drei wichtigsten Plattformen, die man braucht, wenn man Open Source-Dinge macht, und ich denke, die sollte man auch generell kennen. Das war also die Standardseite von Hugging Face. Du hast gesehen, hier kann man Dinge runterladen. Das werden wir später natürlich auch noch machen. Aber ich will dir erstmal noch was Cooles zeigen, denn Hugging Face hat auch den sogenannten Hugging Chat. Und den können wir sofort verwenden, um instant Open Source LLMs laufen zu lassen, ohne irgendwas runterladen zu müssen.