LLMs verbessern mit Prompts, RAG, Customization

Über diese Seite Werk

Gründet auf dem Werk „KI-Revolution“ Arnold Oberleiter
25. Oktober 2024 n. Chr. hrsg.
AI mit Arnie
LLMs meistern
Weitere Fähigkeiten von LLMs
Überarbeitung Liste Werke von Klaus Feldmann
Abschrift
29. November 2024 n. Chr. erst.
11:58 Uhr Ausgabe 00
Ausgabe 00
veröffentlicht
geprüft
↑ Selbstverbesserung nach dem Vorbild von AlphaGo
→ LLMs verbessern mit Prompts, RAG, Customization
↓ LLMs als neues Betriebssystem?
LLMs verbessern mit Prompts, RAG, Customization.mp4 LLMs verbessern mit Prompts, RAG, Customization.pages

🎓 LLMs verbessern mit Prompts, RAG, Customization

📽️ 6WEITE~1 (4:18)

Es gibt eine weitere Methode, wie wir LLMs verbessern können, wie wir LLMs spezialisieren können für einen Task. Und das funktioniert jetzt schon. Bzw. eigentlich gibt es zwei, und beide davon sehen wir uns in diesem Kurs natürlich danach im Detail an.

Wir können diese Chatbots spezialisieren auf etwas durch entweder Prompt Engineering, das heißt, indem wir die richtigen Anfragen geben. Wir haben bereits diesen Slide vom "Tree of Thoughts" gesehen. Das ist tatsächlich auch eine Prompting-Technik, die man verwenden kann, um das LLM zu verbessern. Aber in diesem Video will ich erstmal über RAG sprechen: Retrieval-Augmented Generation.

RAG funktioniert relativ gut. Wir haben hier einen Artikel von Databricks. Databricks ist ein cooles Unternehmen. Man kann sich den ganzen Artikel ansehen. Ich will das einfach machen – ich scrolle mal runter zu diesem Bild. Es geht ganz einfach so, dass wir in das LLM RAW Files hochladen, bzw. einfach ein Dataset hochladen, Dokumente hochladen. Das können PDFs sein, das können Word-Artikel sein, können meinetwegen sogar Excel-Sheets sein oder sonst was. Und danach geht das LLM her und nimmt das sozusagen als zweites Gedächtnis. Es kann von diesen Dingen rauslesen. Und so kann man ganz einfach dem LLM mehr Kontext geben. Und um mehr Kontext geht es tatsächlich, wenn man die Dinge besser haben will.

Wie funktioniert das Ganze? Wir haben hier mehrere Möglichkeiten. Um ehrlich zu sein – eigentlich sind es sogar drei:

Eigentlich ist es das Prompt Engineering – das sehen wir uns später an.
Danach dieses Uploaden von Files. Das funktioniert dann eigentlich so wie die Internetsuche. Du hast schon gesehen, ChatGPT kann diese Tools verwenden, und anstatt dass er das Internet durchsucht, durchsucht er dann einfach unsere hochgeladenen Sachen. Das nennt sich dann RAG.
Und das dritte sind noch sowas wie Custom Instructions.

Wie würde das in der Praxis aussehen? Man würde einfach in GPT reingehen, und man könnte hier z. B., wenn wir in einem leeren Chat sind, wir klicken mal rechts auf meinen Namen, dann siehst du hier "ChatGPT individuell konfigurieren". Wenn wir hier drauf klicken, dann können wir ChatGPT einmal hier natürlich schon Informationen geben. Das sehen wir uns beim Prompt Engineering noch genau an. Aber wir können hier bei "Wie soll ChatGPT reagieren?" ganz einfach eingeben, wie wir … wie hier die Antworten sein sollen. Soll ChatGPT formell antworten oder informell oder sonst was – das können wir hier ganz einfach angeben.

Das Zweite sind diese GPTs. Wenn wir hier auf "GPTs erkunden" klicken und auf "Erstellen" gehen, dann können wir natürlich selbst solche GPTs erstellen. Das sehen wir uns auch noch genauer an. Das Ding ist aber, dass wir hier das Wissen haben. Und bei diesem Wissen können wir Dateien hochladen. Wenn wir hier eine PDF hochladen würden, die spezialisiert ist auf Angeln in Seewasser z. B., dann würde ChatGPT danach hergehen, wenn wir ChatGPT was fragen, und diese Daten einfach durchsuchen.

Das funktioniert auch über die API. Wenn du im Playground bist, dann können wir ganz einfach auf diesen Assistance natürlich hier auf "Plus" klicken, und wir können hier Files raufladen. Und diese Files können wir danach überall verwenden, wenn wir z. B. selbst eine App bauen.

All das sehen wir uns natürlich im Detail an, denn hier geht es mir erstmal darum, dass du wirklich tiefgründig verstehst, wie all das aufgebaut ist.

Also, in diesem Video hast du gelernt, dass wir eigentlich drei verschiedene Möglichkeiten haben, wie wir unseren kleinen Chatbot zu einem Experten in einem gewissen Ding machen können:

Einmal die Custom Instructions – das ist ein kleiner Prompt, den wir eintippen können. Wir können ChatGPT sagen, wie er reagiert.

Dann können wir Files hochladen – hier verwenden wir die RAG-Technologie. Das heißt, die Files werden durchsucht, ähnlich wie das Internet durchsucht wird.

Und wir können natürlich ganz normal unsere Prompts so schreiben und auch da schon Kontext geben, sodass ChatGPT in Zukunft einfach anders reagiert.

Und all diese Dinge werden wir uns natürlich Schritt für Schritt über die nächsten Lektionen ansehen. In dem Sinne: So kann man ChatGPT auch jetzt schon verbessern, ohne dass wir jahrelang warten müssen, bis wir bessere Outputs bekommen.