Werk:AI mit Arnie/OpenAI Playground - Billing Account & Temperatur

🎓 OpenAI Playground: Billing Account & Temperatur

📽️ 4 OpenAI Playground Funktionen für Entwickler, Billing Account & Temperatur (17:38)

Willkommen im OpenAI Playground. In diesem Video werden wir den Playground aufschlüsseln. Hier kannst du die neuesten OpenAI-Modelle verwenden, und du kannst wirklich nur bezahlen, was du auch eintippst. Das heißt, du kannst die neuesten Dinge verwenden, brauchst kein Abo, brauchst kein gar nichts. Alles, was du brauchst, ist ein Billing Account, und bei diesem Billing Account wird dir danach pro Token abgebucht – normalerweise ein einziges Mal im Monat. Deshalb sehen wir uns in diesem Video alles an, was du zum OpenAI Playground wissen musst.

In diesem Playground kannst du ganz normal ChatGPT verwenden, sowie in deinem Standard-ChatGPT-Interface. Wenn du Apps bauen willst, funktioniert das auch ähnlich – da funktioniert das Ganze mit API-Keys. Das sehen wir uns in einer späteren Sektion an. Also erstmal: Willkommen im Playground.

Das Ding sieht so aus, wenn du auf OpenAI Playground gehst, beziehungsweise auf platform.openai.com. Hier auf der linken Seite siehst du "Personal" und "Test". Das ist ganz einfach nur das Projekt hier. Aber wenn du dich noch nie hier eingeloggt hast, dann musst du dich erstmal anmelden, zum Beispiel mit Google. Und wenn du mit diesem Ding arbeiten willst, dann brauchst du natürlich einen Billing Account.

Ich will dich erstmal auf der linken Seite durch die Dinge hier durchführen. Das heißt, du hast ganz, ganz unten die API Keys. Einen API-Key kannst du machen, wenn du hier tatsächlich eine App bauen willst. Das werden wir uns später ansehen. Wenn du auf Usage klickst, dann siehst du die Dinge, die du hier verbraucht hast in diesem Monat. Das Ganze sieht in etwa so aus. Daneben hast du Storage, und bei Storage siehst du die Files, die Vector Stores und so weiter.

Ich habe hier tatsächlich diesen Account extra neu angelegt, noch mal neu, damit wir hier zusammen bei Null starten können. Danach haben wir hier die „Patches“. Bei den Patches sind natürlich die Patches enthalten. Darüber „Fine-Tuning“. Hier sehen wir natürlich die Modelle, die Erfolg hatten, die Modelle, die nicht Erfolg hatten. Und alles, wie gesagt, das Ding hier ist für mich neu, dieser Account, also haben wir auch hier keine fein-getunten Modelle mit drinnen. Mit den Assistenten habe ich hier schon auch in diesem Account einige Male gespielt. Also können wir auch auf den Assistenten klicken, und du siehst, hier haben wir einige Assistenten, die wir danach natürlich auch verwenden können.

Wenn wir auf „Completions“ klicken, dann können wir das Modell verwenden – eigentlich fast genauso wie in ChatGPT. Danach haben wir hier die Assistenten. Das heißt, hier können wir die Assistenten machen. Und wenn wir auf „Chat“ gehen, können wir eben ganz, ganz normal chatten. Das weißt du natürlich. Hier oben siehst du "Personal" und "Test" – also, was ist das Projekt? Und du kannst auch neue Projekte machen und ein Overview über die gesamte Organisation ansehen.

Hier hast du "Dashboard", "Docs" und "API Reference". Klickst du auf Docs, dann siehst du natürlich die Dokumente, die wir vorhin schon gesehen haben. Und bei API Reference kannst du dir ansehen, wie man die OpenAI-Modelle später natürlich in eine App reinholt, zum Beispiel `pip install openai`. Das würde natürlich für die Python-Umgebung hier funktionieren.

Wenn du auf "Settings" gehst, dann bekommst du hier natürlich die ganzen Einstellungen. Hier hast du die generellen Einstellungen. Die würde ich dir empfehlen, so zu lassen, wie sie sind. Du kannst auf "Members" gehen – wer ist alles der Member? Du kannst, wenn du eine Firma hast, hier mehrere Members hinzufügen. Und was ganz, ganz, ganz wichtig ist, ist das da: "Billing". Denn hier bei Billing musst du einen Billing Account anlegen. Das heißt, bei Overview musst du hier "Payment Methods" klicken, und bei Payment Methods muss deine Kreditkarte mit reingehen. Sonst funktioniert das Ganze tatsächlich nicht. Also Kreditkarte hinterlegen, "Add Payment Methods". Für alle, die keine Kreditkarte haben: Man kann sich eventuell auch eine virtuelle Kreditkarte anlegen. Aber generell – also die Amerikaner arbeiten mit Kreditkarte.

Du kannst natürlich die "Billing History" dir ansehen und die Referenzen. Danach haben wir hier drunter die "Limits", und hier kannst du dir die Limits einstellen. Das heißt, wenn du aus Versehen Angst hast, dass all dein Geld verbrannt wird, dann würde ich dir auf alle Fälle empfehlen, Limits zu setzen. Du kannst hier runtergehen. Du kannst zum Beispiel ein monatliches Budget setzen. Automatisch ist das, glaube ich, auf 5 $ hier, beziehungsweise in diesem Account immer noch auf 5 $. Und du kannst dir auch einen Betrag einstellen, wann du eine Mail bekommst – meinetwegen bei 2 $, bei 3 $, bei was auch immer. Und das waren hier tatsächlich eigentlich auch schon die Limits.

Danach hast du natürlich noch diese Projekte. Das heißt, du kannst ständig neue Projekte erstellen, Members und Limits natürlich. Das ist hier sozusagen die generelle Übersicht. Also, ganz, ganz wichtig: Du musst unbedingt auf Billing gehen, und du musst einen Billing Account machen. Eventuell auch etwas Geld hier aufladen, denn danach kannst du hier ganz einfach arbeiten – ohne Probleme.

Jetzt will ich dir aber zeigen, wie das funktioniert. Wir gehen noch mal auf "Dashboard", und hier fällt dir vielleicht was auf: Das Interface, das sieht etwas anders aus als in ChatGPT, aber dennoch können wir so gut wie genau gleich arbeiten. Wir haben hier im linken Eck das Modell, das wir verwenden wollen. GPT-4 ist natürlich das beste Modell, das Neueste. Ich habe hier auch zwei, drei fein-getunte Modelle, die ich selbst feingetunt habe. Die habe ich hochgeladen – damals – aus meinen Projekten. Die sind aktuell raus, aber du siehst, ich habe sie immer noch hier. Wir sehen uns danach an, wie das Fine-Tuning funktioniert.

Wir gehen einfach mal auf GPT-4o, und jetzt siehst du hier, dass wir viele, viele andere Einstellungen haben, die wir in ChatGPT tatsächlich nicht haben.

Wir können hier bei „Presets"* einfach die Beispiele ansehen – also wie verwendet man hier tatsächlich die Prompts in OpenAI. Wir können "Save" klicken, um das Ganze natürlich zu speichern. Wir können "Share Preset" klicken, wenn wir diesen Chat mit anderen Leuten teilen wollen. Wir können "View History" klicken, und wir können "View Code" klicken. Generell, du kannst du natürlich reintippen, was du magst. Hier unten ist die "User Message". Das heißt, ich frage einfach mal was: "Was ist 4 x 19?" und wir klicken "Run", und danach sollten wir unsere Antwort bekommen: 4 x 19 = 76. Ich gehe davon aus, dass das stimmt.

* im Audio 5:49 haben wir können hier bei presents

Danach haben wir jetzt die Möglichkeit, natürlich den Code uns anzusehen. Das heißt, was hat das Ding hier gemacht? Wir können uns das Ganze natürlich sofort alles ansehen. Wir können aber auch andere Fragen stellen. "Erzähle eine Geschichte über eine Schildkröte, die einen Formel-1-Wagen fährt." Wir klicken jetzt "Run", und danach bekommen wir hier jetzt natürlich auch unsere Geschichte. Und wir können natürlich wieder "View Code" klicken und können uns ansehen, wie das Ganze hier tatsächlich ausgeführt wurde.

Das heißt, hier sehen wir den ganzen Code, wie all das funktioniert hat. Und ich will dir was Cooles zeigen: Natürlich, du kannst dir die History ansehen, teilen und so weiter, aber du siehst das da – die "Temperatur". Das ist bis jetzt komplett neu. Die Temperatur, die hast du höchstwahrscheinlich noch nie gesehen. Und ich will dir kurz erklären, was die Temperatur ist.

Du weißt natürlich noch, wie ein neuronales Netz funktioniert, wie eine Vector Database funktioniert und wie das LLM dank den Token die richtigen Antworten findet. Wenn wir hier eine geringe Temperatur verwenden, dann hält sich das Modell ganz, ganz, ganz nahe an ähnliche Token. Wenn ich hier zum Beispiel fragen würde: "Gib mir den Code von Snake," und die Temperatur ist ganz unten, dann werden wir Token als Output bekommen, die den Input-Token wahnsinnig, wahnsinnig ähnlich sind. So sind wir akkurater und genauer.

Wenn wir tatsächlich die Temperatur erhöhen, dann weiß das Modell, dass es weniger genau sein muss, und es nimmt hier Token, die in ähnlichen Gruppen sind, jedoch nicht ganz, ganz genau gleich aussehen. Das heißt, das Modell wird ganz einfach kreativer. So kannst du dir das ausdenken: Das Modell hat mehr Spielraum, Wörter dazuzurechnen, Wörter dazuzudenken, weil es nicht bei genau den gleichen Token suchen muss. Jetzt kommt es darauf an, wofür du das Modell verwenden willst.

Und du weißt es höchstwahrscheinlich laut den Beispielen auch hier schon: Eine Anfrage mit "Was ist 4 x 19?" – dafür könnte man natürlich eine niedrigere Temperatur verwenden. Und eine kreative Geschichte mit einer Schildkröte, die Formel-1-Wagen fährt – na ja, dafür könnte man die Temperatur hochziehen.

Wenn du hier auf die Temperatur draufgehst, dann siehst du auch schon, wie das funktioniert. Oder wie das Funktioniert. Je näher die Temperatur Richtung Null, umso mehr repetitiv, also umso mehr wiederholt sich das Modell. Und je höher, umso kreativer. Als pauschale Antwort könnte ich dir sagen: Dinge zwischen 0,85 und 1,2 funktionieren noch. Wenn wir die Dinge zu niedrig einstellen, zum Beispiel die Temperatur komplett auf 0,02, dann bekommen wir scheußliche Antworten.

"Erzähle eine Geschichte von einem Fuchs." Wir klicken hier "Run", und wir bekommen hier eine Geschichte. Irgendwie ist die Geschichte auch okay, aber die Kreativität der Geschichte ist natürlich schrecklich: "Es war einmal ein schlauer Fuchs namens Felix, der in einem dichten, grünen Wald lebte. Felix war bekannt für seine Intelligenz und seine Fähigkeiten, Probleme zu..." Ich muss gestehen, das ist noch einigermaßen okay. Aber die Kreativität der Modelle, die wird ganz einfach nach unten gesetzt. Erhöhen wir das, dann werden die Geschichten viel, viel, viel kreativer. Das Modell hat einfach mehr Platz, um selbst zu denken.

Und hier siehst du auch schon, was passiert, wenn wir die Kreativität zu hoch setzen. Es werden hier Dinge reingeholt, die eventuell einfach nicht hingehören. Noch ein Test hier mit dem Ding auf komplett 1. Und vielleicht fragst du dich auch, warum die Antworten so komisch sind und immer mittendrin aufhören. Das werde ich dir natürlich auch gleich zeigen.

Also, die Antwort hört wieder mittendrin auf. Sieh dir mal an, warum: Wir haben hier die "Maximum Tokens". Das heißt, ich kann hier festlegen, wie viele Token ich maximal als Output bekomme. Ich kann hier hochgehen bis 4000 Tokens. Das heißt, pro Prompt werden mir hier tatsächlich 4000 Token ausgespuckt. Wenn ich das Token-Maximum hier hochziehe – vorhin hatte ich es auf 250 –, und dementsprechend bekomme ich auch nur Antworten, die 250 Tokens lang sind. Das ist hier wichtig.

Danach können wir "Top-P" anpassen, und natürlich sagt uns hier OpenAI wieder, was das ist. Hier geht es auch einfach um die Gewichte vom neuronalen Netz. Ich würde dir empfehlen, das auch auf 1 zu lassen. Wenn du willst, dass sich das Modell noch weniger wiederholt, kannst du auch das da erhöhen: die "Frequency Penalty". Das ist auch ganz wichtig. So wird ganz einfach hier berücksichtigt, dass neue Wörter, die reinkommen, nicht automatisch dazu führen, dass noch mehr ähnliche Wörter reinkommen. Und danach noch die "Presence Penalty". Wenn man das hier hochfährt, dann wird das Modell auch öfter über neue Dinge sprechen, da die alten Token berücksichtigt werden und diese nicht mehr mit eingerechnet werden.

Das heißt, du kannst hier einstellen, wie sich dieses Modell tatsächlich verhält. Du kannst sogar eine "Stop Sequence" mit einbauen. Meinetwegen, wenn du ein Wort haben willst oder einen Satz, der den Output stoppt, dann kannst du den hier reintippen.

Etwas vom Wichtigsten und auch Coolsten ist das da: "API in Playground requests will not be used to train our models." Das heißt, die Datensicherheit in der API, die ist hier ganz, ganz hoch. Hier kannst du reintippen, was du willst. Hier wird daran später nicht trainiert. Das ist wichtig, und später bei Datenschutz und Sicherheit sehen wir uns das auch natürlich noch mal an. Es wird nicht trainiert an deinen Texten.

Wir können auch "Compare" klicken. Wenn wir auf Compare klicken, dann können wir zwei Modelle miteinander vergleichen, zum Beispiel GPT-4o mit – meinetwegen – 3.5 Turbo. Und wir können danach ganz einfach tippen, beziehungsweise uns sofort schon ansehen, welche Antwort wir hier tatsächlich bekommen. Somit kann man im Nullkommanichts die Modelle miteinander vergleichen, wenn man mag. Klickt man hier wieder drauf, dann ist der Vergleich natürlich weg. Das kannst du vergleichen mit jedem Modell, das du willst – meinetwegen GPT-4 – und du kannst dir ganz einfach danach "Run" klicken und die Vergleiche selbst ansehen.

Das da ist also der normale Chat. Neben dem normalen Chat hast du den Assistenten, und der Assistent ist ganz, ganz wichtig. Den solltest du kennen. Den gibt es natürlich auch über die API. Du kannst hier mehr lernen natürlich, aber das Coolste ist, dass du dir hier auch diese Assistenten machen kannst. Du klickst zum Beispiel "Create New", und ich glaube, du kennst das Interface. Das funktioniert ganz genauso wie GPTs.

Du könntest zum Beispiel so was machen: Also, "Test Instructions", auch wieder "Test". Du weißt natürlich, was das alles ist. Hier gibst du einen Namen, hier unten gibst dem die "Instructions", das heißt den System-Prompt. Danach kannst du dir das Modell auswählen, GPT-4o zum Beispiel. Danach kannst du Tools mit aktivieren, zum Beispiel "File Search" und den "Code Interpreter", und auch "Function Calling". Das kannst du alles hier mit einbauen. Wenn du File Search mit einbaust, dann kannst du auch Files hochladen. Also, das ist genauso wie GPTs.

Das sind diese Assistenten über die API. Wenn du irgendwo nicht genau weißt, was wie wo funktioniert, dann gehst du mit der Maus über dieses Rufezeichen, und du kannst dir das alles ansehen. Du kennst natürlich schon einen Code Interpreter, du kennst Search File’s. Das heißt, hier kannst du genau die Dinge machen wie eben im ChatGPT-Interface, wenn du dir einen GPT baust. Wir haben schon ganz, ganz tief und genau gesprochen, wie wir GPTs bauen. Dementsprechend werden wir hier jetzt kein komplettes Beispiel machen mit hochgeladenen Files und so weiter, weil wir das später noch machen, sobald wir unsere kleinen Apps entwerfen.

Danach: Das "Response Format". Soll es ein JSON sein oder nicht? Die Temperatur danach, wie sehr sich das Ding sonst noch wiederholt. Du kannst hier also alles sofort einstellen, und danach kannst du das Ding natürlich auch ausführen. Du siehst, wir haben den Code Interpreter mit integriert. Dementsprechend könnten wir den Code Interpreter hier auch jetzt sofort verwenden. Und du siehst auch hier bei der Büroklammer können Dinge und Dateien hochladen und den Code Interpreter nehmen, um das Zeug zu analysieren. Und wir können auch Bilder hochladen und Vision über die API verwenden.

Ich will mal was Kurzes zeigen, denn du kannst dir hier auch die Logs ansehen. "Mach einen Chart: Ein Business macht 100.000 Gewinn, und der Gewinn wächst jährlich für 10 %. Wie viel macht es in 10 Jahren? Zeichne X- und Y-Achse." Hier könnten wir die Kreativität beziehungsweise die Temperatur auch etwas runterstellen, und wir klicken einfach mal. Und jetzt sollte eigentlich auch der Code Interpreter automatisch getriggert werden. Wir sehen das schon: Code Interpreter wird hier automatisch verwendet. Hier wird der Code diesmal auch ausgetippt. Das heißt, wir haben den Code Interpreter natürlich hier mit eingebaut.

Und wir haben natürlich unser GPT-4o Modell hier laufen. Lustigerweise habe ich ein, zwei Fehlerchen bekommen. Ich habe zwar das Ergebnis, aber das Bild wird mir jetzt gerade hier nicht angezeigt. Ich will das aber ganz genauso lassen, damit du auch siehst, dass LLMs auch Fehler machen. Das gehört einfach mal dazu. Also, der Code Interpreter hat diese Aufgabe aktuell hier nicht geschafft. Wie gesagt, ab und zu kann es hier natürlich auch mal zu Fehlern kommen. So ist das nun mal bei LLMs.

Aber generell hast du in diesem Video den Playground kennengelernt. Du kannst dir im Playground alles ansehen. Übrigens, das da drüben sind hier die Logs. Ich wollte nur nachsehen, warum das hier nicht funktioniert hat. Du kannst hier also auf die Logs klicken und dir ansehen, was das Modell gemacht hat. Bei „Hide Logs“ das Ganze wieder verstecken. Du kannst das zu einem Thread hinzufügen, und du kannst natürlich den gesamten Chat wieder löschen und von vorne starten. Hier werden deine Tokens auch immer mitgezählt.

Und lange Rede, kurzer Sinn: Das war also der OpenAI Playground. Im Playground kannst du arbeiten, kannst du eigentlich so gut wie alles machen wie im normalen ChatGPT-Interface. Der große Vorteil ist: Bezahlen tust du nur nach Output, nur nach Tokens, und deine Privatsphäre ist zu 100 % sicher – zumindest verspricht uns das Ganze OpenAI. Das ist die einfachste Möglichkeit, um mit der API zu arbeiten. Die Magie passiert natürlich, wenn wir API-Keys machen und das eigene Applications einbauen.

Aber das war die Einführung in die OpenAI API, und im nächsten Video sehen wir uns die Google API an, beziehungsweise die Gemini API. Denn Google hat viele APIs, zum Beispiel auch SERP-er, und das bedeutet, dass wir in Apps natürlich auch SERP-er, also die Google-Suche, mit reinholen können. Also: nächstes Video, die Gemini API.