Werk:AI mit Arnie/Vision über die OpenAI API in Google Colab
Eigene Apps über APIs in Google Colab
📽️ 🎓In diesem Video sehen wir uns Vision an, und das ist wahnsinnig einfach. Wir sind mal wieder in Google Colab, das ist immer noch das Ding von vorher. Wir machen eine neue Codezeile, und wir gehen einfach mal zurück hier, natürlich auf unserem Playground, auf die Dokumentation. Wir können natürlich auf Modelle gehen, und wenn wir hier runtergehen, dann sehen wir natürlich auch Vision. Und Vision sollte hier unten bei den Capabilities sein.
Das heißt, wir haben natürlich Textgeneration, wir haben auch Function Callings, die Embeddings, Fine Tuning, Image Generation und natürlich auch Vision. Das heißt, wir haben eigentlich so gut wie alles uns hier schon angesehen. Was wir jedoch noch machen sollten, ist Vision. Danach haben wir in Colab erstmal genug gemacht.
Das heißt, wir klicken einfach mal auf Vision, denn das funktioniert natürlich hier immer genau gleich. Wir haben mal wieder einen Quickstarter. Diesen Quickstarter können wir natürlich kopieren. Wir gehen zurück in unser Colab-Notebook, wir fügen unseren Code ein. Na, wir sind natürlich wieder – das kommt alles von OpenAI – danach der Client, sind natürlich mal wieder wir hier. Dementsprechend kopiere ich diese Zeile. Ich schmeiße diese Zeile hier raus. Wir wollen das natürlich, um immer mit unserem API-Key machen.
Danach hier der Response: Das Modell ist natürlich GPT-4-O. Danach haben wir hier die Message, Role und User, Content, Texttype Image URL, und hier haben wir eine Image URL schon dabei. Das heißt, diese URL führt uns wahrscheinlich zu diesem Wikipedia-Beitrag. Ich bin gespannt, welches Bild hier mit dabei ist. Das ist das Bild hier. Das heißt, GPT-4o wird uns dieses Bild hier danach sofort beschreiben, wenn wir Play klicken. Zumindest gehe ich davon aus.
Das heißt, ich klicke hier einfach mal Play. Der Text ist natürlich „What’s in this image!“ Dieses Image wird danach durchsucht, und die API antwortet uns hier: „Majestic landscape, wooden“ und so weiter. Also, du siehst, das sollte funktionieren. Und so verwendet man Vision über die API. Du siehst, das alles ist wirklich kein Hexenwerk. Das funktioniert ganz, ganz einfach.
Und wenn wir noch mal ganz, ganz kurz auf die Webseite von OpenAI zurückgehen, dann siehst du Folgendes: Völlig egal, was du hier gerne machen willst. Textgeneration hast du natürlich schon gesehen, wie das Ganze funktioniert. Den JSON-Mode kannst du hier verwenden. Du kannst natürlich auch FAQs dir ansehen. Du kannst auf Function Calling gehen. Du bekommst ganz einfach immer Beispiele, und natürlich sehen wir uns die Dinge genau an, also wie hier alles genauer und besser funktioniert – auch wenn wir bessere Apps bauen wollen, nicht nur die Dinge testen in Google Colab.
Mir ging es bei dieser Lektion in Google Colab einfach nur darum, dass du verstehst, was gewisse Codeblöcke machen. Wir importieren einfach meistens irgendwas, z. B. Python. Python ist in Google Colab schon vorinstalliert. Danach brauchen wir die Bibliotheken von OpenAI. Meistens müssen wir danach – oder eigentlich immer – unseren OpenAI-Client festlegen.
Das heißt, wir brauchen einen API-Key, und dieser API-Key erlaubt uns danach Zugriff zu den spezifischen Modellen, z. B. zu Vision, zu Text-to-Speech, zu Speech-to-Text, zu Bildgeneration, zu Textgeneration – so was auch immer du gerne machen willst. Das ist die Power der API. Wir können die API von OpenAI verwenden und können sie „rausreißen“, sozusagen, und in unsere eigenen Applications mit einbauen mit ein paar klitzekleinen Zeilen Code. Und das funktioniert so einfach, dass wir einfach nur noch Play klicken müssen bei solchen Zellen.
Wir können später Drag-and-Drop-Tools verwenden und unsere API-Keys mit einbauen. Und ich bin wirklich der Meinung, dass das fast schon revolutionär ist. Und das Revolutionärste ist halt einfach, dass, wenn man nicht mehr weiterkommt, man sich einfach mal ChatGPT reinziehen kann und fragen kann: „Hey, warum funktioniert der Code nicht? Gib mir doch selbst noch ein paar Zeilen Code.“ Und wenn du bei Null startest, kannst du auch ChatGPT beschreiben, was du gerne machen wollen würdest, und ChatGPT spuckt dir sofort den gesamten Code aus, und du kannst die Dinge nur noch kopieren.
Das ist alles so einfach geworden. Man muss wirklich kein Genie sein. Man muss nicht programmieren können, man muss nichts wirklich können – man muss nur sich anständig mit ChatGPT unterhalten können und ein paar Zeilen Code kopieren und ab und zu einen API-Key erstellen, und das war’s. Und damit kann man tatsächlich kleine Applications bauen. Die ersten Applications haben wir schon gemacht hier drinnen in Google Colab. Und danach soll es natürlich darum gehen, wie wir hier etwas bessere Dinge machen können, z. B. Chatbots und KI-Agenten.
Also, wir sehen uns natürlich im nächsten Video!