Werk:AI mit Arnie/Was lernen wir in diesem Abschnitt? (Eigener KI-Gehilfe in Python)
Diese Sektion finde ich persönlich besonders spannend, denn wir bauen uns hier sozusagen unsere eigene KI, die lokal läuft und die ähnlich funktioniert wie das da – ich will es kurz zeigen – von Microsoft. „Hey copilot, how is it going?“ „Hy, it looks like you dive into minecraft“ „Yea I’m trying to figure out to make a sword.“ „To craft a sword you’ll need some materials. Can you open your inventory?…“
Und unsere KI, die kann danach auch Deutsch sprechen, wenn wir mögen. Die, die wir hier zusammenstellen – bzw. es ist eigentlich ein Open-Source-Projekt auf GitHub, und wir passen es etwas an – die kann uns selbst filmen, und wir können einfach fragen: "Hey, was halte ich in der Hand?" und so weiter.
Wir können den Code aber auch ein klein wenig umschreiben und unseren Desktop filmen und ihn sozusagen als Gehilfen mit dabei haben. Wir verwenden dafür einige APIs: die OpenAI API, und bei der OpenAI API brauchen wir Whisper, Text-to-Speech, die Vision API und zusätzlich noch Gemini Flash. Mit all diesen Dingen kombiniert können wir das laufen lassen.
Um das zu machen, sollten wir erst einmal VS Code installieren, denn wir wollen das lokal auf unserer Maschine in Python laufen lassen. Wir installieren außerdem auch noch Git, und danach arbeiten wir mit dem GitHub-Projekt.
Dementsprechend hast du nach dieser Sektion einen solchen oder einen ähnlichen Assistenten, den du lokal laufen lassen kannst.