Werk:AI mit Arnie/Eigenen lokalen Server mit LM Studio einrichten
Wenn du Entwickler bist und irgendetwas bauen willst – in Python oder C –, dann ist LM Studio auch perfekt. Wir können hier Calls machen an LM Studio, ganz genauso, wie wir auch Calls an OpenAI machen können. Wenn du aktuell nicht weißt, wovon ich spreche, dann wirst du das natürlich in der nächsten Sektion sehen, sobald wir selbst solche Dinge entwickeln.
Und wenn du jetzt schon Sachen entwickelst, dann will ich dir einfach ganz, ganz kurz zeigen, wie das Ganze hier funktioniert: Wenn du hier unten auf dieses Feld klickst, also auf "Local Server", dann siehst du hier, dass du deinen Server eigentlich einbauen kannst, worin du willst. Alles, was du machen musst, ist "Start Server" zu klicken. Danach kannst du dir aussuchen, mit welchem Modell – z. B. dieses hier. Es ist völlig egal, welches Modell es ist. Und wir können selbst einen Server starten. Der kann in Curl sein, der kann aber auch in Python sein.
Du siehst, das funktioniert eigentlich ganz, ganz genauso, als würdest du API-Calls an OpenAI machen. Wenn du z. B. in eine Python-Umgebung gehst, dann kannst du sogar die Python-Library von OpenAI importieren und hier natürlich, anstatt deinem API-Key von OpenAI, kannst du ganz einfach nur die URL von deinem Server hier einbauen, genauso wie du hier siehst. Du kannst "Copy Code" klicken, und das kannst du dann laufen lassen, wo auch immer du willst – halt eben da, wo du deine kleine App bauen willst. Das könnten wir z. B. laufen lassen in Google Colab oder sonst wo. Das sehen wir uns danach natürlich noch genauer an.
Wenn du das Ganze nicht mehr willst, dann kannst du natürlich "Stop Server" klicken. Und du kannst hier auch noch ein paar Dinge umstellen. Du bekommst sogar ein Embeddings für Python und vieles, vieles mehr. Also, damit kannst du kleine Applications bauen und natürlich einfach nur die API-Calls machen – anstatt an OpenAI einfach an deinen lokalen Server. Und das Ganze läuft dann auch natürlich komplett gratis.
Du siehst auch hier schon: "Start a local HTTP Server that mimics OpenAI Endpoints." Das heißt, dieses Ding ist einfach ähnlich wie OpenAI-Endpoints, aber es läuft halt lokal – das heißt gratis. Und das letzte Ding, was ich dir noch zeigen will, ist das: Dieser kleine Ordner mit "My Models." Hier sind deine Modelle installiert. Sagen wir, du magst ein gewisses Modell nicht mehr, dann kannst du einfach auf diesen Mülleimer klicken und das Ganze danach natürlich sofort löschen. Also, einmal auf "Löschen" klicken, "Delete", und das Ding ist weg. Danach hast du wieder etwas mehr Speicherplatz.
Wenn du Entwickler bist, ist das natürlich der richtige Weg, wenn du hier sozusagen API-Calls machen willst für deine App – lokal, auf deinen Server. Dann funktioniert das hier, und zwar komplett gratis. Falls du nicht weißt, wovon ich spreche, dann weißt du, was ich meine, nachdem du dir die nächste Sektion angesehen hast. Denn da geht es danach tatsächlich um die Entwicklung von kleinen Apps, von sogenannten KI-Agenten, und vieles, vieles mehr. Also, wir sehen uns natürlich im nächsten Video.