Werk:AI mit Arnie/Datenschutz & Sicherheit
Lasst uns über Datensicherheit sprechen. Das heißt, was passiert mit den Daten, die du reinlädst in diese LLMs? Was passiert, wenn du einen RAG-Chatbot baust und hier Daten hochlädst, um die Dinge zu trainieren in einer Vektor-Datenbank? Was passiert, wenn du x, y, z machst mit deinen Daten? Was passiert, wenn du Dinge reintippst? Und die Dinge sind sehr, sehr, sehr einfach.
Denn ich will dir erstmal zeigen: Wir haben ja viel in LM Studio gemacht. Wir haben sogar danach natürlich einen Server eröffnet, und zwar hier drunter beim lokalen Server. Und ich muss dir jetzt schon sagen: All das, was du mit LM Studio betreibst, alle die Dinge, die laufen natürlich lokal auf deinem PC. Und du brauchst noch nicht mal Internetzugriff. Das heißt, deine Daten, die werden niemals rauskommen. Es gibt einfach keine Chance.
Und sogar wenn du Function Calling mit einbaust in deine Applications, wenn du z. B. Anything LLM verwendest und du betreibst einen Server mit LM Studio, und in Anything LLM baust du Function Calling mit... Nein, deine Daten werden niemals rauskommen. Das LLM an sich, das läuft auf deinem PC und das sendet niemals irgendwelche deiner Daten raus. Das ist der riesengrößte Vorteil von Open Source LLMs, die lokal auf deinem Computer laufen. Niemand kann jemals an deine Daten rankommen.
Außer natürlich, dein gesamtes System wird gehackt, von einem Angriff über Windows oder was weiß ich. Also, sowas kann natürlich auch passieren, wenn jemand eine Vektor-Attacke auf deinen gesamten PC macht. Aber dann sind natürlich die Dinge, die du in dein LLM reintippst, das kleinste Problem, weil er deinen gesamten Computer übernehmen kann.
Aber wie gesagt: Datensicherheit von deinen eigenen Daten in Open Source LLMs, die ist natürlich riesengroß, die ist perfekt.
Und ja, auch wenn du die Dinge im Cloud Interface verwendest, wenn du den Hugging Chat verwendest, auch da wird dir zumindest versprochen, dass deine Daten nicht rauskommen. Da musst du dich aber an das Wort halten, was uns die Firmen versprechen.
Generell machen es alle Open Source Modelle so, dass sie deine Daten zum Training höchstwahrscheinlich nicht verwenden werden. Aber wenn du hier 100% sicher gehen willst, dann solltest du die Dinge einfach lokal laufen lassen, so wie wir es gelernt haben: einen eigenen Server eröffnen mit LM Studio. Wenn du es verbinden willst mit Anything LLM, einen eigenen Server erstellen mit Olama über deinen Terminal. Wenn du es verbinden willst mit Flowise.
Das heißt, all diese Dinge, die lokal laufen: Es wird niemals die Chance geben, dass deine Daten rauskommen. Auch nicht, wenn du Function Calling und mehr mit einbaust. Auch wenn du im Flowise gesamte KI-Agenten baust: All die Dinge, die lokal laufen auf deinem PC, die werden nicht an die Außenwelt kommen.
Wie gesagt, das ist einer der größten Vorteile von diesen Open Source LLMs, wenn sie lokal laufen. Selbiges gilt, wenn du GPU-Power ausleihst. Ja, die GPU-Power betreibt dann zwar das LLM, aber deine Daten werden dennoch nicht rauskommen.
Wie gesagt, der einzige Unterschied ist hier, wenn du tatsächlich etwas machst in einem Cloud Interface. Und nein, auch in Google Colab werden deine Daten nicht rauskommen. Hier ist es wieder dasselbe: Hier leiht dir Google einfach nur die Computing Power, und deine Daten sind immer noch sicher.
Wir haben uns aber auch ein-, zweimal angesehen, wie wir API Calls an OpenAI machen. Und ich will dir jetzt die Datensicherheit von OpenAI zeigen, wenn man denn API Calls macht.
OpenAI sagt uns: Alles, was über die API läuft, ist zu 100% sicher. Und wenn du auf „Learn more“ klickst, dann kannst du dir hier natürlich alles ansehen. Generell bei der Sicherheit – sie versprechen uns zumindest, dass alles, was über die API läuft, komplett zu 100% sicher ist.
Wir haben ja nicht viel über OpenAI gemacht. Alles, was wir gemacht haben, ist eigentlich dieses Text-to-Speech. Und wenn du hier Text reintippst und den zu OpenAI schickst und wir bekommen die Stimme zurück, dann verspricht uns auch hier OpenAI, dass nichts daran trainiert wird. Alles andere haben wir ja Open Source und lokal gemacht. Also auch da sollten wir zu 100% sicher sein. Und wenn du noch eine Schippe drauflegen willst, dann solltest du eventuell auch beim Text-to-Speech lokale Modelle verwenden.
Also wie gesagt: Das ist die absolute Masterclass in Sicherheit, die du nur verwenden kannst. Open Source LLMs auf deinem Computer sind der größte Freund von deinem eigenen Datenschutz, den du nur machen kannst.
Wenn du in ChatGPT, in Gemini oder in Cloud einfach nur Dinge reintippst, dann wird an deinen Daten trainiert. Ja, wenn du einen Enterprise-Account oder die API verwendest, versprechen sie uns zwar, dass sie das nicht machen, aber im ganz, ganz normalen Interface von all den Closed Source LLMs, da wird an deinen Daten trainiert. Da sind deine Daten nicht sicher.
Das ist relevant für dich, wenn du ein Unternehmen hast. Wenn du ein Unternehmen hast, solltest du mit heiklen Daten auf alle Fälle erst mal mit Open Source LLMs lokal auf deinem PC arbeiten. Und du bist dir zu 100% sicher, dass nichts passieren kann. Außerdem sind die Dinge auch noch unzensiert.