Werk:AI mit Arnie/Q* LLMs verstehen Mathe doch?
Q-Sternchen (Q*) – ein interessanter Name, der so richtig die Runde macht. Einige sagen, wir sind ganz nah an AGI dran, andere sagen, das Unternehmen – also OpenAI – ist fast in die Brüche gegangen wegen diesem Q-Sternchen. Wieder andere sagen, all das ist Spinnerei. So ganz genau weiß man es nicht, aber einige Dinge hiervon sind richtig, richtig interessant. Lasst uns hier mal ganz kurz darüber sprechen und aufschlüsseln, worum es eigentlich geht.
Dieser Artikel von Reuters hat eigentlich das meiste ins Rollen gebracht. Bei diesem Artikel sind sie fast der Meinung, oder es lässt sich daraus schließen, dass eventuell Sam Altman aus dem Unternehmen geworfen wurde – wegen eben genau den Daten zu diesem Q-Sternchen. Was genau ist dieses Q-Sternchen? Eigentlich ist das nur ein Algorithmus, der eben relativ gut Mathematik verstehen könnte. Wie gut kann er Mathematik verstehen? Gleich gut wie ein Grundschüler.
Im ersten Moment hört sich das, um ehrlich zu sein, nicht wirklich bahnbrechend an. Jedoch, wenn man genauer darüber nachdenkt, werden die Implementationen hier riesig. Large Language Models können Mathe nicht wirklich gut. Wenn dieser Algorithmus wirklich Mathe relativ gut kann und dieser Algorithmus immer besser wird, dann kann man das Ganze ein klein wenig nach vorne spinnen.
Was ist das ganze Ding, das im Internet ist? Das ist alles Code. Eigentlich hast du natürlich auch überall Passwörter. Passwörter lassen sich relativ schwer hacken. Wenn du mehr als zehn Buchstaben, Wörter und Zahlenkombinationen mit einbaust, wird Künstliche Intelligenz jedoch immer besser und besser in Mathe. Und das könnte eben der erste Schritt sein. Dann könnte man damit so richtig Schaden anrichten.
Wenn Künstliche Intelligenz so gut wird, dass sie alle Passwörter beinahe instant hackt, dann haben wir ein riesen, riesengroßes Problem. Und eventuell könnte es irgendwann irgendwie dazu kommen. Wenn man sich alleine ansieht, wie viel besser Künstliche Intelligenz generell geworden ist über die letzten Jahre, dann kann man das eigentlich fast schon voraussagen, dass Künstliche Intelligenz irgendwann richtig, richtig gut Mathe kann. Und sobald das soweit ist, weiß ich nicht, wie sicher noch die gewöhnlichen Passwörter sind. Wahrscheinlich können KI-Algorithmen diese in Zukunft relativ schnell hacken. Jedoch weiß man aktuell noch nicht, wie weit es wirklich ist, und vieles davon ist Spekulation.
Außerdem braucht es zum Erreichen von der sogenannten AGI eigentlich hauptsächlich zwei Dinge: einen Haufen Computing Power, einen riesengroßen Haufen Daten, und im Optimalfall natürlich so wie jetzt, haufenweise Geld, das darauf geschmissen wird. Aktuell haben wir viel Hype, es wird viel Geld in die Dinge reingeschmissen, also geht die Entwicklung schnell voran. Daneben haben wir auch reichlich Computing Power da.
Das Ding, das fehlt, sind vielleicht Daten. Und man braucht nicht nur irgendwelche Daten, sondern im Optimalfall richtig, richtig gute Daten. Es könnte eventuell sein, dass nicht genug gute Daten vorhanden sind, um die Modelle immer besser und besser zu machen. Wenn man Modelle richtig gut machen will, beziehungsweise sogar besser als Menschen, reicht es vielleicht nicht aus, diese Modelle an Daten zu trainieren, die Menschen erschaffen werden.
Hier kommt das nächste Ding mit ins Spiel: Es ist sogar aktuell teilweise schon möglich, Daten zu erschaffen von KIs, die sogar besser sind als die von Menschen. Das heißt, man wird instande sein, Daten zu erschaffen von KIs, diese KI an Daten zu trainieren, und so geht es so richtig los, und die Dinge werden immer besser. Solange bis Menschen nicht mal mehr verstehen, warum diese KI eigentlich so gut geworden ist.
Jim Fan – das ist jemand, der schon seit über 10 Jahren in der Künstlichen Intelligenz unterwegs ist und ein Mitarbeiter von Nvidia ist. Auch er hat versucht, dieses Q* zu analysieren und aufzulisten. Das ist ein riesen, riesenlanger Artikel, und auch dieser Twitter-Thread nimmt fast kein Ende. Ich würde dir raten, dass du dir den einfach mal durchliest, wenn du hier tiefer eintauchen willst.
Er versucht hier eine coole Analogie zu bringen, nämlich die Analogie zu AlphaGo im Jahr 2016. AlphaGo ist das coole Spiel, wo man Steinchen schieben muss. Bis 2016 gab es keine KI, die besser AlphaGo spielen konnte als ein Mensch. 2016 wurde das anders, und diese KI hat während einem solchen Spiel auf einmal einen Spielzug gemacht, wo alle Menschen dachten, dieser Spielzug ist richtig, richtig dumm. Jedoch war genau dieser Spielzug der entscheidende Spielzug, der das Spiel rumgerissen hat.
Das lässt darauf schließen, dass Maschinen oder KIs irgendwann Entscheidungen treffen können, die einfach so gut oder so anders sind, dass Menschen noch nicht mal verstehen, warum sie so gut und anders sind. Und so könnte es eventuell auch laufen bei der Datengenerierung und bei Entscheidungsprozessen generell. Wenn KIs imstande sind, sich selbst zu verbessern und für sich selbst Daten zu erstellen, dann werden die Menschen irgendwann nicht mehr verstehen, warum welche Daten verwendet wurden und warum diese KIs auf einmal so gut geworden sind.
Wie gesagt, all das liegt wahrscheinlich noch etwas in der Zukunft. Einige sagen, das kommt nächste Woche schon, weil die Algorithmen soweit sind. Viel davon ist wahrscheinlich Spinnerei.
Ich will einfach mal ein klein wenig darauf eintauchen und zeigen, was vielleicht eventuell passiert sein könnte. Eventuell sind einige bei OpenAI einfach zusammengekommen. Sie haben sich diesen Algorithmus angesehen, sie haben gesehen: Hey, die Dinger lernen mittlerweile Mathe. Das könnte irgendwann unglaublich viele Passwörter hacken. Und danach ging eine Streiterei los. Sam Altman flog raus – so versuchen es zumindest einige zu beschreiben. Wie gesagt, viel davon ist Spekulation.
Was jedoch keine Spekulation ist, ist nämlich, dass alle diese Modelle immer besser und besser werden. Und dass es höchstwahrscheinlich nur noch eine Frage der Zeit ist, bis die Dinger irgendwann richtig, richtig gut rechnen können. Was dann mit dem Internet passiert, beziehungsweise mit den ganzen Passwörtern im Internet, das weiß ich nicht. Das werden wir höchstwahrscheinlich rausfinden. Aber das Potenzial von Chaos ist dabei richtig, richtig groß.
Zusätzlich noch das Konzept, dass diese KI-Modelle so langsam anfangen können, für sich selbst Daten zu machen und so noch besser werden können.
Insgesamt leben wir in einer spannenden Welt. Lass mich gerne wissen, was du darüber denkst.