GPT-4

https://en.wikipedia.org/wiki/GPT-4

Der Generative Pre-trained Transformer 4 (GPT-4) ist ein multimodales, großes Sprachmodell, das von OpenAI entwickelt und trainiert wurde und das vierte Modell in der GPT-Fundamentreihe darstellt.[1] Es wurde am 14. März 2023 eingeführt[1] und ist über das kostenpflichtige Chatbot-Produkt ChatGPT Plus, die API von OpenAI und den kostenlosen Chatbot Microsoft Copilot öffentlich zugänglich.[2] Als transformerbasiertes Modell verwendet GPT-4 ein Paradigma, bei dem eine Vorab-Trainierung sowohl mit öffentlichen Daten als auch mit "von Drittanbietern lizenzierten Daten" erfolgt, um das nächste Token vorherzusagen. Anschließend wurde das Modell mit verstärktem Lernfeedback von Menschen und KI feinabgestimmt, um menschliche Ausrichtung und Richtlinientreue zu gewährleisten.[3]: 2

Beobachter berichteten, dass die ChatGPT-Version mit GPT-4 im Vergleich zur vorherigen Version, die auf GPT-3.5 basierte, eine Verbesserung darstellt, wenngleich GPT-4 einige der Probleme früherer Versionen weiterhin aufweist.[4] GPT-4, ausgestattet mit visuellen Fähigkeiten (GPT-4V),[5] ist in der Lage, Bilder als Eingabe im ChatGPT zu verarbeiten.[6] OpenAI hat keine technischen Details und Statistiken zu GPT-4 offengelegt, wie etwa die genaue Größe des Modells.[7]

Hintergrund

Weitere Informationen: GPT-3 § Hintergrund und GPT-2 § Hintergrund

OpenAI führte das erste GPT-Modell (GPT-1) im Jahr 2018 ein und veröffentlichte eine wissenschaftliche Arbeit mit dem Titel "Improving Language Understanding by Generative Pre-Training".[8] Es basierte auf der Transformer-Architektur und wurde mit einem großen Korpus von Büchern trainiert.[9] Im folgenden Jahr präsentierten sie GPT-2, ein größeres Modell, das kohärente Texte generieren konnte.[10] Im Jahr 2020 folgte GPT-3, ein Modell mit über 100-mal so vielen Parametern wie GPT-2, das verschiedene Aufgaben mit nur wenigen Beispielen ausführen konnte.[11] GPT-3 wurde weiter zu GPT-3.5 verbessert, das die Grundlage für das Chatbot-Produkt ChatGPT bildete.  

Gerüchten zufolge verfügt GPT-4 über 1,76 Billionen Parameter, eine Zahl, die erstmals durch die Geschwindigkeit des Modells und von George Hotz geschätzt wurde.[12]  

1. 1. 1. Fähigkeiten  
         OpenAI erklärte, dass GPT-4 „zuverlässiger, kreativer und in der Lage ist, wesentlich nuanciertere Anweisungen zu verarbeiten als GPT-3.5“.[13] Es gibt zwei Versionen von GPT-4, mit Kontextfenstern von 8.192 und 32.768 Tokens, was eine bedeutende Verbesserung gegenüber GPT-3.5 und GPT-3 darstellt, die auf 4.096 bzw. 2.049 Tokens begrenzt waren.[14] Einige der Fähigkeiten von GPT-4 wurden von OpenAI vor dem Training des Modells vorhergesagt, während andere aufgrund von Brüchen[15] in den Downstream-Skalierungsgesetzen schwer vorhersehbar blieben. Im Gegensatz zu seinen Vorgängern ist GPT-4 ein multimodales Modell: Es kann sowohl Bilder als auch Texte als Eingaben verarbeiten;[16] dadurch kann es beispielsweise den Humor in ungewöhnlichen Bildern beschreiben, Text aus Screenshots zusammenfassen und Prüfungsfragen beantworten, die Diagramme enthalten.[17]  

Das Modell kann nun mit Nutzern durch gesprochene Worte interagieren und auf Bilder reagieren, wodurch natürlichere Gespräche und die Fähigkeit entstehen, Vorschläge oder Antworten auf der Grundlage von hochgeladenen Fotos zu geben.[18]  

Um die Kontrolle über GPT-4 zu verbessern, führte OpenAI die "Systemnachricht" ein, eine Direktive in natürlicher Sprache, die GPT-4 anweist, einen bestimmten Ton oder eine bestimmte Aufgabe zu übernehmen. Beispielsweise kann die Systemnachricht das Modell anweisen, wie ein „shakespearischer Pirat“ zu sprechen, oder es anweisen, „alle Antworten in JSON auszugeben“, woraufhin das Modell die gewünschte Struktur einhält. Laut OpenAI weicht GPT-4 in diesen Fällen nicht von der Systemnachricht ab, selbst wenn der Nutzer während des Gesprächs versucht, dies zu ändern.[17]  

Auf Anweisung kann GPT-4 auch mit externen Schnittstellen interagieren.[19] So könnte das Modell beispielsweise angewiesen werden, eine Anfrage innerhalb von <search></search>-Tags zu umschließen, um eine Websuche durchzuführen. Die Ergebnisse würden in das Prompt des Modells eingefügt, um eine Antwort zu generieren. Dadurch kann GPT-4 Aufgaben ausführen, die über seine normale Textvorhersage hinausgehen, wie die Nutzung von APIs, das Erstellen von Bildern oder das Zugreifen auf und Zusammenfassen von Webseiten.[20]  

Ein Artikel in *Nature* aus dem Jahr 2023 berichtete, dass Programmierer GPT-4 als nützlich für die Unterstützung bei Codierungsaufgaben empfanden, obwohl das Modell zu Fehlern neigt. Es half beispielsweise dabei, Fehler in bestehendem Code zu finden und Optimierungen vorzuschlagen, um die Leistung zu verbessern. Ein Biophysiker erklärte, dass sich die Zeit, die er benötigte, um ein Programm von MATLAB auf Python zu portieren, von mehreren Tagen auf „etwa eine Stunde“ reduzierte. In einem Test mit 89 Sicherheitsszenarien erzeugte GPT-4 in 5 % der Fälle Code, der anfällig für SQL-Injection-Angriffe war, was eine Verbesserung gegenüber GitHub Copilot aus dem Jahr 2021 darstellt, das in 40 % der Fälle Sicherheitslücken aufwies.[21]  

Im November 2023 kündigte OpenAI das Modell GPT-4 Turbo und GPT-4 Turbo mit Vision an, das ein Kontextfenster von 128K bietet und deutlich günstiger ist.[22][23]   index.php?title=Kategorie:OpenAI