„GPT-1“ – Versionsunterschied
| [ungesichtete Version] | [ungesichtete Version] |
Die Seite wurde neu angelegt: „Generative Pre-trained Transformer 1 von OpenAI“ |
Keine Bearbeitungszusammenfassung |
||
| (Eine dazwischenliegende Version desselben Benutzers wird nicht angezeigt) | |||
| Zeile 1: | Zeile 1: | ||
[[Generative Pre-trained Transformer]] 1 von [[OpenAI]] | [[Generative Pre-trained Transformer]] 1 von [[OpenAI]] | ||
https://en.wikipedia.org/wiki/GPT-1 | |||
Generative Pre-trained Transformer 1 (GPT-1) war das erste große Sprachmodell von OpenAI, das auf Googles Erfindung der Transformer-Architektur im Jahr 2017 folgte.[2] Im Juni 2018 veröffentlichte OpenAI ein Papier mit dem Titel „Improving Language Understanding by Generative Pre-Training“[3], in dem sie dieses erste Modell zusammen mit dem allgemeinen Konzept eines generativen vortrainierten Transformers vorstellten.[4] | |||
Bis zu diesem Zeitpunkt nutzten die leistungsstärksten neuronalen NLP-Modelle hauptsächlich überwachten Lernen mit großen Mengen manuell annotierter Daten. Diese Abhängigkeit vom überwachten Lernen beschränkte die Nutzung von Datensätzen, die nicht gut annotiert waren, und machte es außerdem äußerst teuer und zeitaufwendig, extrem große Modelle zu trainieren.[3][5] Viele Sprachen (wie Swahili oder Haitianisch-Kreolisch) sind mit solchen Modellen schwer zu übersetzen und zu interpretieren, da es an verfügbaren Texten für den Korpusaufbau mangelt.[5] Im Gegensatz dazu verfolgte GPT einen „semi-supervised“-Ansatz mit zwei Stufen: einer unüberwachten generativen „Pre-Training“-Phase, in der ein Sprachmodellierungsziel verwendet wurde, um die Anfangsparameter festzulegen, und einer überwachten diskriminativen „Fine-Tuning“-Phase, in der diese Parameter an eine Zielaufgabe angepasst wurden.[3] | |||
Die Verwendung einer Transformer-Architektur, im Gegensatz zu früheren Techniken mit Attention-unterstützten RNNs, bot den GPT-Modellen eine besser strukturierte Speicherfähigkeit, als dies durch rekurrente Mechanismen möglich war. Dies führte zu „robuster Transferleistung über verschiedene Aufgaben hinweg“.[3] | |||
<nowiki>**</nowiki>Grund für die Wahl von BookCorpus** | |||
BookCorpus wurde teilweise als Trainingsdatensatz ausgewählt, weil die langen zusammenhängenden Textpassagen dem Modell halfen, mit Langstreckeninformationen umzugehen.[6] Es enthielt über 7.000 unveröffentlichte Belletristikbücher aus verschiedenen Genres. Die zu dieser Zeit verfügbaren Datensätze waren zwar größer, jedoch fehlte ihnen diese Langstreckenstruktur (da sie auf Satzebene „durchmischt“ waren).[3] | |||
Der Text aus BookCorpus wurde mit der *ftfy*-Bibliothek bereinigt, um standardisierte Interpunktion und Leerzeichen sicherzustellen, und anschließend mit *spaCy* tokenisiert.[3] | |||
<nowiki>**</nowiki>Architektur** | |||
Die GPT-1-Architektur war ein zwölfschichtiges Decoder-only-Transformer-Modell mit zwölf maskierten Self-Attention-Heads, jeweils mit 64-dimensionalen Zuständen (insgesamt 768). Anstelle eines einfachen stochastischen Gradientenabstiegs wurde der Adam-Optimierungsalgorithmus verwendet; die Lernrate wurde in den ersten 2.000 Updates linear von null auf ein Maximum von 2,5 × 10⁻⁴ erhöht und anschließend mit einem Kosinus-Zeitplan auf null abgesenkt.[3] GPT-1 hatte 117 Millionen Parameter.[4] | |||
Während das Fine-Tuning an spezifische Aufgaben angepasst wurde, galt dies nicht für das Pre-Training; um verschiedene Aufgaben zu erfüllen, wurden minimale Änderungen an der unterliegenden aufgabenunabhängigen Modellarchitektur vorgenommen.[3] Dennoch übertraf GPT-1 frühere Benchmarks bei mehreren Sprachverarbeitungsaufgaben und überbot diskriminativ trainierte Modelle mit aufgabenorientierten Architekturen bei verschiedenen Aufgaben.[3] | |||
<nowiki>**</nowiki>Leistung und Bewertung** | |||
GPT-1 erreichte eine Verbesserung von 5,8 % und 1,5 % gegenüber den bisherigen Bestwerten[3] bei Aufgaben der natürlichen Sprachinferenz (auch als Textual Entailment bekannt), bei denen die Fähigkeit bewertet wurde, Satzpaare aus verschiedenen Datensätzen zu interpretieren und die Beziehung zwischen ihnen als „Implikation“, „Widerspruch“ oder „neutral“ zu klassifizieren.[3] Beispiele für solche Datensätze sind QNLI (Wikipedia-Artikel) und MultiNLI (transkribierte Reden, populäre Belletristik und Regierungsberichte, unter anderem).[7] | |||
Es übertraf auch frühere Modelle bei zwei Aufgaben im Zusammenhang mit Fragenbeantwortung und Alltagswissen um 5,7 % auf RACE[8] (einem Datensatz von schriftlichen Frage-Antwort-Paaren aus Mittelschul- und Gymnasialprüfungen) und um 8,9 % im Story Cloze Test.[9] | |||
GPT-1 verbesserte frühere Bestwerte um 4,2 % bei der semantischen Ähnlichkeit (oder Paraphrasenerkennung), bei der die Fähigkeit bewertet wurde, vorherzusagen, ob zwei Sätze Paraphrasen voneinander sind, unter Verwendung des Quora Question Pairs (QQP)-Datensatzes.[3] | |||
GPT-1 erzielte eine Punktzahl von 45,4 gegenüber einem bisherigen Bestwert von 35,0[3] bei einer Textklassifizierungsaufgabe mit dem Corpus of Linguistic Acceptability (CoLA). Schließlich erreichte GPT-1 eine Gesamtpunktzahl von 72,8 (im Vergleich zu einem bisherigen Rekord von 68,9) im GLUE-Benchmark, einem Multi-Task-Test.[10] | |||
[[Kategorie:OpenAI]] | |||
Aktuelle Version vom 9. Januar 2025, 14:06 Uhr
Generative Pre-trained Transformer 1 von OpenAI
https://en.wikipedia.org/wiki/GPT-1
Generative Pre-trained Transformer 1 (GPT-1) war das erste große Sprachmodell von OpenAI, das auf Googles Erfindung der Transformer-Architektur im Jahr 2017 folgte.[2] Im Juni 2018 veröffentlichte OpenAI ein Papier mit dem Titel „Improving Language Understanding by Generative Pre-Training“[3], in dem sie dieses erste Modell zusammen mit dem allgemeinen Konzept eines generativen vortrainierten Transformers vorstellten.[4]
Bis zu diesem Zeitpunkt nutzten die leistungsstärksten neuronalen NLP-Modelle hauptsächlich überwachten Lernen mit großen Mengen manuell annotierter Daten. Diese Abhängigkeit vom überwachten Lernen beschränkte die Nutzung von Datensätzen, die nicht gut annotiert waren, und machte es außerdem äußerst teuer und zeitaufwendig, extrem große Modelle zu trainieren.[3][5] Viele Sprachen (wie Swahili oder Haitianisch-Kreolisch) sind mit solchen Modellen schwer zu übersetzen und zu interpretieren, da es an verfügbaren Texten für den Korpusaufbau mangelt.[5] Im Gegensatz dazu verfolgte GPT einen „semi-supervised“-Ansatz mit zwei Stufen: einer unüberwachten generativen „Pre-Training“-Phase, in der ein Sprachmodellierungsziel verwendet wurde, um die Anfangsparameter festzulegen, und einer überwachten diskriminativen „Fine-Tuning“-Phase, in der diese Parameter an eine Zielaufgabe angepasst wurden.[3]
Die Verwendung einer Transformer-Architektur, im Gegensatz zu früheren Techniken mit Attention-unterstützten RNNs, bot den GPT-Modellen eine besser strukturierte Speicherfähigkeit, als dies durch rekurrente Mechanismen möglich war. Dies führte zu „robuster Transferleistung über verschiedene Aufgaben hinweg“.[3]
**Grund für die Wahl von BookCorpus**
BookCorpus wurde teilweise als Trainingsdatensatz ausgewählt, weil die langen zusammenhängenden Textpassagen dem Modell halfen, mit Langstreckeninformationen umzugehen.[6] Es enthielt über 7.000 unveröffentlichte Belletristikbücher aus verschiedenen Genres. Die zu dieser Zeit verfügbaren Datensätze waren zwar größer, jedoch fehlte ihnen diese Langstreckenstruktur (da sie auf Satzebene „durchmischt“ waren).[3]
Der Text aus BookCorpus wurde mit der *ftfy*-Bibliothek bereinigt, um standardisierte Interpunktion und Leerzeichen sicherzustellen, und anschließend mit *spaCy* tokenisiert.[3]
**Architektur**
Die GPT-1-Architektur war ein zwölfschichtiges Decoder-only-Transformer-Modell mit zwölf maskierten Self-Attention-Heads, jeweils mit 64-dimensionalen Zuständen (insgesamt 768). Anstelle eines einfachen stochastischen Gradientenabstiegs wurde der Adam-Optimierungsalgorithmus verwendet; die Lernrate wurde in den ersten 2.000 Updates linear von null auf ein Maximum von 2,5 × 10⁻⁴ erhöht und anschließend mit einem Kosinus-Zeitplan auf null abgesenkt.[3] GPT-1 hatte 117 Millionen Parameter.[4]
Während das Fine-Tuning an spezifische Aufgaben angepasst wurde, galt dies nicht für das Pre-Training; um verschiedene Aufgaben zu erfüllen, wurden minimale Änderungen an der unterliegenden aufgabenunabhängigen Modellarchitektur vorgenommen.[3] Dennoch übertraf GPT-1 frühere Benchmarks bei mehreren Sprachverarbeitungsaufgaben und überbot diskriminativ trainierte Modelle mit aufgabenorientierten Architekturen bei verschiedenen Aufgaben.[3]
**Leistung und Bewertung**
GPT-1 erreichte eine Verbesserung von 5,8 % und 1,5 % gegenüber den bisherigen Bestwerten[3] bei Aufgaben der natürlichen Sprachinferenz (auch als Textual Entailment bekannt), bei denen die Fähigkeit bewertet wurde, Satzpaare aus verschiedenen Datensätzen zu interpretieren und die Beziehung zwischen ihnen als „Implikation“, „Widerspruch“ oder „neutral“ zu klassifizieren.[3] Beispiele für solche Datensätze sind QNLI (Wikipedia-Artikel) und MultiNLI (transkribierte Reden, populäre Belletristik und Regierungsberichte, unter anderem).[7]
Es übertraf auch frühere Modelle bei zwei Aufgaben im Zusammenhang mit Fragenbeantwortung und Alltagswissen um 5,7 % auf RACE[8] (einem Datensatz von schriftlichen Frage-Antwort-Paaren aus Mittelschul- und Gymnasialprüfungen) und um 8,9 % im Story Cloze Test.[9]
GPT-1 verbesserte frühere Bestwerte um 4,2 % bei der semantischen Ähnlichkeit (oder Paraphrasenerkennung), bei der die Fähigkeit bewertet wurde, vorherzusagen, ob zwei Sätze Paraphrasen voneinander sind, unter Verwendung des Quora Question Pairs (QQP)-Datensatzes.[3]
GPT-1 erzielte eine Punktzahl von 45,4 gegenüber einem bisherigen Bestwert von 35,0[3] bei einer Textklassifizierungsaufgabe mit dem Corpus of Linguistic Acceptability (CoLA). Schließlich erreichte GPT-1 eine Gesamtpunktzahl von 72,8 (im Vergleich zu einem bisherigen Rekord von 68,9) im GLUE-Benchmark, einem Multi-Task-Test.[10]