GPT-2
Generative Pre-trained Transformer 2 von OpenAI
https://en.wikipedia.org/wiki/GPT-2
Generative Pre-trained Transformer 2 (GPT-2) ist ein großes Sprachmodell von OpenAI und das zweite in ihrer grundlegenden Serie von GPT-Modellen. GPT-2 wurde mit einem Datensatz von 8 Millionen Webseiten vortrainiert.[2] Es wurde teilweise im Februar 2019 veröffentlicht, gefolgt von der vollständigen Veröffentlichung des 1,5-Milliarden-Parameter-Modells am 5. November 2019.[3][4][5]
GPT-2 wurde als eine "direkte Skalierung" von GPT-1 entwickelt,[6] mit einer Verzehnfachung sowohl der Parameteranzahl als auch der Größe des Trainingsdatensatzes.[5] Es handelt sich um einen Allzweck-Lerner, dessen Fähigkeit, verschiedene Aufgaben zu erfüllen, auf seiner allgemeinen Fähigkeit basiert, das nächste Element in einer Sequenz präzise vorherzusagen.[2][7] Dies ermöglichte es ihm, Texte zu übersetzen, Fragen zu einem Thema aus einem Text zu beantworten, Passagen aus einem größeren Text zusammenzufassen[7] und Textausgaben auf einem Niveau zu generieren, das manchmal nicht von menschlichen Texten zu unterscheiden ist. Allerdings konnte das Modell bei der Erzeugung längerer Passagen repetitiv oder unsinnig werden.[8] Es wurde von den Modellen GPT-3 und GPT-4 abgelöst, die nicht mehr quelloffen sind.
Wie sein Vorgänger GPT-1 und seine Nachfolger GPT-3 und GPT-4 basiert GPT-2 auf einer generativen vortrainierten Transformer-Architektur, die ein tiefes neuronales Netzwerk implementiert, speziell ein Transformer-Modell.[6] Dieses verwendet Attention-Mechanismen anstelle älterer rekurrenter und auf Konvolution basierender Architekturen.[9][10] Attention-Mechanismen ermöglichen es dem Modell, sich selektiv auf die Eingabetextelemente zu konzentrieren, die es für am relevantesten hält.[11][12] Diese Architektur erlaubt eine stark erhöhte Parallelisierung und übertrifft frühere Benchmarks von RNN-, CNN- und LSTM-basierten Modellen.[6]
**Training**
Da die Transformer-Architektur massive Parallelisierung ermöglicht, konnten GPT-Modelle auf größeren Korpora trainiert werden als frühere NLP-Modelle (Natural Language Processing). Während das GPT-1-Modell zeigte, dass der Ansatz machbar war, untersuchte GPT-2 weiter die emergenten Eigenschaften von Netzwerken, die auf extrem großen Korpora trainiert wurden. CommonCrawl, ein großer Korpus, der durch Web-Crawling erstellt wurde und zuvor in NLP-Systemen verwendet wurde,[13] wurde wegen seiner Größe in Betracht gezogen, jedoch nach einer weiteren Überprüfung abgelehnt, da er große Mengen an unverständlichem Inhalt enthielt.[2][13] Stattdessen entwickelte OpenAI einen neuen Korpus namens WebText. Anstatt Inhalte wahllos aus dem World Wide Web zu scrapen, wurde WebText durch das Scrapen von Seiten erstellt, die mit Reddit-Beiträgen verlinkt waren, die vor Dezember 2017 mindestens drei Upvotes erhalten hatten. Der Korpus wurde anschließend bereinigt: HTML-Dokumente wurden in reinen Text umgewandelt, doppelte Seiten wurden entfernt, und Wikipedia-Seiten wurden entfernt (da ihre Präsenz in vielen anderen Datensätzen zu Overfitting hätte führen können).[2]
Obwohl die Kosten für das Training von GPT-2 mit 256 US-Dollar pro Stunde bekannt sind,[14][15] ist die Gesamtstundenzahl, die für das Training benötigt wurde, unbekannt, weshalb die Gesamtkosten nicht genau geschätzt werden können.[16] Vergleichbare große Sprachmodelle mit Transformer-Architekturen wurden jedoch detaillierter dokumentiert: Die Trainingsprozesse für BERT und XLNet verbrauchten Ressourcen im Wert von jeweils 6.912 bzw. 245.000 US-Dollar.[15]