generative pretrained transformer (GPT)

Originales GPT-Modell

In der Künstlichen Intelligenz (KI) ist ein generativer vortrainierter Transformer (englisch Generative pre-trained transformers, GPT) ein großes Sprachmodell (englisch Large Language Model, LLM). GPT-Modelle basieren auf künstlichen neuronalen Netzwerken unter Anwendung generativer Modelle und von Transformer-Architektur, die auf großen Datensätzen unmarkierter Texte vorab trainiert werden und in der Lage sind, neue Inhalte zu generieren; sie werden oft allgemein als GPTs bezeichnet. Der erste GPT wurde 2018 vom amerikanischen Unternehmen OpenAIvorgestellt.

Hintergrund

Generatives Vortraining (GP) war ein etabliertes Konzept in der Anwendung von maschinellem Lernen, die Transformer-Architektur wurde jedoch erst im Dezember 2017 präsentiert, als acht Google-Mitarbeiter bei einem Kongress ihren bahnbrechenden Artikel Attention is all you need vorstellten, der das Konzept von Aufmerksamkeit (Attention) einführte. Diese Entwicklung führte zur Entstehung großer Sprachmodelle wie BERT im Jahr 2018 und XLNet im Jahr 2019, die vorab trainierte Transformer (PT) waren, aber nicht generativ konzipiert wurden (sie waren nur Encoder). Um diese Zeit herum, im Jahr 2018, veröffentlichte OpenAI den Artikel Improving Language Understanding by Generative Pre-Training, in dem es das erste generative vorab trainierte Transformer(GPT)-System vorstellte. Vor den auf Transformer-Architekturen basierenden Modellen verwendeten die leistungsstärksten neuronalen NLP (Natural Language Processing)-Modelle häufig überwachtes Lernen aus großen Mengen manuell beschrifteter Daten. Die Abhängigkeit vom überwachten Lernen beschränkte ihren Einsatz auf Datensätze, die nicht gut annotiert waren, und machte es auch zu teuer und zeitaufwendig, extrem große Sprachmodelle zu trainieren. Der halbüberwachte Ansatz, den OpenAI verwendete, um ein groß angelegtes generatives System zu schaffen – und das erste, das mit einem Transformer-Modell gemacht wurde – umfasste zwei Phasen: eine unbeaufsichtigte, generative Vortrainings-Phase, um die anfänglichen Parameter anhand eines Sprachmodellierungsziels festzulegen, und eine überwachte, diskriminative Feinabstimmungs-Phase, um diese Parameter an eine Ziel-Aufgabe anzupassen.

Grundlagenmodell

Ein Grundlagenmodell ist ein KI-Modell, das auf umfangreichen Daten in großem Maßstab trainiert wird, so dass es an eine Vielzahl von nachgelagerten Aufgaben angepasst werden kann (englisch: Fine Tuning).

Die von OpenAI veröffentlichten GPT-Grundmodelle wurden fortlaufend nummeriert und bilden die GPT-n-Serie. Jedes dieser Modelle war signifikant leistungsfähiger als das vorherige, aufgrund zunehmender Größe (Anzahl der trainierbaren Parameter) und besseren Trainings. Das jüngste dieser Modelle, GPT-4o, wurde im Mai 2024 veröffentlicht.

Solche Modelle bilden die Grundlage für ihre spezifischeren GPT-Systeme, einschließlich Modellen, die für die Anweisungsbefolgung optimiert wurden und wiederum den ChatGPT-Service als Chatbot antreiben. Open AI hat zu GPT-4o und auch zuvor zu GPT-4 keine Daten zur Größe oder Details zum Training veröffentlicht (unter Berufung auf den Wettbewerbsdruck und die Sicherheitsauswirkungen von Modellen im großen Maßstab).

OpenAI’s „GPT-n“ Serie

Modell	Architektur	Anzahl Parameter	Trainingsdaten	Veröffentlichungsdatum	Trainingskosten
GPT-1	12-stufiger 12-Kopf-Transformer-Decoder (kein Encoder), gefolgt von Linear-Softmax	117 Millionen	BookCorpus: 4,5 GB Text aus 7000 unveröffentlichten Büchern verschiedener Genres.	11. Juni 2018	„1 Monat auf 8 GPUs“,1,7 · 1019 FLOP
GPT-2	GPT-1, jedoch mit modifizierter Normalisierung	1,5 Milliarden	WebText: 40 GB Text, 8 Millionen Dokumente, von 45 Millionen Webseiten, die auf Reddit positiv bewertet wurden.	erste/eingeschränkte Version: 14. Februar 2019 Vollversion: 5. November 2019	„Zehner Petaflop/s-Tag“,1,5 · 1021 FLOP
GPT-3	GPT-2, jedoch mit Modifikation, um eine größere Skalierung zu ermöglichen	175 Milliarden	499 Milliarden Token, bestehend aus CommonCrawl (570 GB), WebText, englischer Wikipedia und zwei Buchkorpora (Books1 und Books2).	28. Mai 2020	3640 Petaflop/s-Tag (Tabelle D.1)3,1 · 1023 FLOP
GPT-3.5	nicht veröffentlicht		nicht veröffentlicht	15. März 2022	nicht veröffentlicht
GPT-4	Auch mit Textvorhersage und RLHFtrainiert; akzeptiert sowohl Text als auch Bilder als Eingabe. Weitere Details sind nicht öffentlich.	nichtveröffentlicht	nicht veröffentlicht	14. März 2023	nicht veröffentlicht2,1 · 1025 FLOP (geschätzt)
GPT-4o	unbekannt			13. Mai 2024	nicht veröffentlicht

Andere solche Modelle umfassen Googles PaLM, ein breites Grundlagenmodell, das mit GPT-3 verglichen wurde sowie Together's GPT-JT, das als die engste Open-Source-Alternative zu GPT-3 gilt (und von früheren Open-Source-GPTs abgeleitet ist). Meta AI (ehemals Facebook) hat ebenfalls ein generatives, transformerbasiertes grundlegendes Sprachmodell namens LLaMA.

Grundlegende GPTs können auch Modalitäten neben Text für die Eingabe und/oder Ausgabe verwenden. GPT-4 ist ein multimodales LLM, das in der Lage ist, Text- und Bilddaten zu verarbeiten (wobei die Ausgabe auf Text beschränkt ist). Bezüglich multimodaler Ausgabe werden generative, transformerbasierte Modelle für Text-zu-Bild-Technologien wie Diffusion und parallele Dekodierung eingesetzt. Solche Modelle können als visuelle Grundlagenmodelle (VFMs) dienen, um nachgelagerte Systeme zu entwickeln, die mit Bildern arbeiten können.

Aufgabenorientierte Modelle

Ein grundlegendes GPT-Modell kann weiter angepasst werden, um gezieltere Systeme für spezifische Aufgaben und/oder Fachbereiche zu erstellen. Methoden für solche Anpassungen können zusätzliche Feinabstimmung (über das für das Grundlagenmodell durchgeführte hinaus) sowie bestimmte Formen der Anweisungsgestaltung umfassen.

Ein wichtiges Beispiel dafür ist die Feinabstimmung von Modellen, um Anweisungen zu befolgen, was natürlich eine recht breite Aufgabe, aber zielgerichteter als ein Grundlagenmodell ist. Im Januar 2022 führte OpenAI InstructGPT ein, eine Serie von Modellen, die mit Hilfe einer Kombination aus überwachtem Training und bestärkendem Lernen durch menschliche Rückkopplung (RLHF) auf der Basis von GPT-3-Sprachmodellen darauf trainiert wurden, Anweisungen zu befolgen. Die Vorteile gegenüber den reinen Grundlagenmodellen umfassten eine höhere Genauigkeit, weniger negative/toxische Stimmung und eine allgemein bessere Übereinstimmung mit den Benutzerbedürfnissen. Daher begann OpenAI, dies als Grundlage für seine API-Serviceangebote zu nutzen. Auch andere an Anweisungen angepasste Modelle wurden von anderen veröffentlicht, einschließlich einer vollständig offenen Version.

Eine andere (verwandte) Art von aufgabenorientierten Modellen sind Chatbots, die menschenähnliche Unterhaltungen führen. Im November 2022 startete OpenAI ChatGPT, eine Online-Chat-Schnittstelle, die von einem aufgabenangepassten Sprachmodell betrieben wird, das ähnlich wie InstructGPT trainiert wurde. Dieses Modell wurde mit RLHF trainiert, wobei menschliche KI-Trainer Gespräche führten, in denen sie sowohl den Benutzer als auch die KI spielten, und dieser neue Dialogdatensatz mit dem InstructGPT-Datensatz für ein Unterhaltungsformat kombiniert wurde, das für einen Chatbot geeignet ist. Zu den weiteren bedeutenden Chatbots gehören derzeit Microsofts Copilot, der OpenAIs GPT-4 verwendet (als Teil einer engeren Zusammenarbeit zwischen OpenAI und Microsoft), und Googles konkurrierender Chatbot Bard(ursprünglich basierend auf ihrer LaMDA-Familie von auf Konversation trainierten Sprachmodellen, mit Plänen, zu PaLM zu wechseln).

Eine weitere Art von Aufgabe, für die ein GPT verwendet werden kann, ist die Meta-Aufgabe, seine eigenen Anweisungen zu generieren, indem es eine Reihe von Vorgaben für sich selbst entwickelt, um ein allgemeineres Ziel, das von einem menschlichen Benutzer gegeben wurde, zu erreichen. Dies wird als KI-Agent bezeichnet, genauer gesagt als ein rekursiver Agent, da er Ergebnisse aus seinen vorherigen Selbstanweisungen verwendet, um ihm bei der Bildung seiner nachfolgenden Vorgaben zu helfen. Das erste bedeutende Beispiel dafür war Auto-GPT (das OpenAIʼs GPT-Modelle verwendet), und seitdem wurden auch andere entwickelt.

Multimodalität

→ Hauptartikel: Multimodale künstliche Intelligenz

Generative, transformerbasierte Systeme können auch auf Aufgaben ausgerichtet sein, die Modalitäten jenseits von Text umfassen. Microsofts Visual ChatGPT zum Beispiel kombiniert ChatGPT mit visuellen Grundlagenmodellen (VFMs), um sowohl Bilder als auch Text als Eingabe oder Ausgabe zu ermöglichen. Darüber hinaus bieten Fortschritte in der Text-to-Speech-Technologie leistungsstarke Werkzeuge für die Erstellung von Audioinhalten, wenn sie in Verbindung mit grundlegenden GPT-Sprachmodellen verwendet werden.

Domänen-Spezifität

GPT-Systeme können auf bestimmte Bereiche oder Domänen ausgerichtet werden. Einige gemeldete Beispiele für solche Modelle und Apps sind wie folgt:

• EinsteinGPT für die Bereiche Vertrieb und Marketing, um bei der Kundenbeziehungspflege zu helfen (verwendet GPT-3.5).
• BloombergGPT für den Finanzbereich, um bei Finanznachrichten und -informationen zu helfen (verwendet frei verfügbare KI-Methoden in Kombination mit ihren proprietären Daten).
• Khanmigo eine Version von GPT für Nachhilfezwecke im Bildungsbereich, unterstützt Schüler bei der Nutzung von Khan Academy, indem es sie durch ihr Lernen führt, ohne direkte Antworten zu geben (betrieben von GPT-4).
• SlackGPT für den Instant-Messaging-Dienst Slack, um bei der Navigation und Zusammenfassung von Diskussionen zu helfen (verwendet OpenAI's API).
• BioGPT für den biomedizinischen Bereich, um bei der Generierung und Auswertung von biomedizinischen Literaturtexten zu helfen (verwendet GPT-2).

Manchmal wird die Domänenspezifität durch Software-Plug-Ins oder Erweiterungen erreicht. Zum Beispiel haben verschiedene Unternehmen spezielle Plug-Ins entwickelt, die direkt mit der ChatGPT-Schnittstelle von OpenAI interagieren, und Google Workspace bietet Erweiterungen wie GPT für Sheets und Docs an, die angeblich die Nutzung von Tabellenkalkulationsfunktionen in Google Sheets erleichtern sollen.

Begriff GPT und Markenrechte

Der Begriff GPT wird auch in den Namen und Beschreibungen von Modellen verwendet, die nicht von OpenAI entwickelt wurden. Verschiedene Forschungseinrichtungen und Unternehmen entwickelten ebenfalls GPT genannte Sprachmodelle – dies auch bereits vor dem Durchbruch von ChatGPT3.5. Beispielhaft seien EleutherAI oder Cerebrasgenannt. Auch Unternehmen in verschiedenen Branchen brachten auf ihren jeweiligen Gebieten aufgabenorientierte GPTs heraus wie z. B. EinsteinGPT von Salesforce (für CRM) und BloombergGPT von Bloomberg (für Finanzen).

OpenAI, das im Jahr 2018 den ersten generativen vorab trainierten Transformer (GPT) entwickelt hatte, verlangte im Mai 2023, dass GPT als Marke von OpenAI angesehen werden sollte. Im April 2023 überarbeitete OpenAI die Markenrichtlinien in seinen Nutzungsbedingungen, um anzuzeigen, dass andere Unternehmen, die seine API nutzen, um ihre KI-Dienste auszuführen, GPT nicht mehr in ihren Namen oder ihre Marken aufnehmen sollten. Im Mai 2023 beauftragte OpenAI einen Markenverwaltungsdienst, um seine API-Kunden über diese Richtlinie zu informieren, jedoch wurden in diesen Benachrichtigungen keine offensichtlichen rechtlichen Ansprüche erhoben (wie Markenrechtsverletzungen oder Aufforderungen zur Einstellung).

Im Zusammenhang damit stellte OpenAI beim United States Patent and Trademark Office (USPTO) einen Antrag auf Inlandsregistrierung von GPT und ChatGPT als Marken im Bereich der KI. OpenAI versuchte die Bearbeitung seines Antrags zu beschleunigen, aber das USPTO lehnte diesen Antrag im Frühjahr 2023 ab. Die Registrierungsfrage zog sich über das ganze Jahr, im Februar 2024 lehnte das USPTO dann die Registrierung erneut ab. Das Patentamt begründete dies damit, dass sowohl die Abkürzung GPT als auch der Begriff Chat zu deskriptiv und allgemeingebräuchlich seien.

Einzelnachweise

1. Geoffrey Hinton (et-al): Deep neural networks for acoustic modeling in speech recognition. In: IEEE Signal Processing Magazine. Digital Object Identifier 10.1109/MSP.2012.2205597. Jahrgang, 15. Oktober 2012, doi:10.1109/MSP.2012.2205597 (stanford.edu [PDF]).
2. Li Deng: A tutorial survey of architectures, algorithms, and applications for deep learning | APSIPA Transactions on Signal and Information Processing | Cambridge Core. In: Apsipa Transactions on Signal and Information Processing. 3. Jahrgang. Cambridge.org, 22. Januar 2014, S. e2, doi:10.1017/atsip.2013.9 (cambridge.org[abgerufen am 21. Mai 2023]).
3. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, Illia Polosukhin: Attention is All you Need.(PDF) In: Advances in Neural Information Processing Systems. Curran Associates, Inc., 2017, abgerufen am 29. April 2024 (englisch).
4. Steven Levy: 8 Google Employees Invented Modern AI. Here’s the Inside Story. Wired, 20. März 2024, abgerufen am 2. Mai 2024 (englisch).
5. Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Computer Science. 24. Mai 2019, arxiv:1810.04805v2.
6. Zhilin Yang (et-al): XLNet. In: Proceedings from NeurIPS 2019. 2019 (neurips.cc [PDF]).
7. Amit Raja Naik: Google Introduces New Architecture To Reduce Cost Of Transformers. In: Analytics India Magazine. 23. September 2021.
8. Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever: Improving Language Understanding by Generative Pre-Training. OpenAI, 11. Juni 2018, S. 12, abgerufen am 21. Januar 2021.
9. Mohammed Haddad: How does GPT-4 work and how can you start using it in ChatGPT? In: www.aljazeera.com.
10. Generative AI: a game-changer society needs to be ready for. In: World Economic Forum.
11. Rob Toews: The Next Generation Of Large Language Models. In: Forbes.
12. The A to Z of Artificial Intelligence. In: Time. 13. April 2023 (time.com).
13. Introducing the Center for Research on Foundation Models (CRFM). In: Stanford HAI.
14. Maria Gramsch: Neue ChatGPT-Version: Alle Infos zu GPT-4o von OpenAI. In: BASIC thinking. 15. Mai 2024, abgerufen am 26. Mai 2024(deutsch).
15. OpenAI: GPT-4 Technical Report. 2023, abgerufen am 16. März 2023.
16. Improving language understanding with unsupervised learning. In: openai.com. Abgerufen am 18. März 2023 (amerikanisches Englisch).
17. ML input trends visualization. In: Epoch. Abgerufen am 2. Mai 2023(englisch).
18. James Vincent: OpenAI has published the text-generating AI it said was too dangerous to share. In: The Verge. 7. November 2019.
19. Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei: Language Models are Few-Shot Learners. In: Computer Science. 28. Mai 2020, arxiv:2005.14165v4.
20. Dave Ver Meer: ChatGPT Statistics. In: NamePepper. 1. Juni 2023,abgerufen am 9. Juni 2023 (englisch).
21. OpenAI: Hello GPT-4o. In: openai.com/. OpenAI, 13. Mai 2024, abgerufen am 26. Mai 2024 (englisch).
22. James Vincent: Google opens up its AI language model PaLM to challenge OpenAI and GPT-3. In: The Verge. 14. März 2023.
23. Google Opens Access to PaLM Language Model.
24. Aparna Iyer: Meet GPT-JT, the Closest Open Source Alternative to GPT-3. In: Analytics India Magazine. 30. November 2022.
25. Meta Debuts AI Language Model, But It's Only for Researchers. In: PCMAG.
26. Arham Islam: Multimodal Language Models: The Future of Artificial Intelligence (AI). 27. März 2023.
27. Arham Islam: How Do DALL·E 2, Stable Diffusion, and Midjourney Work?14. November 2022.
28. Shritama Saha: Google Launches Muse, A New Text-to-Image Transformer Model. In: Analytics India Magazine. 4. Januar 2023.
29. Chenfei Wu (et-al): Visual ChatGPT. 8. März 2023.
30. Rishi Bommasani (et-al): On the Opportunities and Risks of Foundation Models. 12. Juli 2022.
31. Aligning language models to follow instructions. In: openai.com.Abgerufen am 23. März 2023.
32. Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe: Training language models to follow instructions with human feedback. In: Computer Science. 4. März 2022, arxiv:2203.02155.
33. Meeta Ramnani: OpenAI dumps its own GPT-3 for something called InstructGPT, and for right reason. In: Analytics India Magazine. 28. Januar 2022.
34. Stanford CRFM. In: crfm.stanford.edu.
35. Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM. In: Databricks. 12. April 2023.
36. Introducing ChatGPT. In: openai.com. Abgerufen am 16. März 2023(amerikanisches Englisch).
37. Kyle Wiggers: Microsoft doubles down on AI with new Bing features.4. Mai 2023.
38. ChatGPT vs. Bing vs. Google Bard: Which AI Is the Most Helpful? In: CNET.
39. Auto-GPT, BabyAGI, and AgentGPT: How to use AI agents. In: Mashable.19. April 2023.
40. Bernard Marr: Auto-GPT May Be The Strong AI Tool That Surpasses ChatGPT. In: Forbes.
41. Microsoft Open-Sources Multimodal Chatbot Visual ChatGPT. In: InfoQ.(englisch).
42. Benj Edwards: Microsoft's new AI can simulate anyone's voice with 3 seconds of audio. In: Ars Technica. 9. Januar 2023 (englisch).
43. Ryan Morrison: Salesforce launches EinsteinGPT built with OpenAI technology. 7. März 2023.
44. Kif Leswing: Bloomberg plans to integrate GPT-style A.I. into its terminal.In: CNBC. 13. April 2023.
45. Learning nonprofit Khan Academy is piloting a version of GPT called Khanmigo. In: Fast Company. 4. Mai 2023, abgerufen am 22. Mai 2023.
46. Khan Academy Pilots GPT-4 Powered Tool Khanmigo for Teachers -. In: THE Journal.
47. Mark Hachman: Slack GPT will bring AI chatbots to your conversations.In: PCWorld. 4. Mai 2023.
48. Renqian Luo (et-al): BioGPT: Generative pre-trained transformer for biomedical text generation and mining. In: Briefings in Bioinformatics. 23. Jahrgang, Nr. 6, 3. April 2023, doi:10.1093/bib/bbac409, PMID 36156661, arxiv:2210.10341.
49. Know about ChatGPT's 13 best plugins, designed to improve your overall user experience – Latest Digital Transformation Trends | Cloud News | Wire19. 5. Mai 2023.
50. ChatGPT plugins. In: openai.com.
51. How to Use ChatGPT on Google Sheets With GPT for Sheets and Docs.In: MUO. 12. März 2023.
52. Matt Asay: Embrace and extend Excel for AI data prep. In: InfoWorld.27. Februar 2023.
53. Language Modeling. 12. Februar 2024, abgerufen am 28. Mai 2024(britisches Englisch).
54. Tin Hoang: Cerebras Systems Releases Seven New GPT Models Trained on CS-2 Wafer-Scale Systems. In: Cerebras. 28. März 2023, abgerufen am 28. Mai 2024 (amerikanisches Englisch).
55. Ryan Morrison: Salesforce launches EinsteinGPT built with OpenAI technology. In: Tech Monitor. 7. März 2023.
56. The ChatGPT of Finance is Here, Bloomberg is Combining AI and Fintech. In: Forbes.
57. William Hicks: ChatGPT creator OpenAI is asking startups to remove 'GPT' from their names. In: The Business Journal. 10. Mai 2023, abgerufen am 21. Mai 2023.
58. OpenAI: Brand Guidelines. 24. April 2023, abgerufen am 21. Mai 2023.
59. Connie Loizos: 'GPT' may be trademarked soon if OpenAI has its way.25. April 2023, abgerufen am 28. Mai 2024 (amerikanisches Englisch).
60. Todd Bishop: USPTO denies OpenAI’s attempts to trademark ‘ChatGPT’ and ‘GPT’. In: geekwire. geekwire.com, 15. Februar 2024, abgerufen am 28. Mai 2024 (englisch).
61. USPTO rejects OpenAI’s “GPT” trademark application - Tech Startups.7. Februar 2024, abgerufen am 28. Mai 2024 (amerikanisches Englisch).