Sprachmodell

Ein Sprachmodell (englisch language model) ist ein mathematisches Modell, das die Abfolge von Elementen in einer Sequenz (zum Beispiel von Buchstaben oder Wörtern in natürlichsprachlichen Texten) modelliert, meist in Form eines stochastischen Prozesses.

Sprachmodelle spielen eine zentrale Rolle in der modernen Computerlinguistik und sind eine entscheidende Komponente dortiger Praxisanwendungen, etwa bei der Textgenerierung zur maschinellen Übersetzung oder Spracherkennung. Bekanntheit gewonnen haben sie durch das Aufkommen von Generativer Künstlicher Intelligenz. So ist auch das ChatGPT zugrunde liegende GPT ein Sprachmodell.

Inhaltsverzeichnis

• 1Mathematische Beschreibung
  • 1.1N-Gramme
  • 1.2Neuronale Sprachmodelle
• 2Generierung mit Sprachmodellen
• 3Sprachmodelle und künstliche Intelligenz
• 4Kleine und große Sprachmodelle
• 5Literatur
• 6Einzelnachweise
• 7Anmerkungen

Sprachmodelle und künstliche Intelligenz

Laut Yoav Goldberg kann die Fähigkeit, das nächste Wort nach einer vorgegebenen Folge von Wörtern mit großer Genauigkeit vorherzusagen, als Indikator für Intelligenz auf menschlichem Niveau gesehen werden, da auch jedes Präfix der Form „Die Antwort auf Frage X ist“ vervollständigt werden können müsse und die Lösung dieser Aufgabe daher nicht nur Ausnutzung linguistischer Regularitäten, sondern auch eine große Menge an Weltwissen erfordere.

Kleine und große Sprachmodelle

Inzwischen werden kleine Sprachmodelle entwickelt, um mit spezifischen (Arten von) Daten individuell angepasste Outputs zu erzeugen. Im Gegensatz zu den großen Sprachmodellen wie ChatGPT – die riesige Datenmengen verarbeiten und deren Qualität nicht sichergestellt werden kann – besteht bei kleinen Sprachmodellen eine bessere Kontrolle und Möglichkeit der Qualitätsprüfung der Inputs, so dass fachspezifisch qualitativ hochwertigere Outputs erwartet werden können.

Literatur

• Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 105–114, doi:10.2200/S00762ED1V01Y201703HLT037(englisch).
• Michael Collins: Language Modeling. Course notes for NLP, Columbia University. 2013 (englisch, columbia.edu [PDF; 203 kB]).

Einzelnachweise

1. Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 105, doi:10.2200/S00762ED1V01Y201703HLT037(englisch).
2. Stanley Chen, Joshua Goodman: An Empirical Study of Smoothing Techniques for Language Modeling. In: Aravind Joshi, Martha Palmer (Hrsg.): Proceedings of the 34th Annual Meeting of the ACL. Juni 1996 (englisch, arxiv.org [PDF; 227 kB]).
3. Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 106, doi:10.2200/S00762ED1V01Y201703HLT037 (englisch).
4. Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 107, doi:10.2200/S00762ED1V01Y201703HLT037(englisch).
5. Collins (2013), Abschnitt 1.4
6. Masami Nakamura, Kiyohiro Shikano: A study of English word category prediction based on neural networks. In: Journal of the Acoustical Society of America. Band 84, Nr. S1, 1988, S. 60–61, doi:10.1121/1.2026400 (aip.org [PDF; 842 kB]).
7. Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 109, doi:10.2200/S00762ED1V01Y201703HLT037(englisch).
8. Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Janvin: A neural probabilistic language model. In: Journal of Machine Learning Research. Band 3, 2003, ISSN 1532-4435, S. 1137–1155, doi:10.1007/10985687_6 (neurips.cc [PDF; 1,6 MB]).
9. Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 109-, doi:10.2200/S00762ED1V01Y201703HLT037(englisch).
10. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser, Illia Polosukhin: Attention Is All You Need. In: 31st Conference on Neural Information Processing Systems. 2017 (neurips.cc [PDF; 556 kB]).
11. Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 112, doi:10.2200/S00762ED1V01Y201703HLT037(englisch).
12. Gerhard Paaß, Sven Giesselbach: Pre-trained Language Models. In: Foundation Models for Natural Language Processing. Springer International Publishing, Cham 2023, ISBN 978-3-03123189-6, S. 19–78, hier: S. 41, doi:10.1007/978-3-031-23190-2_2 (englisch).
13. Top-k-Sampling in ChatGPT. 2. Mai 2023, abgerufen am 16. Juli 2023 (deutsch).
14. Peter Liu, Mohammad Saleh, Etienne Pot, Ben Goodrich, Ryan Sepassi, Łukasz Kaiser, Noam Shazeer: Generating Wikipedia by Summarizing Long Sequences. 2018, S. 5, doi:10.48550/arXiv.1801.10198 (arxiv.org [PDF; 1,2 MB]).
15. Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever: Improving Language Understanding by Generative Pre-Training. 2018, S. 4 (openai.com[PDF; 528 kB]).
16. Yoav Goldberg: Neural Network Methods for Natural Language Processing (= Graeme Hirst [Hrsg.]: Synthesis Lectures on Human Language Technologies. Nr. 37). Morgan & Claypool Publishers, 2017, ISBN 978-1-62705-295-5, Chapter 9 Language Modeling, S. 105, doi:10.2200/S00762ED1V01Y201703HLT037(englisch, insbesondere Fußnote 2).
17. Dean DeBiase: Why Small Language Models Are The Next Big Thing In AI. In: Forbes. 25. November 2024, abgerufen am 27. November 2024 (englisch).
18. Ana Rojo-Echeburúa: Kleine Sprachmodelle: Ein Leitfaden mit Beispielen. In: datacamp. 14. November 2024, abgerufen am 27. November 2024.

Anmerkungen

1. Wie meistens in der modernen Informatik ist auch hier die englische Bezeichnung präsenter. Die deutsche Bezeichnung Sprachmodell findet sich beispielhaft in:
   • Franziska Meyer: Sprachmodelle im Natural Language Processing. Seminararbeit an der Universität Leipzig. 2020 (uni-leipzig.de [PDF; 344 kB]).
   • Sina Schmitt: Einfluss dynamischer Kontexterweiterungen auf die Schlussfolgerungsfähigkeiten neuronaler Sprachmodelle. Bachelorarbeit am Karlsruher Institut für Technologie. 2021 (archive.org [PDF; 2,8 MB]).
   • Alena Behrens: Evaluation des Sprachmodells GPT-3 für den Einsatz an der ZBW – Leibniz Informationszentrum Wirtschaft. Masterarbeit an der Technischen Hochschule Wildau. 2022 (kobv.de [PDF; 3,3 MB]).
2. so auch in Goldberg (2017) verwendet, allerdings teilweise ohne Start- und Endmarker; der Startmarker ist dort ansonsten <s> statt {\displaystyle \bot } und der Endmarker </s>; bei Collins (2013) heißt der Endmarker STOP
3. Je nachdem, ob {\displaystyle w_{i}} selbst mitgezählt wird oder nicht, kann es auch {\displaystyle w_{i-N},\ldots ,w_{i-1}} sein. Dieser Artikel verwendet die bei {\displaystyle N}-Grammen übliche Konvention, dass {\displaystyle w_{i}} mitgezählt wird, d. h. Unigramme (1-Gramme) betrachten die Wahrscheinlichkeiten der Elemente völlig unabhängig von ihrem Kontext.