Attention is all you need
https://en.wikipedia.org/wiki/Attention_Is_All_You_Need
"Attention Is All You Need" ist ein bahnbrechendes Forschungsdokument aus dem Jahr 2017 im Bereich des maschinellen Lernens, verfasst von acht Wissenschaftlern bei Google. Das Papier führte eine neue Deep-Learning-Architektur ein, bekannt als der Transformer, basierend auf dem 2014 von Bahdanau et al. vorgeschlagenen Attention-Mechanismus. Es wird als grundlegend für die moderne künstliche Intelligenz angesehen, da der Transformer-Ansatz zur Hauptarchitektur für große Sprachmodelle wie die auf GPT basierenden geworden ist.
Wikipedia
Zum Zeitpunkt der Veröffentlichung lag der Fokus der Forschung auf der Verbesserung von Seq2seq-Techniken für maschinelle Übersetzungen. Die Autoren erkannten jedoch das Potenzial der Technik für andere Aufgaben wie die Beantwortung von Fragen und das, was heute als multimodale generative KI bekannt ist.
Wikipedia
Der Titel des Papiers ist eine Anspielung auf das Lied "All You Need Is Love" von den Beatles. Der Name "Transformer" wurde gewählt, weil Jakob Uszkoreit, einer der Autoren, den Klang des Wortes mochte. Ein frühes Design-Dokument trug den Titel "Transformers: Iterative Self-Attention and Processing for Various Tasks" und enthielt eine Illustration von sechs Charakteren aus der Transformers-Zeichentrickserie. Das Team nannte sich Team Transformer.
Wikipedia
Einige frühe Beispiele, an denen das Team ihre Transformer-Architektur testete, umfassten die Übersetzung von Englisch nach Deutsch, das Generieren von Wikipedia-Artikeln über "The Transformer" und das Parsing. Diese Experimente überzeugten das Team davon, dass der Transformer ein allgemeines Sprachmodell ist und nicht nur für Übersetzungen geeignet.
Wikipedia
Bis 2024 wurde das Papier über 140.000 Mal zitiert.
Wikipedia
Autoren
Die Autoren des Papiers sind: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser und Illia Polosukhin. Alle acht Autoren trugen gleichermaßen zum Papier bei; die Reihenfolge der Namen wurde zufällig festgelegt. Ein Artikel in Wired hebt die Vielfalt der Gruppe hervor:
Sechs der acht Autoren wurden außerhalb der Vereinigten Staaten geboren; die anderen beiden sind Kinder von zwei deutschen Green-Card-Inhabern, die vorübergehend in Kalifornien waren, bzw. ein erstgeborener Amerikaner, dessen Familie vor Verfolgung geflohen war. Wikipedia
Diskutierte und eingeführte Methoden
Das Papier ist vor allem für die Einführung der Transformer-Architektur bekannt, die die Grundlage für die meisten modernen großen Sprachmodelle (LLMs) bildet. Ein Hauptgrund für die Bevorzugung dieser Architektur gegenüber ihren Vorgängern ist die Parallelisierbarkeit, die es ermöglicht, die notwendigen Operationen für das Training auf einer GPU zu beschleunigen. Dadurch können sowohl schnellere Trainingszeiten als auch größere Modelle realisiert werden.
Wikipedia
Historischer Kontext
Vorgänger
Über viele Jahre hinweg wurden Sequenzmodellierung und -generierung mithilfe einfacher rekurrenter neuronaler Netzwerke (RNNs) durchgeführt.
Wikipedia
Aufmerksamkeit mit Seq2seq
Seq2seq-Modelle mit Aufmerksamkeit (einschließlich Selbstaufmerksamkeit) litten weiterhin unter dem gleichen Problem wie rekurrente Netzwerke: Sie waren schwer zu parallelisieren, was ihre Beschleunigung auf GPUs verhinderte. Im Jahr 2016 wurde die zerlegbare Aufmerksamkeit auf Feedforward-Netzwerke angewendet, die leicht zu parallelisieren sind, und erzielte mit einer Größenordnung weniger Parametern als LSTMs einen SOTA-Ergebnis in der Textual Entailment. Einer der Autoren, Jakob Uszkoreit, vermutete, dass Aufmerksamkeit ohne Rekurrenz für Sprachübersetzungen ausreicht, was zum Titel "Attention Is All You Need" führte. Diese Hypothese widersprach dem damaligen allgemeinen Konsens, und selbst sein Vater, Hans Uszkoreit, ein bekannter Computerlinguist, war skeptisch.
Wikipedia
Parallelisierung der Aufmerksamkeit
Im Jahr 2017 wurde das ursprüngliche Encoder-Decoder-Transformer-Modell im Papier "Attention Is All You Need" vorgestellt. Zu dieser Zeit lag der Fokus der Forschung auf der Verbesserung von Seq2seq für maschinelle Übersetzungen durch den Verzicht auf Rekurrenz, um alle Token parallel zu verarbeiten, wobei der Dot-Product-Attention-Mechanismus beibehalten wurde, um die Textverarbeitungsleistung zu erhalten. Dies führte zur Einführung eines Multi-Head-Attention-Modells, das aufgrund der Verwendung unabhängiger Köpfe und des Fehlens von Rekurrenz leichter zu parallelisieren war. Seine Parallelisierbarkeit war ein wichtiger Faktor für seine weitverbreitete Nutzung in großen neuronalen Netzwerken.
Wikipedia
Ära des KI-Booms
Bereits im Frühjahr 2017, noch bevor der Preprint "Attention Is All You Need" veröffentlicht wurde, wandte einer der Mitautoren die "Decoder-only"-Variante der Architektur an, um fiktive Wikipedia-Artikel zu generieren. Die Transformer-Architektur wird nun in vielen generativen Modellen verwendet, die zum aktuellen KI-Boom beitragen. Im Bereich der Sprachmodellierung war ELMo (2018) ein bidirektionales LSTM, das kontextualisierte Wort-Einbettungen erzeugte und die Forschung von Bag-of-Words und Word2Vec verbesserte. Es folgte BERT (2018), ein reines Encoder-Transformer-Modell.