Transformer (maschinelles Lernen)
Ein Transformer ist eine von Google entwickelte Deep-Learning-Architektur, die einen Aufmerksamkeitsmechanismus integriert, der erstmals im Artikel Attention Is All You Need aus dem Jahr 2017 vorgestellt wurde. Dabei wird Text in numerische Darstellungen, die als Token bezeichnet werden, und anschließend durch Worteinbettung in Vektoren umgewandelt.
Dies kann z. B. dazu benutzt werden, Text von einer Sprache in eine andere zu übersetzen. Dazu wird ein Transformer mittels maschinellem Lernen anhand einer (großen) Menge von Beispieltexten trainiert, bevor das trainierte Modell dann zur Übersetzung verwendet werden kann. Weitere Beispielanwendungen von Transformern sind die Textgenerierung oder die Zusammenfassung längerer Texte.
Transformer sind hierbei effizienter als Long-short-term-memory-Architekturen (LSTM) und bilden die Grundarchitektur des generativen vortrainierten Transformers (GPT) sowie anderer vortrainierter Machine-Learning-Modelle.
Lineare Transformer sind eine Form von „fast weight programmers“, welche 1991 vorgeschlagen wurden.[1]
Hintergrund
Transformer wurden im Dezember 2017 im Rahmen der Neural-Information-Processing-Systems-Konferenz von einem Team von 8 Google-Mitarbeitern vorgestellt und mit dem Artikel „Attention Is All You Need“ veröffentlicht.[2][3]
Bei der Verarbeitung natürlicher Sprache (NLP) wurden vor der Einführung des Transformers rekurrente Modelle wie LSTM, GRU und Seq2Seq eingesetzt, welche eine Eingangssequenz sequenziell abarbeiten. Diese Methoden wurden später um einen Aufmerksamkeitsmechanismus (engl. attention) erweitert.
Transformer verzichten auf die rekurrente Struktur und basieren stattdessen nur auf dem Aufmerksamkeitsmechanismus; dieser soll menschliche kognitiveAufmerksamkeit nachahmen und die wesentlichen Sinnzusammenhänge in einem gegebenen Kontext erkennen. Er berechnet eine „weiche“ Gewichtung für jedes Wort, genauer gesagt für die Einbettung in seinem aktuellen Kontextfenster. Diese Gewichte können berechnet werden:
- parallel (z. B. in Transformern)
- sequentiell (z. B. in rekurrenten neuronalen Netzen).
„Weiche“ Gewichte können sich im Gegensatz zu (vor)trainierten „harten“ Gewichten, die fix sind und keine Anpassung an wechselnden Kontext erlauben, bei jedem Durchlauf ändern. Sie erzielen bei geringerem Rechenaufwand ähnliche oder bessere Ergebnisse bei der Transformation von Sequenzen als rekurrente Modelle.
Beispiele für Transformermodelle sind Bidirectional Encoder Representations from Transformers (BERT)[4] und Generative Pretrained Transformer (GPT). Auch in AlphaFold2 sind Transformer als Evoformer in der Architektur enthalten.