„Token (Übersetzerbau)“ – Versionsunterschied
| [ungesichtete Version] | [ungesichtete Version] |
Die Seite wurde neu angelegt: „Ein '''Token''' (Art.: „das“; Pl.: ‚Tokens‘) ist eine Zeichenkette, der von einer formalen Grammatik ein Typ zugewiesen wird. Das Token bildet die lexikalische Grundeinheit für den Parser. Ein Token entspricht in der Grammatik des Parsers einem Terminalsymbol. Im trivialen Fall sind Tokens die Zeichen der ursprünglichen Eingabe: Zum Beispiel…“ |
KKeine Bearbeitungszusammenfassung |
||
| Zeile 21: | Zeile 21: | ||
[[Kategorie:Compilerbau]] | [[Kategorie:Compilerbau]] | ||
en: Lexical analysis#Token | |||
it:Token#Informatica | |||
pt: Análise léxica#Token | |||
Aktuelle Version vom 8. Juni 2025, 16:48 Uhr
Ein Token (Art.: „das“; Pl.: ‚Tokens‘) ist eine Zeichenkette, der von einer formalen Grammatik ein Typ zugewiesen wird. Das Token bildet die lexikalische Grundeinheit für den Parser. Ein Token entspricht in der Grammatik des Parsers einem Terminalsymbol.
Im trivialen Fall sind Tokens die Zeichen der ursprünglichen Eingabe: Zum Beispiel der Buchstabe A wird als Token vom Typ A erkannt. Mehrere Zeichen können im Zuge einer lexikalischen Analyse zu Tokens zusammengefasst werden. Die einem Token zu Grunde liegende Zeichenkette heißt Lexem. Beispiele:
| Token | |
|---|---|
| Lexem | Typ |
| 123 | Zahl |
| foobar | Bezeichner |
| begin | Schlüsselwort |
en: Lexical analysis#Token it:Token#Informatica pt: Análise léxica#Token