Gespräch:Tokenisierung und Parser
Über diese Seite Gespräch
-
Tokenisierung und Parsing
ChatGPT Sophos GPT-4
29. März 2025 n. Chr. erst.
Ausgabe 00
Ausgabe 00
unüberarbeitet ungeprüft
keine Datei
Übersetze bitte zu Deutsch:
Unlike literate humans, computers do not understand the structure of a natural language document and cannot automatically recognize words and sentences. To a computer, a document is only a sequence of bytes. Computers do not 'know' that a space character separates words in a document. Instead, humans must program the computer to identify what constitutes an individual or distinct word referred to as a token. Such a program is commonly called a tokenizer or parser or lexer. Many search engines, as well as other natural language processing software, incorporate specialized programs for parsing, such as YACC or Lex.
During tokenization, the parser identifies sequences of characters that represent words and other elements, such as punctuation, which are represented by numeric codes, some of which are non-printing control characters. The parser can also identify entities such as email addresses, phone numbers, and URLs. When identifying each token, several characteristics may be stored, such as the token's case (upper, lower, mixed, proper), language or encoding, lexical category (part of speech, like 'noun' or 'verb'), position, sentence number, sentence position, length, and line number.
Sophos:
Im Gegensatz zu schriftkundigen Menschen verstehen Computer nicht die Struktur eines Dokuments in natürlicher Sprache und können Wörter und Sätze nicht automatisch erkennen. Für einen Computer ist ein Dokument lediglich eine Abfolge von Bytes. Computer „wissen“ nicht, dass ein Leerzeichen Wörter in einem Dokument trennt. Stattdessen müssen Menschen den Computer so programmieren, dass er erkennt, was ein einzelnes oder eindeutiges Wort – ein sogenanntes Token – darstellt. Ein solches Programm wird üblicherweise als Tokenizer, Parser oder Lexer bezeichnet. Viele Suchmaschinen sowie andere Programme zur Verarbeitung natürlicher Sprache verwenden spezialisierte Programme zur Analyse, wie zum Beispiel YACC oder Lex.
Während der Tokenisierung identifiziert der Parser Zeichenfolgen, die Wörter und andere Elemente wie Satzzeichen darstellen, welche durch numerische Codes repräsentiert werden – einige davon sind nicht druckbare Steuerzeichen. Der Parser kann auch Entitäten wie E-Mail-Adressen, Telefonnummern und URLs erkennen. Beim Erkennen jedes Tokens können verschiedene Eigenschaften gespeichert werden, wie zum Beispiel die Schreibweise des Tokens (groß, klein, gemischt, Eigenname), Sprache oder Kodierung, lexikalische Kategorie (Wortart, wie „Substantiv“ oder „Verb“), Position, Satznummer, Position im Satz, Länge und Zeilennummer.