Tokenisation
Im Gegensatz zu schriftkundigen Menschen verstehen Computer nicht die Struktur eines Dokuments in natürlicher Sprache und können Wörter und Sätze nicht automatisch erkennen. Für einen Computer ist ein Dokument lediglich eine Abfolge von Bytes. Computer „wissen“ nicht, dass ein Leerzeichen Wörter in einem Dokument trennt. Stattdessen müssen Menschen den Computer so programmieren, dass er erkennt, was ein einzelnes oder eindeutiges Wort – ein sogenanntes Token – darstellt. Ein solches Programm wird üblicherweise als Tokenizer, Parser oder Lexer bezeichnet. Viele Suchmaschinen sowie andere Programme zur Verarbeitung natürlicher Sprache verwenden spezialisierte Programme zur Analyse, wie zum Beispiel YACC oder Lex.
Während der Tokenisierung identifiziert der Parser Zeichenfolgen, die Wörter und andere Elemente wie Satzzeichen darstellen, welche durch numerische Codes repräsentiert werden – einige davon sind nicht druckbare Steuerzeichen. Der Parser kann auch Entitäten wie E-Mail-Adressen, Telefonnummern und URLs erkennen. Beim Erkennen jedes Tokens können verschiedene Eigenschaften gespeichert werden, wie zum Beispiel die Schreibweise des Tokens (groß, klein, gemischt, Eigenname), Sprache oder Kodierung, lexikalische Kategorie (Wortart, wie „Substantiv“ oder „Verb“), Position, Satznummer, Position im Satz, Länge und Zeilennummer.