Informationsgehalt

Information‎-s-Gehalt lat.-deu.

Der Informationsgehalt (oder auch Überraschungswert) einer Nachricht ist eine logarithmische Größe, die angibt, wie viel Information in dieser Nachricht übertragen wurde.

Dieser Begriff wurde von Claude Shannon erstmals in seiner Informationstheorie formalisiert: Der Informationsgehalt eines Zeichens ist seine statistische Signifikanz. Er bezeichnet also die minimale Anzahl von Bits, die benötigt werden, um ein Zeichen (also eine Information) darzustellen oder zu übertragen. Wichtig ist dabei, dass dies nicht unbedingt der Anzahl der tatsächlich empfangenen Bits (der Datenmenge) entspricht, da der Informationsgehalt vom semantischen Kontext abhängig ist.

Definition

Der Informationsgehalt eines Zeichens x mit einer Auftrittswahrscheinlichkeit p_x ist definiert als

a entspricht dabei der Mächtigkeit des Alphabets (d. h. der Anzahl der möglichen Zustände einer Nachrichtenquelle).

Abhängig von der gewählten Basis a ändert sich auch die Einheit des Informationsgehaltes. Dies stellte schon Shannon in A Mathematical Theory of Communication fest. Im Allgemeinen kann die Einheit des Informationsgehaltes als Shannon (sh) bezeichnet werden, aber diese Einheitsbezeichnung hat sich nicht durchgesetzt. Im wohl häufigsten Fall, dass für das Alphabet (mit der Mächtigkeit a) das Binäralphabet gewählt wird, entspricht die Einheit des Informationsgehaltes dem Bit.

Im folgenden Text sei a = 2 (das Binärsystem) angenommen, wodurch man als Ergebnis die Anzahl der Binärziffern (in Bit) erhält. Stattdessen könnte auch jedes andere Zahlensystem verwendet werden.

Allgemeines

Der Begriff der Information, wie er in der Informationstheorie nach Shannon verwendet wird, ist streng von dem gewöhnlichen Gebrauch dieses Begriffes zu unterscheiden. Insbesondere darf er nicht mit dem Begriff der Bedeutunggleichgesetzt werden. In Shannons Theorie können z. B. zwei Nachrichten, von denen eine von besonderer Bedeutung ist, während die andere nur „Unsinn“ darstellt, genau die gleiche Menge an Information enthalten. Für den einfachen Fall, in dem nur zwischen zwei möglichen Nachrichten zu wählen ist, wird dabei willkürlich festgelegt, dass die Information, die mit dieser Situation verbunden ist, gleich 1 ist. Die beiden Nachrichten, zwischen denen bei einer solchen Auswahl entschieden werden soll, können dabei völlig beliebig sein. Eine Nachricht könnte z. B. der Text des Telefonbuches sein und die andere Nachricht der einzelne Buchstabe „A“. Diese beiden Nachrichten könnten dann beispielsweise durch die Symbole 0 und 1 codiert werden.

Allgemeiner wird durch eine beliebige Nachrichtenquelle eine Folge von Auswahlvorgängen aus einer Menge von elementaren Zeichen vorgenommen, wobei diese ausgewählte Folge dann die eigentliche Nachricht darstellt. Hierbei ist leicht einzusehen, dass die Wahrscheinlichkeiten der Zeichen bei der Erzeugung der Nachricht von besonderer Wichtigkeit sind. Denn wenn die aufeinanderfolgenden Zeichen ausgewählt werden, ist diese Auswahl, zumindest vom Standpunkt des Kommunikationssystems aus, von dieser Wahrscheinlichkeit bestimmt. Diese Wahrscheinlichkeiten sind in den meisten Fällen sogar voneinander abhängig, d. h., sie hängen von den vorangegangenen Auswahlereignissen ab. Ist z. B. das letzte Wort einer Wortfolge der Artikel „die“, dann ist die Wahrscheinlichkeit dafür, dass als nächstes Wort wieder ein Artikel oder ein Verb auftritt, sehr gering.

Ein Maß, welches in besonderer Weise den natürlichen Anforderungen genügt, die man an dieses Informationsmaß stellt, entspricht genau dem, welches in der statistischen Physik als Entropie bekannt geworden ist. Wie dieses Informationsmaß von den entsprechenden Wahrscheinlichkeiten abhängt, wird im folgenden Abschnitt erklärt.

Formal werden die zu übertragenden Informationen als Zeichen bezeichnet. Dabei steht nur ein endlicher Zeichenvorrat zur Verfügung, Zeichen können aber beliebig kombiniert werden. Die minimale Anzahl von Bits, die für die Darstellung oder Übertragung eines Zeichens benötigt werden, hängt nun von der Wahrscheinlichkeit ab, mit der ein Zeichen auftritt: Für Zeichen, die häufig auftreten, verwendet man weniger Bits als für Zeichen, die selten verwendet werden. Datenkompressionstechniken machen sich das zu Nutze, insbesondere Entropiekodierungen wie die Arithmetische Kodierung und die Huffman-Kodierung. Ein ähnliches Verfahren wird zum Ausbalancieren von Binärbäumen verwendet.

Je kleiner die Auftretenswahrscheinlichkeit eines Zeichens ist, desto höher ist sein Informationsgehalt. Andersherum ist der Informationsgehalt eines Zeichens sehr gering, wenn es sehr oft vorkommt.

Grundsätzlich wird der Informationsgehalt für statistisch unabhängige Ereignisse und statistisch abhängige Ereignisse unterschiedlich berechnet.

Man könnte auch sagen, dass der Informationsgehalt eines Zeichens proportional zum (negativen) Logarithmus der Wahrscheinlichkeit ist, mit der man es erraten kann. Der Informationsgehalt ist also ein Maß für die maximale Effizienz, mit der eine Information übertragen werden kann.

Ein alternatives Maß für den Informationsgehalt einer Zeichenkette ist die Kolmogorov-Komplexität bzw. der algorithmische Informationsgehalt: er ist definiert als die Länge des kürzesten Programms, das diese Zeichenkette erzeugen kann. Ein weiterer Ansatz ist die sogenannte Algorithmische Tiefe, die besagt, wie aufwändig es ist, eine bestimmte Nachricht zu erzeugen. Gregory Chaitin ist ebenfalls über die Shannonsche Definition der Entropie einer Information hinausgegangen (siehe Algorithmische Informationstheorie).

In diesem Zusammenhang spielen auch die Kreuzentropie sowie die Kullback-Leibler-Divergenz als Maße für die durch eine schlechte Kodierung ausgelösten Verschwendungen von Bits eine Rolle.

Informationstheorie

Der Überraschungswert (oder auch Informationsgehalt) eines Ereignisses oder einer Nachricht hängt – unabhängig vom Kontext – vom Kehrwert der Eintrittswahrscheinlichkeit ab. Die Funktion 𝑃 gibt an, in welchem Maße eine neue Aussage 𝑒 für 𝐴 einen Informationswert oder Überraschungswert (Surprisal) hat.

• 3Informationsgehalt statistisch unabhängiger Ereignisse
• 4Informationsgehalt statistisch abhängiger Ereignisse
  • 4.1Verbundwahrscheinlichkeit H(X,Y)
• 5Informationsgehalt bei analogen Signalen
• 6Beispiele für statistisch unabhängige Ereignisse
  • 6.1Beispiel 1
  • 6.2Beispiel 2
  • 6.3Beispiel 3

Siehe auch

• Algorithmische Informationstheorie
• Auffälligkeit
• Blockentropie
• Entropieschätzung
• Negentropie

Literatur

• Sebastian Dworatschek: Grundlagen der Datenverarbeitung. 8. Auflage. Walter de Gruyter, Berlin 1989, ISBN 3-11-012025-9 (eingeschränkte Vorschau in der Google-Buchsuche).
• Martin Werner: Information und Codierung: Grundlagen und Anwendungen. 2. Auflage. Vieweg + Teubner, Wiesbaden 2008, ISBN 978-3-8348-0232-3 (eingeschränkte Vorschau in der Google-Buchsuche).
• Werner Heise, Pasquale Quattrocchi: Informations- und Codierungstheorie: Mathematische Grundlagen der Daten-Kompression und -Sicherung in diskreten Kommunikationssystemen. 3. Auflage. Springer, Berlin / Heidelberg 1995, ISBN 3-540-57477-8 (eingeschränkte Vorschau in der Google-Buchsuche).

Weblinks

• Grundlagen der Informationstheorie. (PDF; 47,5 kB).
• Informationsgehalt einer Nachricht. (PDF; 243 kB).
• Informationstheorie. (PDF; 1,1 MB) Archiviert vom Original am 15. Juni 2016.
• Codierungstheorie. (PDF; 347 kB).
• Informationsgehalt und Komplexität von Zeitreihen. (PDF; 3,0 MB) Archiviert vom Original am 16. Juli 2007.

Einzelnachweise

1. Claude Elwood Shannon: A Mathematical Theory of Communication. In: Bell Labs (Hrsg.): The Bell System Technical Journal. Band 27, Nr. 3, Juli 1948, ISSN 0005-8580, S. 379–423, doi:10.1002/j.1538-7305.1948.tb01338.x(englisch, harvard.edu [PDF; 358 kB; abgerufen am 1. August 2023]).
2. Claude Elwood Shannon: Prediction and Entropy of Printed English. In: Bell Labs (Hrsg.): The Bell System Technical Journal. Band 30, Nr. 1, Januar 1951, ISSN 0005-8580, S. 50–64, doi:10.1002/j.1538-7305.1951.tb01366.x(englisch, uci.edu [PDF; 5,4 MB; abgerufen am 1. August 2023]).