Quelltext der Seite Informationstheorie

<p>Die '''Informationstheorie''' ist eine [https://de.wikipedia.org/wiki/Mathematik mathematische] Theorie aus dem Bereich der [https://de.wikipedia.org/wiki/Wahrscheinlichkeitstheorie Wahrscheinlichkeitstheorie] und [https://de.wikipedia.org/wiki/Statistik Statistik], die auf den US-amerikanischen Mathematiker [https://de.wikipedia.org/wiki/Claude_Shannon Claude Shannon] zurückgeht. Sie beschäftigt sich mit Begriffen wie [https://de.wikipedia.org/wiki/Information Information] und [https://de.wikipedia.org/wiki/Entropie_(Informationstheorie) Entropie], der [https://de.wikipedia.org/wiki/Informations%C3%BCbertragung Informationsübertragung], [https://de.wikipedia.org/wiki/Datenkompression Datenkompression] und [https://de.wikipedia.org/wiki/Kodierung Kodierung] sowie verwandten Themen.</p><p>Neben der Mathematik, [https://de.wikipedia.org/wiki/Informatik Informatik] und [https://de.wikipedia.org/wiki/Nachrichtentechnik Nachrichtentechnik] wird die theoretische Betrachtung von [https://de.wikipedia.org/wiki/Kommunikation Kommunikation] durch die Informationstheorie auch zur Beschreibung von Kommunikationssystemen in anderen Bereichen (z.&nbsp;B. [https://de.wikipedia.org/wiki/Massenmedien Medien] in der [https://de.wikipedia.org/wiki/Publizistikwissenschaft Publizistik], [https://de.wikipedia.org/wiki/Nervensystem Nervensystem] in der [https://de.wikipedia.org/wiki/Neurologie Neurologie], [https://de.wikipedia.org/wiki/Desoxyribonukleins%C3%A4ure DNA] und [https://de.wikipedia.org/wiki/Proteinsequenz Proteinsequenzen] in der [https://de.wikipedia.org/wiki/Molekularbiologie Molekularbiologie], [https://de.wikipedia.org/wiki/Wissen Wissen] in der [https://de.wikipedia.org/wiki/Informationswissenschaft Informationswissenschaft] und [https://de.wikipedia.org/wiki/Dokumentation Dokumentation]) eingesetzt.</p><p>Die Shannonsche Theorie verwendet den Begriff der Entropie, um den [https://de.wikipedia.org/wiki/Informationsgehalt Informationsgehalt] (auch Informationsdichte genannt) von Nachrichten zu charakterisieren. Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie. Grundlegend für die Informationstheorie ist neben dem Entropiebegriff das [https://de.wikipedia.org/wiki/Shannon-Hartley-Gesetz Shannon-Hartley-Gesetz] nach Shannon und [https://de.wikipedia.org/wiki/Ralph_Hartley Ralph Hartley]. Es beschreibt die theoretische Obergrenze der [https://de.wikipedia.org/wiki/Kanalkapazit%C3%A4t Kanalkapazität], also die maximale [https://de.wikipedia.org/wiki/Daten%C3%BCbertragungsrate Datenübertragungsrate], die ein [https://de.wikipedia.org/wiki/%C3%9Cbertragungskanal Übertragungskanal] in Abhängigkeit von [https://de.wikipedia.org/wiki/Bandbreite Bandbreite] und [https://de.wikipedia.org/wiki/Signal-Rausch-Verh%C3%A4ltnis Signal-zu-Rausch-Verhältnis] ohne Übertragungsfehler erreicht.</p>
== <span id="Geschichte">Geschichte</span> ==
<p>Vor allem Claude Shannon lieferte in den 1940er bis 1950er Jahren wesentliche Beiträge zur Theorie der [https://de.wikipedia.org/wiki/Daten%C3%BCbertragung Datenübertragung] und der Wahrscheinlichkeitstheorie.</p><p>Er fragte sich, wie man eine verlustfreie Datenübertragung über elektronische (heute auch optische) [https://de.wikipedia.org/wiki/Kanal_(Informationstheorie) Kanäle] sicherstellen kann. Dabei geht es insbesondere darum, die Datensignale vom Hintergrundrauschen zu trennen.</p><p>Außerdem versucht man, während der Übertragung aufgetretene Fehler zu erkennen und zu korrigieren. Dazu ist es notwendig, zusätzliche [https://de.wikipedia.org/wiki/Redundanz_(Information) redundante] (d.&nbsp;h. keine zusätzliche Information tragenden) Daten mitzusenden, um dem Datenempfänger eine Datenverifikation oder Datenkorrektur zu ermöglichen.</p><p>Es ist zweifelhaft und wurde auch von Shannon so nicht beansprucht, dass seine 1948 veröffentlichte Studie ''A Mathematical Theory of Communication'' („Informationstheorie“) von substantieller Bedeutung für Fragestellungen außerhalb der Nachrichtentechnik ist. Bei dem von ihm benutzten, mit der Thermodynamik verbundenen Entropiebegriff handelt es sich um eine formale Analogie für einen mathematischen Ausdruck. Allgemein lässt sich die Informationstheorie als Ingenieurtheorie auf hohem Abstraktionsniveau definieren. Sie zeigt den Trend zur Verwissenschaftlichung der Technik, der zur Herausbildung der Ingenieurwissenschaften führte.</p><p>Der Bezugspunkt von Shannons Theorie ist die forcierte Entwicklung der elektrischen Nachrichtentechnik mit ihren Ausprägungen Telegrafie, Telefonie, Funk und Fernsehen in der ersten Hälfte des 20. Jahrhunderts. Vor und neben Shannon trugen auch [https://de.wikipedia.org/wiki/Harry_Nyquist Harry Nyquist], Ralph Hartley und [https://de.wikipedia.org/wiki/Karl_K%C3%BCpfm%C3%BCller Karl Küpfmüller] mit bedeutenden Beiträgen zur Theoriebildung der Nachrichtentechnik bei. Mathematische Klärungen von Relevanz für die Informationstheorie lieferte [https://de.wikipedia.org/wiki/Norbert_Wiener Norbert Wiener], der ihr auch im Rahmen seiner Überlegungen zur Kybernetik zu beträchtlicher Publizität verhalf.</p><p>Eine übergreifende Frage für Nachrichtentechniker war, wie eine wirtschaftlich-effiziente und störungsfreie Nachrichtenübertragung erreicht werden kann. Es wurden die Vorteile der Modulation erkannt, d.&nbsp;h. der Veränderung der Form der Nachricht mit technischen Mitteln. Im technischen Zusammenhang lassen sich zwei Grundformen für Nachrichten – kontinuierlich und diskret – unterscheiden. Diesen können die gebräuchlichen Darstellungsformen von Information/Nachrichten Schrift (diskret), Sprache (kontinuierlich) und Bild (kontinuierlich) zugeordnet werden.</p><p>Ende der 1930er Jahre kam es zu einem technischen Durchbruch, als es mit Hilfe der [https://de.wikipedia.org/wiki/Puls-Code-Modulation Puls-Code-Modulation] gelang, eine als Kontinuum vorliegende Nachricht in befriedigender Annäherung diskret darzustellen. Mit dieser Methode wurde es möglich, Sprache zu telegrafieren. Shannon, der für die Bell Telephone Laboratories arbeitete, war mit der technischen Entwicklung vertraut. Die große Bedeutung seiner Theorie für die Technik liegt darin, dass er Information als „physikalische Größe“ mit einer Maß- bzw. Zähleinheit, dem [https://de.wikipedia.org/wiki/Bit Bit], definierte. Das erlaubte quantitativ exakt, den Aufwand für die technische Übertragung von Informationen in verschiedener Gestalt (Töne, Zeichen, Bilder) zu vergleichen, die Effizienz von Codes sowie die Kapazität von Informationsspeichern und -übertragungskanälen zu bestimmen.</p><p>Die Definition des Bit ist ein theoretischer Ausdruck der neuen technischen Möglichkeiten, unterschiedliche Darstellungsformen von Nachrichten (Information) in eine gemeinsame, für technische Zwecke vorteilhafte Repräsentation der Information zu transformieren: Eine Folge von elektrischen Impulsen, die durch einen Binärcode ausgedrückt werden kann. Das ist letztendlich die Grundlage für eine Informationstechnik auf digitaler Basis, wie auch für Multimedia. Das war im Prinzip mit der Informationstheorie bekannt. In der Praxis wurde jedoch der digitale Umbruch der Informationstechnik erst später möglich – verbunden mit der stürmischen Entwicklung der Mikroelektronik in der zweiten Hälfte des 20. Jahrhunderts.</p><p>Shannon selbst bezeichnet sein Werk als eine „mathematische Theorie der Kommunikation“. Er schließt semantische und pragmatische Aspekte der Information, also Aussagen über den „Inhalt“ übertragener Nachrichten sowie deren Bedeutung für den Empfänger ausdrücklich aus. Dies bedeutet, dass eine „sinnvolle“ Botschaft ebenso gewissenhaft übertragen wird wie eine zufällige Folge von Buchstaben. Obwohl die Shannon-Theorie üblicherweise als „Informationstheorie“ bezeichnet wird, macht sie also keine direkte Aussage über den Informationsgehalt von übertragenen Botschaften.</p><p>In neuerer Zeit wird zunehmend versucht, die [https://de.wikipedia.org/wiki/Komplexit%C3%A4t_(Informatik) Komplexität] einer Nachricht nicht mehr nur über [https://de.wikipedia.org/wiki/Statistik statistische] Betrachtung der Daten zu bestimmen, sondern vielmehr die [https://de.wikipedia.org/wiki/Algorithmus Algorithmen] zu betrachten, die diese Daten erzeugen können. Solche Ansätze sind insbesondere die [https://de.wikipedia.org/wiki/Kolmogorow-Komplexit%C3%A4t Kolmogorow-Komplexität] und die [https://de.wikipedia.org/wiki/Algorithmische_Tiefe algorithmische Tiefe] sowie die [https://de.wikipedia.org/wiki/Algorithmische_Informationstheorie algorithmische Informationstheorie] von [https://de.wikipedia.org/wiki/Gregory_Chaitin Gregory Chaitin]. Klassische Informationskonzepte versagen teilweise in [https://de.wikipedia.org/wiki/Quantenmechanik quantenmechanischen] Systemen. Dies führt zum Konzept der [https://de.wikipedia.org/wiki/Quanteninformation Quanteninformation].</p><p>Die Informationstheorie stellt mathematische Methoden zur Messung bestimmter Eigenschaften von Daten zur Verfügung. Der Begriff der Information aus der Informationstheorie hat keinen direkten Bezug zu [https://de.wikipedia.org/wiki/Semantik Semantik], [https://de.wikipedia.org/wiki/Bedeutung Bedeutung] und [https://de.wikipedia.org/wiki/Wissen Wissen], da sich diese Eigenschaften mit informationstheoretischen Verfahren nicht messen lassen.</p>
== <span id="Siehe_auch">Siehe auch</span> ==

*[https://de.wikipedia.org/wiki/Kodierungstheorie Kodierungstheorie]
*[https://de.wikipedia.org/wiki/Kommunikation_(Informationstheorie) Kommunikation (Informationstheorie)]
*[https://de.wikipedia.org/wiki/Entropiekodierung Entropiekodierung]

== <span id="Literatur">Literatur</span> ==

*Claude E. Shannon: ''A mathematical theory of communication''. Bell System Tech. J., 27:379–423, 623–656, 1948. (Shannons bahnbrechende Veröffentlichung)
**Claude E. Shannon, Warren Weaver: ''Mathematische Grundlagen der Informationstheorie'', [Dt. Übers. von ''The mathematical theory of communication'' durch Helmut Dreßler]. – München, Wien&nbsp;: Oldenbourg, 1976, [https://de.wikipedia.org/wiki/Spezial:ISBN-Suche/3486398512 ISBN 3-486-39851-2]
*Neil J. A. Sloane, Aaron D. Wyner: ''Claude Elwood Shannon: Collected Papers''; IEEE Press, Piscataway, NJ, 1993.
*Christoph Arndt: ''Information Measures, Information and its Description in Science and Engineering'' (Springer Series: Signals and Communication Technology), 2004, [https://de.wikipedia.org/wiki/Spezial:ISBN-Suche/9783540408550 ISBN 978-3-540-40855-0], [http://www.springer.com/east/home?SGWID=5-102-22-17328941-0&changeHeader=true&referer=www.springeronline.com&SHORTCUT=www.springer.com/east/3-540-40855-X springer.com]
*Siegfried Buchhaupt: ''Die Bedeutung der Nachrichtentechnik für die Herausbildung eines Informationskonzeptes der Technik im 20. Jahrhundert.'' In: ''Technikgeschichte'' 70 (2003), S. 277–298.

=== <span id="Lehrbücher">Lehrbücher</span> ===

*[https://de.wikipedia.org/wiki/Holger_Lyre Holger Lyre]: ''Informationstheorie – Eine philosophisch-naturwissenschaftliche Einführung.'' UTB 2289. Stuttgart: UTB, 2002, [https://de.wikipedia.org/wiki/Spezial:ISBN-Suche/3825222896 ISBN 3825222896].
*Werner Heise, Pasquale Quattrocchi: ''Informations- und Codierungstheorie. Mathematische Grundlagen der Daten-Kompression und -Sicherung in diskreten Kommunikationssystemen.'' 3. Auflage. Springer, Berlin-Heidelberg 1995, [https://de.wikipedia.org/wiki/Spezial:ISBN-Suche/3540574778 ISBN 3-540-57477-8].
*[https://de.wikipedia.org/wiki/John_R._Pierce John R. Pierce]: ''An Introduction to Information Theory: Symbols, Signals and Noise.'' Dover Publications, Inc., New York, second edition, 1980.
*William Sacco, Wayne Copes, Clifford Sloyer und Robert Stark: ''Information Theory: Saving Bits.'' Janson Publications, Inc., Dedham, MA, 1988.
*[https://de.wikipedia.org/wiki/Solomon_Kullback Solomon Kullback]: ''Information Theory and Statistics.'' (Dover Books on Mathematics), 1968.
*Alexander I. Khinchin: ''Mathematical Foundations of Information Theory.''
*Fazlollah M. Reza: ''An Introduction to Information Theory.'' 1961.
*Robert B. Ash: ''Information Theory.'' 1965.
*Thomas M. Cover, Joy A. Thomas: ''Elements of Information Theory.'' (Wiley Series in Telecommunication), 1991.

=== <span id="Populärwissenschaftliche_Einführungen">Populärwissenschaftliche Einführungen</span> ===

*William Poundstone: ''Die Formel des Glücks.''

== <span id="Weblinks">Weblinks</span> ==
<div class="sisterproject"><span class="noviewer" role="presentation" aria-hidden="true"><span class="mw-default-size"><span title="Wiktionary">[[file:16px-Wiktfavicon_en.svg.png|16x16px]]</span></span></span>'''[https://de.wiktionary.org/wiki/Informationstheorie Wiktionary: Informationstheorie]'''&nbsp;– Bedeutungserklärungen, Wortherkunft, Synonyme, Übersetzungen</div>
*[https://portal.dnb.de/opac.htm?method=simpleSearch&query=4026927-9 Literatur von und über Informationstheorie] im Katalog der [https://de.wikipedia.org/wiki/Deutsche_Nationalbibliothek Deutschen Nationalbibliothek]
<div class="NavFrame navigation-not-searchable">[https://de.wikipedia.org/wiki/Informationstheorie# Einklappen]<div class="NavHead">Allgemeine Teilgebiete der [https://de.wikipedia.org/wiki/Kybernetik Kybernetik]</div></div>