Rechnernetze
Home Nach oben

Informationstheorie

Die klassische Informationstheorie (information theory) wurde von C.E. Shannon im Jahre 1950 begründet. Sie ist eigentlich eine Kommunikationstheorie (wie auch der Original-Titel belegt: "A mathematical theory of communication"), da sie nicht die Semantik der Nachrichten betrachtet.

Der Empfänger einer Nachricht weiß in der Regel über den Zustand eines Systems weniger als der Sender einer Nachricht. Dieser unterschiedliche Kenntnisstand wird Entropie genannt. Man kann die Entropie verringern, indem der Sender dem Empfänger Information zukommen läßt. Somit ist der Verlust an Entropie gleich der Zunahme an Information.

Um die Entropie zu verringern, übergibt der Sender dem Empfänger Nachrichten in Form von Zeichen, die die Entropie reduzieren können. In der deutschen Sprache wird der Buchstabe 'e' z.B. sehr viel häufiger benutzt als der Buchstabe 'x'. Wird ein 'x' gesendet, so erhält der Empfänger mehr Information als wenn nur ein 'e' empfangen würde. Daher haben verschiedene Zeichen auch einen unterschiedlichen Informationsgehalt.

Um die Entropie, und somit auch die Informationsmenge, messen zu können, wird die Anzahl von Fragen gezählt, die der Empfänger benötigt, um sein Unwissen zu beseitigen. Dabei darf der Sender auf Fragen des Empfängers nur mit 'Ja' oder 'Nein' antworten. Auch soll die optimale Anzahl von Fragen gestellt werden, d.h. möglichst wenige. Darüber hinaus soll das Problem nicht nur für einen, sondern für alle möglichen Fälle (die mit unterschiedlicher Wahrscheinlichkeit pi auftreten) behandelt werden. Faßt man all diese Randbedingungen zusammen, so erhält man ein quantitatives Maß der Informationsmenge (oder Entropie H) (zur Herleitung: Topsøe) welches folgendermaßen definiert ist:

H-SummePiLog2Pi.gif (709 Byte).

Die Entropie H ist durch diese Formel eindeutig definiert. Hierbei liegt von allen möglichen Fällen, die auftreten können, der i-te Fall mit der Wahrscheinlichkeit pi vor. Die hier definierte Funktion wird auch als ideelle Entropie bezeichnet, da sie mit der wirklichen Entropie nicht notwendigerweise identisch sein muß. Die wirkliche Entropie gibt stets zugleich ein Verfahren an, wie man tatsächlich die Information optimal durch die oben angegebene Fragestrategie erhalten kann. Ihr numerischer Wert ist größer oder gleich dem der ideellen Entropie.

Die Ergebnisse der Informationstheorie werden in der praktischen Informatik nur in speziellen Bereichen eingesetzt. Dieses liegt zum einen daran, daß die Informationstheorie die auftretenden Fälle entsprechend ihrer Häufigkeit wichtet, und sich dann geschickte Codes überlegt, diese Fälle optimal zu unterscheiden. Bei der Speicherung und Verarbeitung von Information muß jedoch für jeden Fall – gleich wie selten er auftritt – Speicherplatz bereitgestellt werden. Aber auch bei der Übertragung von Information sind die Einsparungen, die ein solches Verfahren erbringen würde, in der Regel viel zu gering, um den damit verbundenen rechen-, verwaltungstechnischen und theoretischen Aufwand in Kauf zu nehmen.

Zum anderen benutzt die Informationstheorie optimale Codes, die von der Einzelwahrscheinlichkeit einzelner Zeichen abhängen und daher eigentlich für jede Anwendung anders sein müßten. Das ist nun aber gerade auf dem Gebiet der offenen Kommunikationssysteme wenig hilfreich; hier werden weltweit die gleichen Codes verwendet, deren Standards zumeist in langwierigen Prozessen erarbeitet wurden. Wichtiger als Optimalität sind hier Systematik (z.B. sequentielle Anordnung von Ziffern und Buchstaben) oder die Kodierungseigenschaften bestimmter Bitmuster.

Die Informationstheorie stellt die Grundlage dar für weiterführende Überlegungen, z.B. für die Berechnung der maximalen Bitrate eines Kanals mit einer bestimmten Menge an 'Rauschen' usw., so daß ihr Nutzen zumindest für Grenzwertaussagen durchaus vorhanden ist. In der Nachrichtentechnik werden Ergebnisse aus der Informationstheorie auch zur Kodierung von Nachrichten verwendet, z.B. zur Reduktion der Übertragungsraten von Sprach- oder Bildsignalen (C-Mobilfunk-Netz, 64 kBit/sec-Bildtelefon), oder zur Verbesserung der Sprachübertragung (72 kBit/sec-Telefon im ISDN).

Die in der Informatik gebräuchlichen Verfahren zur Informationsreduktion fußen in der Regel nicht direkt auf informationstheoretischen Aussagen, da sie u.a. sich ändernde Häufigkeiten von Zeichen betrachten oder Kombinationen von Zeichen kodieren, welches in der klassischen Informationstheorie nicht berücksichtigt wird.