Die klassische Informationstheorie (information
theory) wurde von C.E. Shannon im Jahre 1950 begründet. Sie ist eigentlich
eine Kommunikationstheorie (wie auch der Original-Titel belegt: "A mathematical
theory of communication"), da sie nicht die Semantik der Nachrichten betrachtet.
Der Empfänger einer Nachricht weiß in der Regel über den Zustand
eines Systems weniger als der Sender einer Nachricht. Dieser unterschiedliche
Kenntnisstand wird Entropie genannt. Man kann die Entropie verringern, indem der Sender
dem Empfänger Information zukommen läßt. Somit ist der Verlust an Entropie gleich der
Zunahme an Information.
Um die Entropie zu verringern, übergibt der Sender dem Empfänger
Nachrichten in Form von Zeichen, die die Entropie reduzieren können. In der deutschen
Sprache wird der Buchstabe 'e' z.B. sehr viel häufiger benutzt als der Buchstabe 'x'.
Wird ein 'x' gesendet, so erhält der Empfänger mehr Information als wenn nur ein 'e'
empfangen würde. Daher haben verschiedene Zeichen auch einen unterschiedlichen
Informationsgehalt.
Um die Entropie, und somit auch die Informationsmenge, messen zu
können, wird die Anzahl von Fragen gezählt, die der Empfänger benötigt, um sein
Unwissen zu beseitigen. Dabei darf der Sender auf Fragen des Empfängers nur mit 'Ja' oder
'Nein' antworten. Auch soll die optimale Anzahl von Fragen gestellt werden, d.h.
möglichst wenige. Darüber hinaus soll das Problem nicht nur für einen, sondern für
alle möglichen Fälle (die mit unterschiedlicher Wahrscheinlichkeit pi
auftreten) behandelt werden. Faßt man all diese Randbedingungen zusammen, so erhält man
ein quantitatives Maß der Informationsmenge (oder Entropie H) (zur Herleitung: Topsøe)
welches folgendermaßen definiert ist:
.
Die Entropie H ist durch diese Formel eindeutig definiert. Hierbei
liegt von allen möglichen Fällen, die auftreten können, der i-te Fall mit der
Wahrscheinlichkeit pi vor. Die hier definierte Funktion wird auch als ideelle
Entropie bezeichnet, da sie mit der wirklichen Entropie nicht notwendigerweise identisch
sein muß. Die wirkliche Entropie gibt stets zugleich ein Verfahren an, wie man
tatsächlich die Information optimal durch die oben angegebene Fragestrategie erhalten
kann. Ihr numerischer Wert ist größer oder gleich dem der ideellen Entropie.
Die Ergebnisse der Informationstheorie werden in der praktischen
Informatik nur in speziellen Bereichen eingesetzt. Dieses liegt zum einen daran, daß die
Informationstheorie die auftretenden Fälle entsprechend ihrer Häufigkeit wichtet, und
sich dann geschickte Codes überlegt, diese Fälle optimal zu unterscheiden. Bei der
Speicherung und Verarbeitung von Information muß jedoch für jeden Fall gleich wie
selten er auftritt Speicherplatz bereitgestellt werden. Aber auch bei der
Übertragung von Information sind die Einsparungen, die ein solches Verfahren erbringen
würde, in der Regel viel zu gering, um den damit verbundenen rechen-,
verwaltungstechnischen und theoretischen Aufwand in Kauf zu nehmen.
Zum anderen benutzt die Informationstheorie optimale Codes, die von der
Einzelwahrscheinlichkeit einzelner Zeichen abhängen und daher eigentlich für jede
Anwendung anders sein müßten. Das ist nun aber gerade auf dem Gebiet der offenen
Kommunikationssysteme wenig hilfreich; hier werden weltweit die gleichen Codes verwendet,
deren Standards zumeist in langwierigen Prozessen erarbeitet wurden. Wichtiger als
Optimalität sind hier Systematik (z.B. sequentielle Anordnung von Ziffern und Buchstaben)
oder die Kodierungseigenschaften bestimmter Bitmuster.
Die Informationstheorie stellt die Grundlage dar für weiterführende Überlegungen,
z.B. für die Berechnung der maximalen Bitrate eines Kanals mit einer bestimmten Menge an
'Rauschen' usw., so daß ihr Nutzen zumindest für Grenzwertaussagen durchaus vorhanden
ist. In der Nachrichtentechnik werden Ergebnisse aus der Informationstheorie auch zur
Kodierung von Nachrichten verwendet, z.B. zur Reduktion der Übertragungsraten von Sprach-
oder Bildsignalen (C-Mobilfunk-Netz, 64 kBit/sec-Bildtelefon), oder zur Verbesserung
der Sprachübertragung (72 kBit/sec-Telefon im ISDN).
Die in der Informatik gebräuchlichen Verfahren zur Informationsreduktion fußen in der
Regel nicht direkt auf informationstheoretischen Aussagen, da sie u.a. sich ändernde
Häufigkeiten von Zeichen betrachten oder Kombinationen von Zeichen kodieren, welches in
der klassischen Informationstheorie nicht berücksichtigt wird.