T11   Die Transformation der Entropie in der Informationstheorie

 
In der Informationstheorie misst man die Grösse des Unwissens über eine bestimmte Informationsmenge über die Anzahl binärer Fragen, die man stellen müsste, bis man alles wissen würde. Sieht man zum Beispiel, dass ein Modem 1 Zeichen im 8-bit-ASCII-Code empfangen hat, so sind 256 verschiedene Zeichen möglich, und wenn alle Zeichen mit derselben Wahrscheinlichkeit auftreten, so sind im mittel 8 Ja-Nein-Fragen erforderlich, um das Zeichen zu identifizieren:

für die Entropie dieser Information gilt       Sinflog2(256)  =  8

Weiss man zusätzlich, dass das most significant bit eine 0 war, so sinkt die Entropie sofort auf 7, weil es sich um ein Zeichen aus dem Bereich 0 bis 127 handeln muss. Und wenn man weiss, dass das Zeichen 'A' mit der Nummer 65 = 0100'0001 empfangen worden ist, so sinkt die Entropie auf den Wert 
0 = log2 (1).

Immer vorausgesetzt dass alle Fälle gleich wahrscheinlich sind, misst diese Entropie die Anzahl der Möglichkeiten, die nach unserem Kenntnisstand in einer bestimmten Situation noch in Frage kommen. Das Mass wird über den Logarithmus zur Basis 2 genommen. Die Entropie ist hier also eine quantitative Angabe zu unserem 'Unwissen' oder zu unserem Mangel an Informationen.

Die Masseinheit der Entropie ist in der Informationstheorie das bit, wobei 8 bits zu einem Byte zusammengefasst werden. Physikalisch ist die Entropie der Information einheitenlos, die Einheit 'bit' hat eine ähnliche Funktion wie das bei Winkeln gelegentlich verwendete 'rad'. Eine Festplatte der Grösse
2 Tebibyte, über deren Inhalt wir nichts wissen, veranschaulicht eine Entropie der Grösse log2 (2·28·240) = 49  (bei einer 2-Terabyte-Festplatte sind es
log2 (2·28·1012) ≈ 48.863 ...). Dank der Logarithmusfunktion steigen die Werte der Entropie auch bei riesigen Informationsmengen nicht ins Astronomische.

Habe ich einen Schlüssel in einem von 8 Zimmern, in denen ich mich heute bewegt habe, liegengelassen, so ist die Entropie dazu log2 (8) = 3. Habe ich auch noch meine Mütze an einem dieser Orte vergessen, so steigt die Anzahl der möglichen Situationen auf 8 · 8 = 64, die Entropie nimmt auf 6 zu. Die Entropie von N jObjekten, die sich unabhängig voneinander an m jOrten befinden können, ist also N · log2 (m), die Entropien addieren sich einfach. Dies gilt aber nicht für den zweiten Schlüssel an meinem Schlüsselbund, weil ich ihn ja nicht unabhängig vom Ort des ersten Schlüssels verlegt habe.

Der Makrozustandj "mein Schlüssel liegt in einem dieser Zimmer im Schulhaus" ist mein aktueller Kenntnisstand. Zu ihm gehören 8 mögliche Mikrozustände, welche dem maximalen Kenntnisstand entsprechen. Die Entropie des Makrozustandes ist der Zweierlogarithmus der Anzahl der Mikrozustände, die zu diesem Makrozustand gehören.

Damit sind schon viele Begriffe eingeführt, die wir auch bei den verschiedenen Arten von Entropie verwenden können, die man in der Physik betrachtet. Und es sollte klar sein, dass sich die Entropie der Information nicht ändert, wenn man das Schulhaus mit der verlegten Mütze oder auch besagte 2-Terabyte-Festplatte aus einem vorbeirasenden Raumfahrzeug untersucht. Die Anzahl der Mikrozustände ist ja unabhängig von der Relativbewegung. Für die Entropie der Information gilt also die folgende Transformationsformel:

Sinf' jSinf

Ein Strichcode enthält immer noch dieselbe Informationsmenge, wenn er, in welcher Richtung auch immer, einer Längenkontraktion unterliegt. Das erinnert mich an ein MAD-Titelbild der 70er-Jahre: Alfred E. Neumann drückt die Preise, indem er mit einem Rasenmäher einem Strichcode einen 'Haircut' verpasst ...