Ich sitze gerade an den DKR Übungen und wundere mich etwas übe die Aufgabe 5 (die 1. Aufgabe auf dem Blatt). Dort sollen wir Redundanzen von einem Code ausrechnen. Das haben wir auch schon in GSS gemacht und ich dachte, ich hätte es verstanden.

Das Übungsblatt habe ich angehängt.

Also: Ich dachte bisher immer, dass die Redundanz unabhängig von der Codierung ist und nur mit den Auftritttswahrscheinlichkeiten der Zeichen zu tun hat.
Nun ist in b) die Redundanz von C1 gefragt, die ich mal mit 0,3 berechnet habe. Das kann ich tun, weil ich den mittleren Informationsgehalt h= 1,70 (2 x 1/4 + 4 X 1/16 + 1 x 1/2 + 2,42 X 3/16) ausgerechnet habe und der maximale Informationsgehalt H0 (Entropie) mit dem Wert 2 ebenfalls auszurechnen ist (Ergo: R = 2-1,7).
Nun sind doch aber beide Informationsgehälter [ :) ] unabhängig von der Abbildung, sondern hängen nur von den Auftrittswahrscheinlichkeiten ab?!

In c) soll nun auch "eine Redundanz" ausgerechnet werden, nämlich die des Codes C2. Aber wie soll ich das machen? Hängt da vielleicht doch etwas von der Abbildung ab? Nehme ich eine Wahrscheinlichkeit von 1/4 für jedes Zeichen an? Oder die Wahrscheinlichkeiten aus de Aufgabenstellung, sodass sich die Redundanz nicht von der in b) unterscheiden würde?

Habe ich die Aufgabe nicht verstanden, kann mir jemand weiterhelfen oder sagen, was hier passieren soll? Vielen Dank!

Die Entropie hängt genau von den Auftrittswahrscheinlichkeiten der Zeichen ab.
Die mittlere Codewortlänge hängt von der Länge der Codeworte (z. B. bei X 3 bits, bei E nur eins) und der Wahrscheinlichkeit dieser Worte ab.
Die Redundanz ist das, was "überflüssig" ist, laut Definition: Mittlere Codewortlänge - Entropie, siehe auch: http://de.wikipedia.org/wiki/Redundanz_%28Informationstheorie%29

hth

Ah supi, dann habe ich also immer die Redundanz der Quelle ausgerechnet, und nicht die Redundanz des Codes.

Vielen Dank!