Entropie und Informationsgehalt berechnen (Unteschied?)

tastingo · Gast

Ich hatte das bereits bei Microcontroller gefragt die sind sich jedoch der Meinung das Entropie=Informationsgehalt gilt..

Also es gibt da folgende Art von Aufgabe:

„SIE EN TER PRISE“

Berechnen Sie den Informationsgehalt jedes Zeichens (in bit)! (4 P)

Das habe ich nun berechnet über den Informationsgehalt. Genauer gesagt unter Wiki bei informationsgehalt den Punkt ,,Beispiele für statistisch unabhängige Ereignisse" Das habe ich benutzt.

Wenn ich nun auf der darauffolgenden Aufgabe die Entropie berechnen soll was ändert sich? Laut Definition ist es mathematisch betrachtet dasselbe .. Die Aussagen der einzelnen Begriffe sind aber nicht dasselbe ..

tastingo · Gast

Ok den Informationsgehalt habe ich nun 100% verstanden aber die Entropie der Quelle.. Was ist das? Was die Entropie in der Nachrichtentechnik bedeutet ist mir klar ...

tastingo · Gast

Ich glaube der Informationsgehalt ist gleich die Entropie wenn man den Informationsgehalt von mehreren Zeichen zusammenrechnen möchte. In diesem Fall wäre Entropie=Informationsgehalt.

schnudl · Moderator Anmeldungsdatum: 15.11.2005 Beiträge: 6979 Wohnort: Wien

Die Entropie einer Quelle S ist der Erwartungswert der Information.
Jedes Zeichen im deutschen Alphabet hat eine bestimmte Information, je nachdem wie häufig ein Buchstabe auftritt. Die Information eines Zeichens ist

H ist davon der Erwartungswert:

Der Informationsgehalt deines Satzes ist die Summe der Beiträge einzelnen Buchstaben. Das ist aber natürlich nicht die Entropie der Quelle...

Du musst unterscheiden zwischen Information und Erwartungswert der Information. Beides wird in Bit angegeben. Letzteres bezeichnet man als Entropie.