Quantité d'informations (en nombre de bits) contenu dans un message
Somme de -log2(probabilité symbole)
Exemple: si la probabilité de la lettre 'B' est 1/32, alors l'entropie est -log2(1/32) = 5
Il y a un lien direct avec la compression. En effet, l'entropie est le nombre de bits dans le message et la compression cherche à atteindre le nombre de bits minimal du message.
On peut utiliser la modélisation de différent ordre.
Ordre 0 : probabilité sur chaque caractère individuels (code invariant comme huffman, chaque lettre à une propriété selon sa fréquence par exemple)
Ordre 1 : prend en compte le caractère précédent (P(A) sachant P(b)). Exemple: en français, la probabilité de la lettre 'U' est plus élevé lorsque la lettre 'Q' est avant. Donc, QU a une propriété plus élevé que PU.
Ordre n : prend en compte n caractère précédent
En augmentant l'ordre, on augmente la table d'information (liste des probabilités) qu'il faut connaître pour comprendre le message.
Plus la prédiction utilise une bonne probabilité, plus la compression s'approche de l'entropie.
