Nella teoria dell'informazione, la Disuguaglianza di Fano mette in relazione l'equivocazione di un canale rumoroso con la probabilità d'errore nella decodifica di un simbolo ricevuto. È stata scoperta e dimostrata dallo scienziato Robert Fano.
Disuguaglianza di Fano
Se le variabili aleatorie
e
rappresentano i simboli (estratti da un alfabeto di M possibili simboli) in ingresso ed in uscita ad un canale rumoroso ed hanno una densità di probabilità congiunta
, il canale è affetto da una probabilità di errore
![{\displaystyle P(e)=\sum _{i=0}^{M-1}\sum _{j\not =i}P(y_{j},x_{i})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/11066c3873259515cc8cf2aba396a18867f23237)
e la disuguaglianza di Fano si esprime allora come
![{\displaystyle H(X|Y)\leq H(e)+P(e)\log(M-1),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e80383236cf4911c2cd00afedc93e42f3f2b63a4)
in cui
![{\displaystyle H\left(X|Y\right)=-\sum _{i,j}P(x_{i},y_{j})\log P\left(x_{i}|y_{j}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/eafcaaa7be6a226cf3ab0bb41f381152b84685bf)
è l'entropia condizionata, detta equivocazione in quanto rappresenta la quantità d'informazione media persa nel canale; e
![{\displaystyle H\left(e\right)=-P(e)\log P(e)-(1-P(e))\log(1-P(e))}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ea8d90f4cc6fd457804296251d978d8e00578b7e)
è l'entropia binaria corrispondente ad una sorgente binaria stazionaria e senza memoria che emette il simbolo 1 con probabilità
ed il simbolo 0 con probabilità
.
La disuguaglianza di Fano fornisce quindi un limite inferiore alla probabilità d'errore; si mostra infatti che se l'entropia di X eccede la capacità del canale è impossibile che l'informazione trasmessa attraverso il canale sia ricevuta con probabilità d'errore arbitrariamente piccola.
Dimostrazione
Siano
e
due variabili casuali e
un estimatore di
ottenuto dall'osservazione di
. Sia
la probabilità di errore.
Si consideri la variabile casuale binaria
tale che:
![{\displaystyle E={\begin{cases}1&{\mbox{se }}X\neq {\tilde {X}}\\0&{\mbox{se }}X={\tilde {X}}\end{cases}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5568535c65ac0eeeab43df57eff9ebb259c2e590)
che ha quindi una distribuzione del tipo
.
Si consideri ora l'entropia:
![{\displaystyle H(X,E|Y)=H(X|Y)+H(E|X,Y)=H(E|Y)+H(X|E,Y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6b998a8a5793568488b0560d4f597a04bddc76d7)
è funzione di
e
e di conseguenza di
e
, da cui
.
Si ottiene quindi
![{\displaystyle H(X|Y)=H(E|Y)+H(X|E,Y)\leq H(e)+H(X|E,Y)\ \ \ \ {\mbox{ (1)}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/253a990788814d9c6582f262f89fa08dd7fa84b2)
sfruttando la disuguaglianza
.
A questo punto è possibile riscrivere
come segue:
![{\displaystyle H(X|E,Y)=p_{E}(0)H(X|Y,E=0)+p_{E}(1)H(X|Y,E=1)\ \ \ \ {\mbox{ (2)}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/715c9f196b48621943957480d44a021170e061f6)
per il quale il primo termine del membro di destra si annulla perché dato
l'incertezza sulla conoscenza di
è nulla, mentre per il secondo, sapendo a priori di avere un errore, vale la disuguaglianza
![{\displaystyle H(X|Y,E=1)\leq \log(|{\mathcal {X}}|-1)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/97ef822ccfc35c4bc87675be95f9d3ad8682e94b)
dove
è il numero di valori possibili che la variabile
può assumere.
Sostituendo
in
si ottiene:
![{\displaystyle H(X|Y)\leq H(e)+p(e)\log(|{\mathcal {X}}|-1)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b781e59e5afd4c5d23a54518e6bbd6b6eca931ae)
dimostrando quindi l'asserto.
Bibliografia
- R. Fano, Transmission of information; a statistical theory of communications. Cambridge, Mass., M.I.T. Press, 1961.
Voci correlate