Title: Exercice 2 - loi de Bayes - variables aléatoires
Course: Prérequis de mathématiques (Mathuselem) > Section: Probabilités et Statistiques

Loi de Bayes pour des variables aléatoires

Enoncé

On considère une information $$S$$ binaire, qui vaut 1 avec une probabilité $$p$$ et $$-1$$ avec une probabilité $$1-p$$. Cette information est transmise sur un canal de transmission. Un bruit $$N$$ s'ajoute à l'information pendant sa transmission. Le bruit en question est supposé indépendant de la valeur de $$S$$ et est de distribution normale de moyenne 0 et de variance $$\sigma^2$$ connue. On obtient en sortie de canal au niveau du récepteur une mesure $$y$$ de la variable aléatoire $$Y=S+N$$.

Question 1

Quelle est la densité de probabilité de la mesure $$y$$ si l'information envoyée est $$S=1$$ ? De même, quelle est la densité de probabilité de la mesure $$y$$ si l'information qui est envoyée est $$S=-1$$ ?

Réponse 1

On considère deux expériences aléatoires, une première expérience donnant la valeur de l'information envoyée $$S$$ et une seconde donnant la valeur $$y$$ de $$Y$$ mesurée au niveau du récepteur. On cherche $$p(y|S=1)$$. Comme $$Y=S+N$$, $$Y|S=1$$ suit une loi normale de moyenne 1 et de variance $$\sigma^2$$. On a donc $$p(y|S=1)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-(y-1)^2/2\sigma^2]$$. De manière similaire, $$Y|S=-1$$ suit une loi normale de moyenne $$-1$$ et de variance $$\sigma^2$$, la seconde densité de probabilité recherchée est $$p(y|S=-1)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-(y+1)^2/2\sigma^2]$$.

Question 2

On ne sait pas si l'information envoyée est 1 ou -1.  Quelle est la densité de probabilité de la mesure $$y$$ ?

Réponse 2

On cherche $$p(y)$$. Comme on ne connait pas la valeur de $$S$$, la densité de probabilité de $$y$$ se calcule alors en sommant la loi jointe $$p(y,S)$$ sur les valeurs possibles de la valeur de l'élément binaire à transmettre, c'est à dire $$p(y)=p(y,S=1~\text{ou}~S=-1)=p(y,S=1)+p(y,S=-1)$$. En utilisant la loi de Bayes, on trouve $$p(y,S=1)=p(y|S=1)p(S=1)=\frac{p}{\sqrt{2\pi\sigma^2}}\exp[-(y-1)^2/2\sigma^2]$$. En utilisant une seconde fois la loi de Bayes, on trouve $$p(y,S=-1)=p(y|S=-1)p(S=-1)=\frac{1-p}{\sqrt{2\pi\sigma^2}}\exp[-(y+1)^2/2\sigma^2]$$. La densité de probabilité recherchée est donc $$p(y)=\frac{1}{\sqrt{2\pi\sigma^2}}[p\exp[-(y-1)^2/2\sigma^2]+(1-p)\exp[-(y+1)^2/2\sigma^2]]$$

Question 3

Quelle est la probabilité que l'information émise soit $$S=1$$ en fonction de la valeur mesurée $$y$$ de $$Y$$ ? De même, quelle est la probabilité que l'information émise soit $$S=-1$$ en fonction de la valeur mesurée $$y$$ de $$Y$$ ?

Réponse 3

La première probabilité recherchée est $$p(S=1|y)$$. En utilisant la loi de Bayes, on trouve $$p(S=1|y)=p(y,S=1)/p(y)$$. A l'aide des expressions de $$p(y,S=1)$$ et de $$p(y)$$ trouvées aux questions précédentes, on trouve :

$$p(S=1|y)=p\exp[-(y-1)^2/2\sigma^2]/(p\exp[-(y-1)^2/2\sigma^2]+(1-p)\exp[-(y+1)^2/2\sigma^2]]$$.

La seconde probabilité recherchée est $$p(S=-1|y)=p(y,S=-1)/p(y)$$. On trouve alors

$$p(S=-1|y)=(1-p)\exp[-(y+1)^2/2\sigma^2]/(p\exp[-(y-1)^2/2\sigma^2]+(1-p)\exp[-(y+1)^2/2\sigma^2]]$$.