Annonces

Office hour lundi 19 Avril

Re: Office hour lundi 19 Avril

by Isabelle Guyon -
Number of replies: 0
Re-bonjour,

Suite à la demande populaire, je vous rajoute une tentative au Quiz 3.
Attention, il y avait un typo dans les 2 dernières ligne de résultat du notebook. Des explications et un erratum sont ci-dessous.

Isabelle

Pour répondre à la dernière question du problème Picoprix, vous devez:

Ecrire une fonction qui calcule le risque de Tutti Frutti
def risk(p, emax=0.1, n=100, b=30):
'''Risk Tutty Fruitty is taking.'''
[YOUR CODE HERE]
return risk

Les formules sont dans le texte.
$\sigma_{\mu} = \sqrt{p(1-p)/n}$
$k = (emax - p)/\sqrt{p(1-p)/n}$
$risk = 1-($ `norm.cdf` $(k))^b$

Ensuite, comme on ne sais pas vraiment quel risque Tutti Frutti est prêt à accepter, on va se baser sur les revues de clients et estimer combien de clients se sont fait rembourser (on trouve ~20% de clients se sont fait rembourser).

Déjà on veut s'assurer que les performances de Tutti Frutti ne sont pas pires que p_max=0.05, soit 5% d'erreur, car c'est le maximum que votre boss veut tolérer. On calcule avec la fonction "risk":

risk(p=p_max) = 0.280 = 28%

Donc, si le taux d'erreur de Tutti Frutti était p_max=5%, alors ~28% de gens devraient se faire rembourser. Du coup le taux d'erreur de Tutti Frutti est probablement moins de 5%, c'est déjà ça!

Ensuite, on veut s'assurer que les performances de Tutti Frutti ne sont meilleures que p_mim=0.045, soit 4.5% d'erreur, car c'est à-peu-près les performances des 2 autres classifieurs (qui sont gratuits).

On calcule avec la fonction "risk":

risk(p=p_min) = 0.195 = 19.5%

Donc, si le taux d'erreur de Tutti Frutti était p_max=4.5%, alors ~19.5% de gens devraient se faire rembourser. C'est un peu moins que 20%, mais c'est vraiment proche! Donc, on peut penser que Tutti Frutti à un peu plus de 4.5% d'erreur, mais pas beaucoup plus. En résumé:

Risk(pmin = 0.045) = 0.195 < 0.20 ==> 0.045 < p
Risk(pmax = 0.05) = 0.280 > 0.20 ==> p < 0.05

p est la performance estimée de Tutti Fruitti. Elle est (selon nos prédictions) entre 4.5% et 5%. Mais attention, notre estimation que 20% de clients se sont fait rembourser est imprécise, elle est basée sur les revues publiques.

Erratum: il y avait un typo dans le notebook: 0.45 au lieu de 0.045 (mais ça ne change pas les résultats des calculs).