Post by Nicolas Thiéry
Re : La notation automatique
Oui, un nouveau cours -- surtout de cette ampleur -- cela demande
toujours du rodage.
Nous fonctionnons en flux tendu pour préparer le
matériel pédagogique et l'ajuster au fur et à mesure en fonction des
retours de terrain, avec très peu de temps et de recul pour le polir:
comment prédire comment 200 étudiants aux sensibilités différentes
vont se l'approprier?
Du coup, déployer dès la première année des tests automatiques -- par nature
très psychorigide -- c'est un certain pari: la moindre imperfection y est
immédiatement visible. Surtout quand cela se combine avec la mise en production
de nouvelles technos. Vous êtes officiellement béta testeurs.
Nous avons tenus à le faire parce que, dans les circonstances
actuelles où il est plus difficile d'interagir avec vous, nous avons
jugé important que vous ayez un retour immédiat -- même imparfait --
sur votre avancement.
Nous sommes très conscients des limites de l'exercice et nous nous
assurons que nous avons la possibilité de gommer les imperfections
(par exemple, ici, en ignorant les bouts de notes venant du fantôme du
fichier images). Ou en nous assurant que celles-ci sont quantité
négligeable: dans tout système d'évaluation, il y a forcément de
l'aléatoire; pour bien raisonner sur ces aspects, il faut le faire à
l'échelle de l'année où la loi des grand nombres s'applique.
Maintenant pour les précisions techniques:
Comme tu en as fait l'hypothèse, les "Task" et "Written Response" sont
tous corrigés manuellement.
Le bilan en haut de chaque feuille est en effet imparfait: il vaudrait
mieux que les items corrigés manuellement n'y apparaissent pas, ou
alors sous la forme un ??/xxx. Ce bilan est produit directement par
l'outil sous-jacent nbgrader qui fait l'hypothèse -- incorrecte dans
notre cas d'usage -- que ce bilan est publié après correction
manuelle. Ce serait une évolution à proposer à nbgrader. En attendant,
les scores par feuilles font eux bien la distinction entre scores
automatiques et scores manuels: tu as 9/11 pour la feuille arcimboldo,
du fait du dernier test qui est à 0/2.
toujours du rodage.
Nous fonctionnons en flux tendu pour préparer le
matériel pédagogique et l'ajuster au fur et à mesure en fonction des
retours de terrain, avec très peu de temps et de recul pour le polir:
comment prédire comment 200 étudiants aux sensibilités différentes
vont se l'approprier?
Du coup, déployer dès la première année des tests automatiques -- par nature
très psychorigide -- c'est un certain pari: la moindre imperfection y est
immédiatement visible. Surtout quand cela se combine avec la mise en production
de nouvelles technos. Vous êtes officiellement béta testeurs.
Nous avons tenus à le faire parce que, dans les circonstances
actuelles où il est plus difficile d'interagir avec vous, nous avons
jugé important que vous ayez un retour immédiat -- même imparfait --
sur votre avancement.
Nous sommes très conscients des limites de l'exercice et nous nous
assurons que nous avons la possibilité de gommer les imperfections
(par exemple, ici, en ignorant les bouts de notes venant du fantôme du
fichier images). Ou en nous assurant que celles-ci sont quantité
négligeable: dans tout système d'évaluation, il y a forcément de
l'aléatoire; pour bien raisonner sur ces aspects, il faut le faire à
l'échelle de l'année où la loi des grand nombres s'applique.
Maintenant pour les précisions techniques:
Comme tu en as fait l'hypothèse, les "Task" et "Written Response" sont
tous corrigés manuellement.
Le bilan en haut de chaque feuille est en effet imparfait: il vaudrait
mieux que les items corrigés manuellement n'y apparaissent pas, ou
alors sous la forme un ??/xxx. Ce bilan est produit directement par
l'outil sous-jacent nbgrader qui fait l'hypothèse -- incorrecte dans
notre cas d'usage -- que ce bilan est publié après correction
manuelle. Ce serait une évolution à proposer à nbgrader. En attendant,
les scores par feuilles font eux bien la distinction entre scores
automatiques et scores manuels: tu as 9/11 pour la feuille arcimboldo,
du fait du dernier test qui est à 0/2.
