« Besoin d'aide? Questions / Réponses

La notation automatique

7 replies
Last
Bonjour,


J'ai remarqué qu'il y a quasi à chaque fois des bugs dans la notation automatique, je me demandais donc comment serait comptabilisée cette note au final (pour éviter les mauvaises surprises) ?

Bugs dans la Semaine6 (à savoir que mon dépôt est à jour avec la branche errata, "Errata: colorbars, ..." commit: 117fdadb):


  - Le fichier "images.ipynb" est encore dans la notation automatique.

  - Erreurs dans des cellules sans consignes ou code à compléter (cf. screens), et elles sont comptabilisées dans la notation automatique.


J'ai aussi beaucoup de cellules avec des 0.0/x, je suppose que celles-ci ne rentre pas dans la notation automatique mais dans la notation manuelle. Cependant la cellule évoquée ci-dessus n'en fait pas partie et est bien comptabilisée dans la note automatique finale).





7 replies
  1. Re : La notation automatique
    Oui, un nouveau cours -- surtout de cette ampleur -- cela demande
    toujours du rodage.

    Nous fonctionnons en flux tendu pour préparer le
    matériel pédagogique et l'ajuster au fur et à mesure en fonction des
    retours de terrain, avec très peu de temps et de recul pour le polir:
    comment prédire comment 200 étudiants aux sensibilités différentes
    vont se l'approprier?

    Du coup, déployer dès la première année des tests automatiques -- par nature
    très psychorigide -- c'est un certain pari: la moindre imperfection y est
    immédiatement visible. Surtout quand cela se combine avec la mise en production
    de nouvelles technos. Vous êtes officiellement béta testeurs.

    Nous avons tenus à le faire parce que, dans les circonstances
    actuelles où il est plus difficile d'interagir avec vous, nous avons
    jugé important que vous ayez un retour immédiat -- même imparfait --
    sur votre avancement.

    Nous sommes très conscients des limites de l'exercice et nous nous
    assurons que nous avons la possibilité de gommer les imperfections
    (par exemple, ici, en ignorant les bouts de notes venant du fantôme du
    fichier images). Ou en nous assurant que celles-ci sont quantité
    négligeable: dans tout système d'évaluation, il y a forcément de
    l'aléatoire; pour bien raisonner sur ces aspects, il faut le faire à
    l'échelle de l'année où la loi des grand nombres s'applique.

    Maintenant pour les précisions techniques:

    Comme tu en as fait l'hypothèse, les "Task" et "Written Response" sont
    tous corrigés manuellement.

    Le bilan en haut de chaque feuille est en effet imparfait: il vaudrait
    mieux que les items corrigés manuellement n'y apparaissent pas, ou
    alors sous la forme un ??/xxx. Ce bilan est produit directement par
    l'outil sous-jacent nbgrader qui fait l'hypothèse -- incorrecte dans
    notre cas d'usage -- que ce bilan est publié après correction
    manuelle. Ce serait une évolution à proposer à nbgrader. En attendant,
    les scores par feuilles font eux bien la distinction entre scores
    automatiques et scores manuels: tu as 9/11 pour la feuille arcimboldo,
    du fait du dernier test qui est à 0/2.
  2. Re : La notation automatique

    Bonsoir,


    Tout d'abord merci pour toutes ces précisions et cette réponse plus que complète.

    En effet le screen que j'ai envoyé était incorrect, néanmoins je pense qu'il y a toujours un problème étant donné que la "Test cell" concernée est la cellule avec les vérifications PEP-8 (cf. screen).

    Cependant lorsque je l'exécute moi même dans la feuille Jupyter, il n'y a pas d'erreur, est-ce que cela veut dire qu'il y a des erreurs du code_checker qui ne s'affichent pas ?


  3. Re : La notation automatique
    Vu: l'image docker en charge de la correction automatique n'était pas à jour.
    De ce fait la fonction "code_checker" ainsi que quelques autres n'étaient
    pas disponibles.

    Nouvelle image en cours de construction. Il devrait alors suffire de relancer
    la correction automatique pour corriger cela.
  4. Re : La notation automatique
    C'est passé maintenant :-)
    1 reply
  5. Re : La notation automatique
    Parfait merci beaucoup, il reste simplement la feuille "images.ipynb" qui est toujours comptabilisée dans la note finale.
    1 reply
  6. Re : La notation automatique
    Oui; cela je ne peux plus le corriger à ce stade: cela vient du .gradebook.db qui est déjà déployé
    dans chacun de vos dépôts. Nous ferons un post-traitement pour ne pas tenir compte de ce bout
    (cela influence juste la valeur du total max).
    1 reply
  7. Re : La notation automatique
    D'accord merci.