Bonjour,
VideoDiMath vient de sortir sur sa chaîne YouTube une vidéo sur l'IA et les maths, "Comment marche ChatGPT ?", avec Cyril Letrouit, chargé de recherche CNRS au Laboratoire de mathématiques d'Orsay :
Comment fonctionne ChatGPT ?
Dans
cette vidéo, Cyril Letrouit explique simplement comment les
Transformers utilisent le mécanisme d’attention pour comprendre le
contexte, traduire une phrase et générer du texte.
À
partir de l’exemple « Je mange un avocat », on voit comment ChatGPT
transforme les mots en vecteurs, calcule l’attention avec les matrices
Q, K et V, puis prédit le prochain mot grâce à la next-token prediction.
On
y explique aussi ce que signifie GPT, pourquoi l’attention est au cœur
des Transformers, et comment un modèle apprend avec des probabilités,
une fonction de perte et la descente de gradient.
En bref : les maths derrière ChatGPT, de l’algèbre linéaire à l’optimisation.
Bien cordialement.
Béatrice Guillier