Beyond the traditional applications of Language Models in natural language processing-oriented tasks such as sentiment analysis, fake news detection, etc., the language models have been leveraged across a broad spectrum of other tasks involving structured data such as graphs, databases, tables, etc. This course is tailored to take into account the merits and demerits of employing language models and conventional approaches for tackling tasks related to structured data. Starting with an exploration of basic concepts in language modeling to large language models, low rank adaptation (LoRA), quantization,  prompt engineering and retrieval augmented generation, the curriculum progressively will move towards the interplay between language models and structured data. This course will focus on diverse applications such as learning representations over tables and graphs, language models as knowledge bases, Text to SQL, and Question Answering over Structured Data. The course will be graded based on hands-on lab sessions, projects, and presentations of the projects.

Dans une première partie, l‘objectif de cet enseignement très pratique est de présenter comment installer et configurer Hadoop, d’initier au modèle de programmation MapReduce et à l’utilisation de technologies de l'écosystème YARN tels que Spark en mode cluster, dans la perspective du projet Fil Rouge démarrant en P2.

 Parmi les points abordés : aspects théoriques du calcul distribué (verrous distribués, algorithmes d'élection, paradigmes de calcul distribué, problème de consensus, tolérance à la panne, etc.), utilisation des machines virtuelles, installation du framework Hadoop (Zookeeper + HDFS + MapReduce), administration du framework Hadoop (taux de réplication HDFS), utilisation du framework Hadoop pour la mise en œuvre d'opérations MapReduce avec utilisation de la bibliothèque Hadoop streaming

Ce cours de MLOps guide les apprenants à travers les étapes essentielles du déploiement de modèles de machine learning en production. Il commence par une introduction approfondie aux principes fondamentaux du MLOps, mettant en évidence des cas d'utilisation concrets pour une compréhension pratique. Les participants sont ensuite formés à la conteneurisation avec Docker, suivi par la gestion du cycle de vie des modèles à l'aide de MLFLow et DVC. Ils apprennent à déployer leurs modèles en tant que services avec des API, garantissant ainsi une accessibilité optimale. Le cours se poursuit en explorant la scalabilité et le clustering des modèles via Kubernetes, et enseigne les aspects cruciaux de la gestion du workflow et de l'orchestration à l'aide d'Airflow. Enfin, les participants acquièrent des compétences en matière de monitoring grâce à l'utilisation de Prometheus et Grafana, complétant ainsi leur formation pour une mise en production réussie de projets d'apprentissage automatique.