Notre offre de formation
- Catalogue
- Intelligence artificielle et science des données
- Spécialisation des LLM : Fine-tuning et Prompt Engineering
Spécialisation des LLM : Fine-tuning et Prompt Engineering Présentiel
Dernière mise à jour : 06/10/2025
- Description
- Objectifs de la formation
- Public visé
- Prérequis
- Modalités pédagogiques
- Moyens et supports pédagogiques
- Modalités d'évaluation et de suivi
- Formateurs
- Modalités tarifaires spécifiques
- Informations sur l'accessibilité
- Inscription
Description

1er jour
- Théorie des Transformers (mécanisme d'attention, language modeling...)
- Fine-tuning classique
- Evaluations et métriques des Large Language Models
- Mise en place d'un cadre pour le développement de LLM (mlflow, multi-GPU...)
2ème jour
- Nettoyage des données textuelles (data cleaning)
- Prompt Engineering
- Retrieval Augmented Generation (RAG)
- Parameter-Efficient Fine-tuning (PEFT)
3ème jour
- Génération de données synthétiques et RAG Evaluation
- Alignement de LLM (DPO, RLHF...)
- Mise en production (inférence)
- Multimodalité
- Agents et appels d'outils
- Discussion sur les projets des apprenants (optionnel)
Objectifs de la formation
- Acquérir les bases théoriques des Transformers (mécanisme d'attention, language modeling...)
- Connaître les différentes méthodes de Fine-tuning (classique, LoRA...) et de Prompt Engineering (RAG, Chain of Thought...)
- Mettre en place un environnement d'entraînement et d'optimisation de Large Language Models (LLM) : boucle d'entraînement, évaluation, tracking des résultats, nettoyage des données...
- Appliquer la théorie dans un cas d'usage précis
Public visé
Ingénieurs, chercheurs, développeurs et post-doctorants.
Prérequis
Bases du Deep Learning acquises et maîtrise de Python. Des bases en pytorch sont recommandées.
Modalités pédagogiques
Alternance de cours et de travaux pratiques.
Moyens et supports pédagogiques
EQUIPEMENT : Salle informatique avec mise à disposition d'un ordinateur par apprenant connecté à la machine de cours de l'IDRIS (16 A100). La machine de cours peut être utilisée via un pc personnel. Il est recommandé à l'apprenant d'avoir un compte GitHub pour la récupération des ressources.
Les fichiers au format PDF, des Notebooks et les codes seront mis à disposition de l'apprenant.
Modalités d'évaluation et de suivi
Un suivi individualisé par des évaluations formatives est assuré. Une attestation de fin de formation est délivrée à la fin du parcours.
Formateurs
Modalités tarifaires spécifiques
Nos formations sont exonérées de TVA. Elles bénéficient de remises volumes : - 5% pour 3-4 inscrits, - 10% pour 5-6 inscrits, et - 20% à partir de 7 personnes. Une réduction de 20% est appliquée pour les agents salariés du CNRS.
Informations sur l'accessibilité
Notre laboratoire est entièrement accessible aux personnes à mobilité réduite (PMR). Un accès adapté, des espaces de circulation et des sanitaires spécifiques sont à votre disposition pour garantir votre confort et votre autonomie. Pour toute information complémentaire, veuillez nous contacter.
M'inscrire à la formation
- Catégorie : Intelligence artificielle et science des données
- Durée : 21h
-
Prix : 2 040 € Net de taxePrix INTRA : Nous consulter
-
Satisfaction :
★★★★★★★★★★
- Taux de réussite : - %
- Télécharger le programme
Inscription rapide et flexible
Réservez votre place jusqu'à 10 jours ouvrés avant le début de la formation.
Prochaines Sessions
-
18/02/26
9:00
→
20/02/26
17:00
INTER
Présentiel
IDRIS – ORSAY - ORSAY (91) 12 places restantes
Dans la même catégorie
- Architectures du Deep Learning Présentiel
- Biostatistiques : comparaison de moyennes dans le cadre de protocoles expérimentaux Présentiel
- Capitaliser sur vos données : introduction au Machine Learning Présentiel
- Deep Learning optimisé sur supercalculateur Présentiel
- Deep learning pour le traitement automatique des langues Présentiel
Catalogue de formation propulsé par Dendreo,
logiciel spécialisé pour les organismes de formation