IA générative et Agents IA

Formation – IA Générative – Les modèles de langages massifs (LLMs)

2 Jours

L’avènement des modèles de langages massifs, Large Language Models ou LLMs, tels ChatGPT, constitue une étape clé pour l’IA. Nous sommes au stade où des machines désormais peuvent appréhender une quantité extrême de contenu et d’en développer des formes nouvelles de services aujourd’hui efficients. Pour les entreprises et les organisation il s’agit de se positionner face à ces évolutions majeures en terme de création de valeur. Il devient dès lors nécessaire pour elles de : comprendre les mécanismes sous-jacents à ces modèles, savoir choisir le bon LLM, connaître les écosystèmes incontournables du domaine, de comprendre la personnalisation dans l’usage via le Prompt Engineering, de mieux cerner les capacités d’enrichissement de ces modèles (via des sources internes ou des outils), d’aborder sereinement les processus de réglage fin sur des cas d’usage précis et enfin d’identifier les problématiques de mise en oeuvre de tels modèles. A travers cette formation, les participants pourront appréhender, sur la base d’explications et d’ateliers sur cas concrets, chacune des composantes significatives de ces modèles disruptifs.

Les objectifs de la formation

Comprendre l’utilité des LLM
Maîtriser l’usage des LLM et de l’IA générative
Développer de nouveaux projets avec l’aide des LLM

A qui s’adresse cette formation ?

Pour qui

Chefs de projets
Développeurs
Data scientists

Prérequis

Une connaissance de base des principes de Machine Learning et de Deep Learning
La maîtrise d’une langage de script type Python est recommandé

Le programme

1 – Introduction

Un changement de paradigme
Qu’est ce qui change ?
Une publication fondatrice
Une loi d’échelle pour les modèles de langage
Évolution temporelle des LLMs
De nouveaux écosystèmes
L’ère du Post Deep Learning
Personnalisation par Prompts
Personnalisation par enrichissement
Personnalisation par réglage fin

2 – Cas d’usage

Agents conversationnels et assistants virtuels
Génération de code et debuggage
Analyse de sentiments / opinions
Classification de texte et clusterisation
Synthèse de texte ou corpus
Traduction
Génération de contenu
Autres cas d’usages significatifs
LAB : Proof of concept sur cas concrets

3 – Fondations

Le traitement du langage naturel (TAL)
L’architecture disruptive des Transformers
La tokenisation des textes
L’encodeur d’un Transformer
La couche d’embedding
L’encodage de positionnement
Vecteur de positionnement
Le mécanisme d’attention multi-têtes
Points essentiels du mécanisme d’attention
La “spécialisation” des têtes d’attention
Calcul des scores d’attention
Addition et Normalisation des sorties
Le Décodeur d’un Tranformer
L’entraînement d’un Transformer
La couche d’auto-attention masquée
La couche d’attention du décodeur
Les couches supérieures du décodeur

4 – En pratique

- Choisir un LLM
- Critères de choix
- Trois classes de modèles
- Modèles à encodeur simple
- Focus modèles BERTs
- Modèles à décodeur simple
- Focus modèles GPTs
- Un foisonnement de modèles dérivés
- La bataille des LLMs
- La course vers des LLMs légers
- L’exemple de LLaMa
- Trois approches de réduction
- Écosystèmes clés
- APIs de modèles Fermés
- HuggingFace et les modèles ouverts
- Écosystèmes applicatifs type LangChain
- LLMops et MLFlow

AtelierPrise en main des écosystèmes LLMs clés

5 – Mise en oeuvre

Choix service / in house / hybrid
In house workflow
Service workflow
Écosystèmes d’entraînement et d’inférence
L’entraînement d’un modèle massif
L’étape d’évaluation des modèles
Le réglage des hyperparamètres
Déploiement d’un modèle
Model fine-tuning
Prompt engineering
MLOps d’un LLMs
LAB : Environnement de déploiement d’un LLM

6 – Le Prompt Engineering

- Configuration des paramètres des LLMs
- Qu’est ce qu’un token ?
- Notion de distribution des probabilités des LLMs
- Les échantillonnages Top-K et top-p
- La température du modèle
- Le réglage des paramètres en pratique
- Les composantes d’un prompt
- Règles générales
- L’approche Few-Shot Learning
- Zero, one to Few-shot learning
- L’approche Chain of thoughts
- L’incitation par chaînes de pensées
- Des approches plus avancées
- ReAct Prompting
- Méthode ReAct

AtelierPrompt Engineering sur cas concrets

7 – LLMs augmentés

- Au delà du prompt, l’enrichissement des LLMs
- Ajout de capacité mémorielle
- Mémoire tampon (Buffer Memory)
- Plusieurs mécanismes de mémorisation
- Les mémoires de l’écosystème LangChain
- Élargissement des connaissances
- Retrieval Augmented Generation (RAG)
- Le partitionnement des textes externes
- Projection sémantique des documents (Embeddings)
- Les bases de données vectorielles
- Les algorithmes du search dans les bases vectorielles
- Une galaxie d’outils possibles !

AtelierMise en oeuvre d’un agent conversationnel

8 – Déploiement de LLMs

- Quand le prompt engineering ne suffit plus
- Qu’est ce que le réglage fin
- Trois techniques classiques
- Reinforcement learning by Human feedback (RLHF)
- Détails d’un réglage fin Supervisé
- Les trois options pour l’ajustement des paramètres
- Les approches PEFT (Parameter Efficient Tuning)
- La méthode LoRA (Low Rank Adaptation)
- Une variante efficiente : QLoRA
- Qu’est ce que la mise en service d’un LLM
- Journaliser le modèle dans le registre des modèles
- Création d’un point de terminaison vers le modèle
- Interroger le point de terminaison

AtelierRéglage fin et mise en service d’un LLM

Détails de la formation

Réf : BI108

Tarif : 599 Dt

Niveau : Fondamental

Lieu : Au choix. À distance ou en présentiel

Réserver maintenant Demande de devis