Comment un modèle apprend à partir d’exemples

Suivre une boucle d’apprentissage complète sans calcul avancé : exemple, prédiction, erreur, petit ajustement, répétition.

Applied AI · beginner · Session 11

Carte du mécanisme

UN EXEMPLE                        LE MODÈLE
 entrée x = 2                      poids w = 0,4
 cible  y = 1
      │                                 │
      └────────────────┬────────────────┘
                       ▼
               ┌────────────────┐
               │  prédiction    │   p = w × x = 0,8
               └───────┬────────┘
                       ▼
               ┌────────────────┐
               │  erreur        │   e = y − p = 0,2
               └───────┬────────┘
                       ▼
               ┌────────────────┐
               │  mise à jour   │   w ← w + 0,1 × e = 0,42
               └───────┬────────┘
                       │
      ┌────────────────┘  répéter sur des millions d’exemples
      ▼
 ENTRAÎNEMENT : w change   ‖   CONVERSATION : w est figé, seul le contexte varie

Le problème — Un exemple et une cible

Vous voulez qu’un programme complète « le ciel est… ». Sans exemples, il faudrait écrire une règle par phrase possible : 10 000 phrases, 10 000 règles, et la 10 001ᵉ échoue quand même. Personne ne maintient un tel catalogue.

L’idée — Un exemple et une cible

Un exemple remplace la règle par un signal : une entrée et la réponse attendue. Pour « le ciel est… », la cible « bleu » n’explique rien — elle donne un point de comparaison. Notre maquette n’en garde que les nombres : entrée x = 2, cible y = 1.

Pourquoi / à quel prix — Un exemple et une cible

Cela marche parce qu’un signal de comparaison se collecte par millions, là où les règles se rédigent une à une. Le prix : la cible ne dit jamais pourquoi. Un exemple faux — « le ciel est… → vert » — serait appris avec la même docilité qu’un exemple juste.

Contrôle : La cible de « le ciel est… » est « bleu ». Proposez un deuxième exemple dont la cible serait différente, et dites ce que la comparaison des deux apprend au modèle qu’un seul exemple n’apprend pas.

Le problème — La prédiction

Comment corriger un modèle qui ne sait encore rien ? « Il devine mal » n’est pas mesurable. Sans une sortie chiffrée à comparer à la cible, il n’existe ni écart calculable, ni direction de progrès : la boucle ne peut même pas démarrer.

L’idée — La prédiction

Le modèle applique son réglage actuel, quel qu’il soit : p = w × x. Avec w = 0,4 et x = 2, il propose p = 0,8. Ce 0,8 n’est ni bon ni mauvais en soi : c’est la matière première de la comparaison avec la cible 1.

Pourquoi / à quel prix — La prédiction

Pourquoi c’est suffisant : même une mauvaise prédiction chiffrée rend l’écart mesurable, donc corrigeable. Le prix : une prédiction n’engage à rien — 0,8 peut être presque juste pour un couple (x ; y) et absurde pour un autre. On ne juge jamais un modèle sur une seule sortie.

Contrôle : Avec w = 0,4 et x = 2, la prédiction vaut 0,8. Quelle valeur de w donnerait exactement la cible 1, et comment la trouvez-vous sans faire tourner la boucle ?

Le problème — Mesurer l’erreur

« La prédiction est mauvaise » — mauvaise de combien, et dans quel sens ? Si vous ignorez si 0,8 est trop haut ou trop bas par rapport à 1, vous ne savez pas s’il faut augmenter ou diminuer w. Un jugement sans signe ne guide rien.

L’idée — Mesurer l’erreur

L’erreur transforme le jugement en nombre signé : e = 1 − 0,8 = +0,20, donc prédire plus haut. Une prédiction de 1,3 donnerait e = −0,30 : prédire plus bas. Le signe donne la direction, la valeur donne l’ampleur du geste.

error = target − prediction

Pourquoi / à quel prix — Mesurer l’erreur

Pourquoi ça marche : un nombre signé est exactement ce que la mise à jour peut consommer. Le prix : e ne mesure qu’un exemple. Un modèle peut être parfait sur (2 ; 1) et faux partout ailleurs — c’est une boussole locale, pas un certificat général.

Contrôle : Ici e = 1 − 0,8 = 0,20. Que vaudrait e si la prédiction était 1,3 ? Donnez le signe et dites dans quel sens le poids doit alors bouger.

Support visuel — Mesurer l’erreur

axe des prédictions
0 ─────────── 0,8 ───────────── 1 ───────────── 1,3 ─────▶
               p              cible              p′

e = 1 − 0,8 = +0,20   → w doit monter
e = 1 − 1,3 = −0,30   → w doit descendre

règle : le signe de e pointe toujours vers la cible

Le problème — Ajuster un paramètre

Vous savez qu’il faut prédire plus haut. De combien bouger w = 0,4 ? Sauter directement à la valeur parfaite sur-réagit à un exemple peut-être atypique ; ne rien bouger n’apprend rien. Il faut un pas dosé entre ces deux excès.

L’idée — Ajuster un paramètre

La mise à jour dose le pas avec le taux d’apprentissage : w ← 0,4 + 0,1 × 0,20 = 0,42. La nouvelle prédiction 0,84 se rapproche de la cible 1 sans l’atteindre : chaque exemple tire un peu le réglage, aucun ne le dicte.

new weight = old weight + learning rate × error

Pourquoi / à quel prix — Ajuster un paramètre

Le prix du dosage se lit dans la table des taux : à 0,001 le progrès est invisible, à 3 l’erreur explose de 0,20 à 5,00. Le taux n’est pas un détail d’implémentation : c’est le compromis vitesse/stabilité, et c’est un humain qui le choisit.

Contrôle : Avec un taux de 0,1, w passe de 0,4 à 0,42. Refaites le calcul avec un taux de 3, puis la nouvelle prédiction. Le modèle s’est-il amélioré ou aggravé ?

Le problème — Répéter sur beaucoup d’exemples

Entraîné seulement sur (2 ; 1), le modèle converge vers w = 0,5 — parfait sur cet exemple. Arrive l’exemple B : x = 1, cible 0,7. Il voudrait w = 0,7. Aucun poids unique ne satisfait les deux : le spécialiste d’un exemple échoue sur le suivant.

L’idée — Répéter sur beaucoup d’exemples

La pré-formation répète la boucle sur des millions d’exemples variés, servis par lots. Tiré tour à tour vers 0,5 et vers 0,7, w se stabilise vers un compromis (≈ 0,54) qui réduit l’erreur moyenne — aucun exemple n’est parfait, tous sont approchés.

Pourquoi / à quel prix — Répéter sur beaucoup d’exemples

Ce compromis est précisément ce qui se généralise : il capture le motif commun, pas un cas isolé. Le prix : la moyenne penche du côté du nombre. Si 99 % des exemples disent une chose et 1 % une autre, le poids final ignore presque la minorité — la composition du corpus décide.

Contrôle : Après convergence sur l’exemple A, w = 0,5. L’exemple B donne x = 1 et cible 0,7. Calculez prédiction et erreur avec ce poids « parfait » : que montre le résultat ?

Support visuel — Répéter sur beaucoup d’exemples

exemple A (x = 2, y = 1)    voudrait w = 0,5
exemple B (x = 1, y = 0,7)  voudrait w = 0,7

     tir de A                       tir de B
 w = 0,5 ◀─────────  w ≈ 0,54  ─────────▶ w = 0,7
                       │
        erreur A ≈ 0,08   erreur B ≈ 0,16

 aucune erreur nulle — mais les deux restent petites

Le problème — Entraînement ≠ conversation

Vous corrigez l’assistant dans le chat, sa réponse suivante s’améliore… puis une conversation neuve répète la même erreur. S’il « apprend », pourquoi a-t-il oublié ? Confondre les deux régimes fait attendre du chat ce que seul l’entraînement peut faire.

L’idée — Entraînement ≠ conversation

Ce sont deux régimes distincts. Pendant l’entraînement, w change : 0,4 → 0,42. Pendant une conversation, w est figé ; seul le contenu de la fenêtre de contexte varie. Votre correction vit dans le contexte, pas dans les poids.

Pourquoi / à quel prix — Entraînement ≠ conversation

Image utile : le contexte est un post-it, les poids sont la gravure. Le post-it disparaît avec la fenêtre ; regraver exige un ré-entraînement coûteux et contrôlé. Ce gel est un choix de conception — il protège le modèle de chaque conversation — pas une panne.

Contrôle : Vous corrigez le modèle dans le chat et sa réponse suivante s’améliore. Le poids 0,42 a-t-il changé ? Si non, où vit la correction, et que se passe-t-il quand vous ouvrez une nouvelle conversation ?

Support visuel — Entraînement ≠ conversation

ENTRAÎNEMENT (l’usine)            CONVERSATION (le guichet)
┌──────────────────────┐          ┌──────────────────────┐
│ exemples en masse    │          │ votre message        │
│ w bouge : 0,4 → 0,42 │          │ w figé : 0,42        │
│ coût : GPU, semaines │          │ le contexte varie    │
└──────────────────────┘          └──────────────────────┘

 la correction du chat vit à droite : elle disparaît avec
 la fenêtre ; la gravure de gauche, elle, reste

Cas guidé — trace complète

Avec poids 0,4, entrée 2 et cible 1 : prédiction 0,8, erreur 0,2. Avec un taux de 0,1, le poids augmente légèrement. Le laboratoire montre que la nouvelle prédiction se rapproche de 1.

Données : x = 2, cible y = 1. Départ : w = 0,4, taux = 0,1

pas 1  p = 0,4 × 2 = 0,8      e = 1 − 0,8 = 0,20
       w = 0,4 + 0,1 × 0,20 = 0,42
pas 2  p = 0,42 × 2 = 0,84    e = 1 − 0,84 = 0,16   ✅ l’erreur a baissé
       w = 0,42 + 0,1 × 0,16 = 0,436
pas 3  p = 0,872              e = 0,128             ✅ on converge vers w = 0,5

MÊME EXEMPLE, TAUX = 3 (le pas est trop grand)
pas 1  w = 0,4 + 3 × 0,20 = 1,00   p = 2,00   e = 1 − 2,00 = −1,00
pas 2  w = 1,00 + 3 × (−1,00) = −2,00   p = −4,00   e = 5,00
       ❌ l’erreur explose : le pas dépasse la bonne zone à chaque tour

CONTRÔLE D’ÉCHELLE : toutes les grandeurs de cette maquette sont sans unité.
Le pas 0,1 × 0,20 = 0,02 déplace w de 5 % de sa valeur (0,4 → 0,42),
soit 1 % de x, ou 2 % de la cible.

Choisir le taux d’apprentissage sur cet exemple

Taux w après un pas (départ 0,4) Ce que l’on observe
0,001 0,4002 Progrès presque invisible : des milliers de pas nécessaires
0,1 0,42 Baisse régulière de l’erreur : régime sain
1,0 0,60 Saute au-delà de 0,5 puis revient : oscillation
3,0 1,00 Divergence : l’erreur grandit à chaque pas

Laboratoire causal

Prédire → modifier une variable → exécuter → expliquer l’écart

/interactives/curriculum/training-step.html?lang=fr

Erreurs fréquentes

« Le modèle mémorise la bonne réponse quand on la lui donne. »

La cible n’est jamais stockée : elle sert uniquement à produire le nombre e = 0,20, qui déplace w de 0,4 à 0,42. Aucune trace de « bleu » n’entre dans le modèle — seul un réglage bouge.

« Un pas plus grand fait apprendre plus vite. »

La trace le contredit : avec un taux de 3, w saute à 1,00 puis à −2,00 et l’erreur passe de 0,20 à 5,00. La vitesse utile s’arrête là où le pas dépasse la cible.

Frontière, preuve et sources

Cette boucle à un poids est une maquette pédagogique. Les vrais modèles ont de très nombreux paramètres, des gradients et des optimisateurs.

Statut de preuve : Mécanismes établis ; les simplifications numériques sont pédagogiques.

  • Rumelhart, Hinton & Williams, “Learning representations by back-propagating errors”, Nature (1986).
  • Dossier source fourni par le propriétaire; les détails sur des produits nommés restent attribués à cette source jusqu’à vérification primaire.

Défi de transfert

Reprenez la boucle avec l’exemple B (x = 1 ; cible 0,7) en partant de w = 0,42.

  1. Prédisez le signe de e avant tout calcul.
  2. Faites deux pas à taux 0,1 et notez w après chacun.
  3. Décidez : quel taux garderiez-vous pour apprendre A et B ensemble, et quelle observation vous ferait revenir en arrière ?

Synthèse et ticket de sortie

  • Un exemple et une cible
  • La prédiction
  • Mesurer l’erreur
  • Ajuster un paramètre
  • Répéter sur beaucoup d’exemples
  • Entraînement ≠ conversation

Ticket : mécanisme · trace · observation · frontière · preuve · prochaine expérience

Notes formateur: Poser le problème avant de nommer le mécanisme. Recueillir une prédiction initiale et la conserver pour le ticket de sortie.

Notes formateur: Faire relier chaque étape à la suivante par un verbe causal. Signaler toute flèche purement décorative.

Notes formateur: Lancer : « écrivez la règle qui complète n’importe quelle phrase française ». 60 secondes suffisent pour faire sentir l’impasse du catalogue ; garder une règle proposée pour la comparer au couple (x ; y) du beat suivant. Noter la prédiction initiale de la salle pour le ticket de sortie.

Notes formateur: Faire écrire au tableau, côte à côte, « ce que je donne » et « ce que j’attends » pour trois exemples proposés par la salle. Ne pas commenter la qualité : l’objectif est qu’ils voient que la cible est une donnée, pas une instruction.

Notes formateur: Réponse visée : un exemple dont la cible diffère, p. ex. « le gazon est… → vert ». Comparer les deux apprend que la sortie dépend de l’entrée, pas d’un mot favori global. Erreur fréquente : changer la phrase mais garder « bleu », ce qui n’oppose rien. 2 minutes en binôme, une réponse fausse réparée au tableau.

Notes formateur: Question éclair : « que répond un modèle qui ne sait rien ? ». Réponse visée : n’importe quoi — mais un nombre. Beaucoup répondront « rien » : montrer qu’une sortie nulle est encore une sortie, et qu’on ne peut corriger que du chiffré. 2 minutes maximum.

Notes formateur: Faire calculer 0,4 × 2 avant d’annoncer le résultat, puis demander à main levée si 0,8 est « faux ». Récolter les hésitations : elles montrent qu’une prédiction imparfaite n’est pas une panne.

Notes formateur: Réponse : w = 0,5, en résolvant 1 = w × 2. Erreur fréquente : 0,4 + 0,2 = 0,6 — ajouter l’erreur au poids sans passer par le taux ni par x. Conclure : ici on sait résoudre ; avec des millions de poids on ne sait plus, et c’est précisément pour cela que la boucle existe.

Notes formateur: Faire voter à main levée : 0,8 est-il « trop haut » ou « trop bas » ? Le vote force chacun à chercher la cible avant la formule. Garder le décompte au tableau : les erreurs de signe votées ici reviennent au beat de la mise à jour.

Notes formateur: Demander le signe de l’erreur avant sa valeur. Faire tester une prédiction supérieure à la cible (1,3) pour que le signe négatif apparaisse en salle plutôt que dans la diapositive.

Notes formateur: Réponse : e = 1 − 1,3 = −0,30 ; w doit descendre. Erreur fréquente : annoncer +0,30 en inversant cible − prédiction, donc pousser w vers le haut. Faire vérifier le signe sur la droite du support visuel avant de corriger quiconque.

Notes formateur: Faire placer une troisième prédiction (p. ex. 0,95) sur la droite et donner son erreur sans calcul écrit. La droite sert ensuite de juge de paix pour toutes les erreurs de signe de la séance.

Notes formateur: Demander une proposition chiffrée : « vous bougez w de combien ? ». Recueillir trois valeurs typiques (0,1 ; 0,5 ; « directement à la valeur parfaite ») et les afficher sans commenter — la table des taux les départagera dans deux slides.

Notes formateur: Faire jouer la mise à jour trois fois à la main avec un taux de 0,1, puis relancer avec 3. Le contraste 0,42 / 1,00 doit être vécu au tableau ; ne pas donner la conclusion à l’avance.

Notes formateur: Réponse : w = 0,4 + 3 × 0,20 = 1,00, puis p = 2,00 et e = −1,00 : le modèle s’est aggravé. Erreur attendue : « plus grand = plus rapide ». Renvoyer à la table des taux : la ligne 3,0 diverge et la ligne 1,0 oscille déjà. 3 minutes, calcul individuel puis comparaison.

Notes formateur: Poser le piège avant la solution : « le modèle est parfait sur A ; que va-t-il faire sur B ? ». Laisser la salle prédire « il sera bon aussi » — c’est exactement l’idée fausse que ce beat démonte. Recueillir deux prédictions écrites.

Notes formateur: Demander combien de pas il faudrait pour atteindre w = 0,5 avec un taux de 0,001. Laisser l’ordre de grandeur les surprendre : c’est la meilleure introduction à l’échelle des corpus de pré-formation.

Notes formateur: Réponse : p = 0,5 × 1 = 0,5 et e = 0,7 − 0,5 = +0,20 — le poids parfait sur A se trompe de 0,20 sur B ; aucun w unique n’annule les deux erreurs, d’où le compromis w ≈ 0,54. Erreur attendue : « il suffit de continuer la boucle sur A ». Rappel : ce compromis devient la perte moyenne d’un lot en session intermédiaire 11.

Notes formateur: Vérifier au tableau : avec w = 0,54, A prédit 1,08 (écart 0,08) et B prédit 0,54 (écart 0,16). Demander pourquoi le compromis est plus près de 0,5 que de 0,7 — A pèse plus car son x est plus grand.

Notes formateur: Sonder l’expérience vécue : qui a déjà « corrigé » un assistant en chat ? Faire raconter la rechute dans une conversation neuve avant toute explication : l’anecdote vécue rend la distinction mémorable. Garder l’anecdote pour la démo en direct du beat suivant.

Notes formateur: Faire l’expérience en direct : corriger l’assistant dans un chat, puis rouvrir une conversation vierge et reposer la même question. La rechute observée règle le débat mieux qu’une explication.

Notes formateur: Réponse : non, w = 0,42 n’a pas bougé ; la correction vit dans la fenêtre de contexte et disparaît avec elle. Erreur fréquente : « il a appris de moi ». Si le matériel le permet, faire la démonstration en direct — chat corrigé, puis conversation neuve — avant de donner la réponse.

Notes formateur: Faire classer trois événements — « le modèle répond », « le modèle est ré-entraîné », « vous corrigez dans le chat » — dans la bonne colonne. Le troisième est le piège : il va à droite, pas à gauche.

Notes formateur: Dérouler ligne par ligne. Une incohérence se localise à la première étape fautive, pas seulement sur la dernière ligne.

Notes formateur: Faire remplir la dernière ligne par les apprenants avant de la révéler : c’est le compromis qui décide en production.

Notes formateur: Conserver les valeurs initiales et finales. Interdire les changements simultanés qui rendent l’écart impossible à attribuer.

Notes formateur: Pour chaque affirmation, faire produire le contre-exemple minimal par le groupe avant de donner la correction.

Notes formateur: Séparer mécanisme vérifiable, choix d’implémentation rapporté et résultat expérimental. La précision de la preuve doit suivre celle de l’affirmation.

Notes formateur: Réponses : e = +0,28 ; w passe à 0,448 puis 0,4732. Idée fausse attendue : « le modèle va atteindre 0,5 ET 0,7 » — faire constater que chaque pas sur B dégrade A (rappel du compromis w ≈ 0,54). Seuil de retour arrière raisonnable : l’erreur sur A dépasse 0,2. 8 à 10 minutes en binôme, calculatrice autorisée.

Notes formateur: Faire reconstruire la chaîne sans regarder les slides, puis remplir le ticket en six lignes maximum. Comparer à la prédiction initiale du premier slide et nommer ce qui a réellement changé.