# Guide du professeur — Gated DeltaNet et oubli sélectif

**Durée:** 120 minutes<br>
**Positionnement:** Ajouter décroissance et portes d’écriture à une mémoire correctible.<br>
**Preuve attendue:** Établis : règle delta, décroissance exponentielle et demi-vies calculées ici. Pédagogiques : les valeurs α, β et les matrices 2×2 de la trace. Rapportés : les choix de portes exacts des modèles nommés.

## Résultats observables et préparation

- Calculer une décroissance.
- Interpréter une porte d’écriture.
- Comparer au principe des modèles d’état.

Avant la séance, le formateur exécute lui-même le cas guidé et le laboratoire, imprime le paquet d’exercices, prépare un tableau à quatre colonnes — hypothèse, prédiction, observation, écart — et vérifie que chaque notation mathématique est accompagnée de ses dimensions. La démonstration ne doit pas devenir une lecture de slides.

## Diagnostic

1. Expliquez en une phrase: **Pourquoi oublier**. Quelle observation rendrait votre explication fausse ?
2. Expliquez en une phrase: **Porte de décroissance**. Quelle observation rendrait votre explication fausse ?
3. Expliquez en une phrase: **Porte d’écriture**. Quelle observation rendrait votre explication fausse ?

**Décision pédagogique:** si deux réponses sur trois restent nominales ou sans condition de validité, reprendre le vocabulaire avec un exemple numérique avant toute formule. Une réponse fluide mais non falsifiable n’est pas considérée comme acquise.

## Plan minuté

| Temps | Activité | Preuve observable |
|---|---|---|
| 0–10 min | Diagnostic individuel, puis comparaison en binôme | Trois réponses et une incertitude nommée |
| 10–25 min | Mise en situation et vocabulaire | Schéma entrée → état → sortie annoté |
| 25–55 min | Développement du mécanisme au tableau | Formes, hypothèses et calcul intermédiaire visibles |
| 55–75 min | Cas guidé, erreurs volontairement introduites | Correction argumentée, pas seulement le bon nombre |
| 75–95 min | Laboratoire causal : prédire, modifier une variable, exécuter | Tableau prédiction / observation / écart |
| 95–112 min | Exercices 1 et 2, correction croisée | Production conservée et barème appliqué |
| 112–120 min | Ticket de sortie et transfert | Mécanisme, frontière, prochaine expérience |

## Notes pédagogiques

## Chapitre 11 — Oubli : Gated DeltaNet et lien avec Mamba

### 11.1 Pourquoi l’oubli est utile

But : empêcher les anciennes informations d’occuper la mémoire pour toujours. Une porte est un nombre appris, souvent compris entre 0 et 1, qui contrôle la quantité d’information transmise.

Un tableau blanc est utile parce qu’on peut effacer partiellement les notes dépassées avant d’en écrire de nouvelles.

**Étape par étape**

- Appliquer une décroissance générale : S ← αS, où α proche de 1 signifie se souvenir et α proche de 0 oublier fortement.

- Appliquer la correction delta ciblée pour la clé actuelle.

- Utiliser β pour contrôler la force d’écriture.

**Exemple détaillé :** si S contient 10 et α=0,8, la décroissance laisse 8 avant la nouvelle écriture. Une décroissance répétée de 0,8 donne 10, 8, 6,4, 5,12… L’influence ancienne diminue progressivement.

**Pourquoi c’est important :** L’oubli est une gestion sélective des ressources. Il peut améliorer la capacité effective lorsque les anciens détails ne sont plus utiles.

**Vérification rapide :** α=1 efface-t-il la mémoire ? Réponse : non ; il conserve l’ancien état avant la nouvelle écriture.

### 11.2 Lien avec Mamba

But : situer la mémoire récurrente à portes dans une famille plus large. Mamba est un modèle d’espace d’état sélectif : il transporte un état de taille fixe dans le temps et laisse des contrôles dépendant de l’entrée décider quoi conserver et quoi injecter.

Les deux systèmes ressemblent à une expérience scientifique continue : conserver un état, le faire décroître ou le transformer, ajouter de nouvelles preuves et produire une sortie.

**Étape par étape**

- Thème commun : état récurrent de taille fixe.

- Thème commun : portes apprises dépendant de l’entrée.

- Différence importante : la mémoire de type Delta utilise explicitement des associations clé-valeur et des corrections ; Mamba est généralement formulé avec des équations d’espace d’état.

**Exemple détaillé :** Le lien est conceptuel ; il ne signifie pas que les deux architectures sont identiques.

**Pourquoi c’est important :** Reconnaître les familles aide à comparer les choix de conception sans confondre des mécanismes distincts.

**Vérification rapide :** quelle est l’idée centrale commune ? Réponse : un état appris de taille fixe, mis à jour à mesure que la séquence avance.

### Conduite du cas guidé

Avec α=0,8, une trace de valeur 1 devient 0,8 puis 0,64 sans nouvelle écriture. Une correction β=0,5 n’ajoute ensuite que la moitié de l’erreur observée.

Ne révélez pas le résultat en une fois. Faites annoncer la prochaine opération, sa forme et le signe attendu. Après chaque ligne, demandez : « Qu’est-ce qui a changé ? Qu’est-ce qui est resté fixe ? Quelle hypothèse avons-nous utilisée ? » Une erreur de calcul corrigée avec une chaîne causale vaut davantage qu’un résultat deviné.

### Protocole du laboratoire

1. Écrire une prédiction qualitative et, si possible, numérique avant de toucher le contrôle.
2. Modifier une seule variable; garder une capture ou relever les valeurs initiales et finales.
3. Expliquer l’écart avec le mécanisme, pas avec « l’outil a fait cela ».
4. Tester une valeur limite et dire où la maquette cesse de représenter un système réel.

## Idées fausses

| # | Idée fausse observable | Correction ancrée | Relance |
|---|---|---|---|
| 1 | « Pourquoi oublier suffit à garantir le résultat, sans hypothèse ni mesure. » | Renverser le réflexe : l’oubli est une fonction, pas une panne. Une mémoire de capacité fixe qui ne libère jamais rien finit par ne plus rien distinguer ; effacer l’obsolète est précisément ce qui garde le présent lisible. | Demander un contre-exemple, puis faire reformuler le mécanisme avec sa condition de validité. |
| 2 | « Porte de décroissance suffit à garantir le résultat, sans hypothèse ni mesure. » | Une porte α_t ∈ [0,1], produite à chaque token, multiplie l’état avant l’écriture : S′ = α_t·S_{t−1}. À 0,8, une trace suit 1 → 0,8 → 0,64, et sa demi-vie vaut ln(0,5)/ln(0,8) ≈ 3,1 tokens. Le modèle apprend quand serrer ou ouvrir la porte. | Demander un contre-exemple, puis faire reformuler le mécanisme avec sa condition de validité. |
| 3 | « Porte d’écriture suffit à garantir le résultat, sans hypothèse ni mesure. » | β_t dose la correction delta : S_t = S′ + β_t k eᵀ. Sur la trace, β = 0,5 n’applique que la moitié de l’erreur — il reste exactement (1−β)·e. β ≈ 0 ignore, β = 1 corrige à fond, décidé token par token. | Demander un contre-exemple, puis faire reformuler le mécanisme avec sa condition de validité. |

> **Frontière à maintenir:** Le parallèle avec Mamba est conceptuel. Il ne faut pas conclure que Gated DeltaNet et Mamba sont interchangeables.

## Questions de relance

1. Si nous supprimons ou inversons **Pourquoi oublier**, quelle sortie change en premier, et quelle observation le montrerait ?
2. Si nous supprimons ou inversons **Porte de décroissance**, quelle sortie change en premier, et quelle observation le montrerait ?
3. Si nous supprimons ou inversons **Porte d’écriture**, quelle sortie change en premier, et quelle observation le montrerait ?
4. Si nous supprimons ou inversons **Stabilité**, quelle sortie change en premier, et quelle observation le montrerait ?
5. Si nous supprimons ou inversons **Capacité effective**, quelle sortie change en premier, et quelle observation le montrerait ?
6. Si nous supprimons ou inversons **Lien avec Mamba**, quelle sortie change en premier, et quelle observation le montrerait ?

## Évaluation

| Niveau | Critère |
|---|---|
| 0 | Répète des termes sans relier entrée, transformation et sortie. |
| 1 | Décrit la chaîne mais ne vérifie ni forme ni hypothèse. |
| 2 | Exécute le cas, explique le résultat et nomme une limite. |
| 3 | Transfère sur un cas inédit, compare une alternative et propose une mesure qui pourrait invalider son choix. |

**Seuil de sortie :** niveau 2 sur le cas guidé et au moins un exercice; une formule mémorisée sans interprétation reste niveau 1.

## Protocole d’observation et de reprise

Pendant les échanges, le formateur relève des preuves et non des impressions. Une preuve de compréhension contient un objet nommé, une transformation justifiée et une conséquence vérifiable. Si un apprenant donne le bon résultat sans chaîne, demander de reconstruire la ligne précédente. S’il donne une chaîne cohérente avec un résultat faux, conserver la chaîne et isoler l’erreur de calcul. S’il emploie le vocabulaire d’un autre concept, faire comparer les deux mécanismes dans un tableau entrée, état, sortie, coût et limite. La reprise se fait sur la première rupture seulement : vocabulaire, formes, opération, interprétation ou portée de l’affirmation. Après correction, proposer un cas voisin avec une valeur différente; la réussite sur le même exemple ne prouve pas le transfert. Pour le travail en binôme, attribuer les rôles « opérateur » et « vérificateur », puis les inverser. Le vérificateur ne donne pas la réponse : il exige une hypothèse, contrôle la forme et demande quelle observation pourrait contredire le raisonnement. Le formateur conserve le ticket de sortie et classe la rupture dominante. La séance suivante commence par un problème de trois minutes ciblant cette rupture, plutôt que par une répétition générale du cours.

## Différenciation

- **Soutien:** fournir les formes et la première transformation; laisser l’apprenant compléter l’interprétation et la limite.
- **Parcours nominal:** cas guidé sans résultat, laboratoire avec une variable imposée, exercice de diagnostic.
- **Prolongement:** changer une hypothèse, comparer deux mécanismes et définir la métrique qui déciderait entre eux.

## Suivi après la séance

Dans les vingt-quatre heures, renvoyer à chaque apprenant son ticket annoté avec une seule priorité, la ressource précise à rouvrir et un mini-cas différent du cas guidé. La reprise demande trois éléments : une prédiction écrite, une trace conservée et une phrase expliquant l’écart. Au cours suivant, échantillonner deux productions : une qui a réparé la rupture et une qui reste ambiguë. Les discuter sans nommer les auteurs, puis faire expliciter le critère qui distingue les deux. Ne pas utiliser le taux de complétion comme preuve de maîtrise. La preuve de reprise est une chaîne correcte sur un cas nouveau, accompagnée d’une limite. Si la même rupture apparaît chez plus d’un tiers du groupe, corriger le support ou la démonstration avant d’attribuer le problème aux apprenants.

Le suivi est clos seulement lorsque la nouvelle production montre la chaîne causale, la vérification et la frontière, et non lorsque le fichier a simplement été rendu.

## Sources et frontière de preuve

- Dossier de cours bilingue fourni par le propriétaire, chapitre 11.
- Yang, Kautz & Hatamizadeh, “Gated Delta Networks: Improving Mamba2 with Delta Rule”, ICLR (2025), arXiv:2412.06464.
- Gu & Dao, “Mamba: Linear-Time Sequence Modeling with Selective State Spaces”, arXiv:2312.00752 (2023).
- Dossier source fourni par le propriétaire; les détails sur des produits nommés restent attribués à cette source jusqu’à vérification primaire.

> **Portée:** Établis : règle delta, décroissance exponentielle et demi-vies calculées ici. Pédagogiques : les valeurs α, β et les matrices 2×2 de la trace. Rapportés : les choix de portes exacts des modèles nommés. Ces références soutiennent le cadre de la session; elles ne transforment pas un choix de produit rapporté en résultat indépendant.

## Ticket de sortie

En six lignes maximum : mécanisme; calcul ou trace; observation; frontière; niveau de preuve; prochaine expérience. Le formateur annote une seule rupture causale prioritaire pour la reprise.