# Exercices corrigés — Gated DeltaNet et oubli sélectif
**Consigne générale:** chaque réponse doit montrer les données, la transformation, le résultat, une vérification et une limite. Un nombre seul ou une définition recopiée ne suffit pas.
> **Données de départ:** Avec α=0,8, une trace de valeur 1 devient 0,8 puis 0,64 sans nouvelle écriture. Une correction β=0,5 n’ajoute ensuite que la moitié de l’erreur observée.
>
> **Frontière à conserver:** Le parallèle avec Mamba est conceptuel. Il ne faut pas conclure que Gated DeltaNet et Mamba sont interchangeables.
## Exercice 1 — Trace calculée — Pourquoi oublier
Reproduisez puis commentez la chaîne `S_t=α_t S_{t−1}+update_t`. Augmentez α de 0,8 à 0,96 pour une trace initiale de 1 sans nouvelle écriture. Calculez les deux états suivants et comparez la rétention.
**Livrable:** un tableau données → opération → résultat → interprétation, plus deux phrases sur la valeur modifiée.
Solution guidée
Avec α=0,8, une trace de valeur 1 devient 0,8 puis 0,64 sans nouvelle écriture. Une correction β=0,5 n’ajoute ensuite que la moitié de l’erreur observée.
**Variante résolue:** Avec α=0,8, la trace donne 0,8 puis 0,64. Avec α=0,96, elle donne 0,96 puis 0,9216. La rétention augmente nettement, mais un α proche de 1 ralentit aussi l’oubli d’informations devenues inutiles.
Renverser le réflexe : l’oubli est une fonction, pas une panne. Une mémoire de capacité fixe qui ne libère jamais rien finit par ne plus rien distinguer ; effacer l’obsolète est précisément ce qui garde le présent lisible. Une porte α_t ∈ [0,1], produite à chaque token, multiplie l’état avant l’écriture : S′ = α_t·S_{t−1}. À 0,8, une trace suit 1 → 0,8 → 0,64, et sa demi-vie vaut ln(0,5)/ln(0,8) ≈ 3,1 tokens. Le modèle apprend quand serrer ou ouvrir la porte. La vérification minimale consiste à contrôler les dimensions, le signe et l’ordre de grandeur. Si la variation obtenue contredit la prédiction, localiser la première opération qui change de sens au lieu de corriger seulement la dernière ligne.
Solution argumentée
β_t dose la correction delta : S_t = S′ + β_t k eᵀ. Sur la trace, β = 0,5 n’applique que la moitié de l’erreur — il reste exactement (1−β)·e. β ≈ 0 ignore, β = 1 corrige à fond, décidé token par token. La stabilité tient à des détails contraignants : α borné dans [0,1] — pas seulement |α| ≤ 1, un α négatif ferait osciller le signe —, clés normalisées, et un ordre d’opérations déclaré : décroître, lire, corriger. Le parallèle avec Mamba est conceptuel. Il ne faut pas conclure que Gated DeltaNet et Mamba sont interchangeables.
L’affirmation mélange une relation locale et une garantie globale. Une version défendable décrit seulement le mécanisme observé, les conditions du test et la métrique relevée. Le test doit s’arrêter si les formes deviennent invalides, si la métrique se dégrade au-delà du seuil annoncé ou si une autre variable a changé.
Éléments d’une bonne solution
La bonne grandeur est la durée utile : demi-vie ≈ 69 tokens à α = 0,99, ≈ 3,1 à α = 0,80, 1,0 à α = 0,5. La capacité effective combine taille de S, oubli et séparation des clés — pas la longueur maximale affichée du contexte. Le recouvrement est réel : récurrence plus contrôles appris. La différence aussi : la mémoire delta LIT son état (v̂ = S′ᵀk) et écrit l’erreur ; un SSM classique filtre le signal sans lecture associative. Même famille de motivations, équations distinctes. Établis : règle delta, décroissance exponentielle et demi-vies calculées ici. Pédagogiques : les valeurs α, β et les matrices 2×2 de la trace. Rapportés : les choix de portes exacts des modèles nommés.
Une bonne réponse ne présente pas le mécanisme récent comme gagnant par défaut. Elle conserve une référence mesurable, fixe le seuil avant le test et distingue le coût du composant du comportement du système complet. Le verdict doit citer ce qui reste incertain et la prochaine preuve qui pourrait le modifier.