Exercices corrigés — DeltaNet : corriger la mémoire

Consigne générale: chaque réponse doit montrer les données, la transformation, le résultat, une vérification et une limite. Un nombre seul ou une définition recopiée ne suffit pas.

Données de départ: Si S lit [0,6;0,2] pour une cible [1;0], l’erreur [0,4;−0,2] pilote seulement la correction manquante, contrairement à une addition complète de la cible.

Frontière à conserver: La règle delta réduit certaines interférences ; elle ne crée pas une capacité illimitée et sa stabilité dépend des clés, portes et normalisations.

Exercice 1 — Trace calculée — Limite de l’addition

Reproduisez puis commentez la chaîne v̂=Sᵀk. Remplacez la première coordonnée de la cible [1;0] par 1,2, en gardant la lecture [0,6;0,2]. Recalculez l’erreur de correction.

Livrable: un tableau données → opération → résultat → interprétation, plus deux phrases sur la valeur modifiée.

Solution guidée

Si S lit [0,6;0,2] pour une cible [1;0], l’erreur [0,4;−0,2] pilote seulement la correction manquante, contrairement à une addition complète de la cible.

Variante résolue: L’erreur cible−lecture passe de [0,4;−0,2] à [0,6;−0,2]. La première correction augmente de 50 %, tandis que la seconde ne change pas; la règle corrige l’écart observé, pas toute la mémoire indistinctement.

Le diagnostic est structurel : S ← S + k vᵀ ne consulte jamais S. L’écriture est décidée sans savoir ce que la mémoire contient déjà — répéter une information l’amplifie, la corriger l’entremêle. La mémoire prédit d’abord : v̂ = Sᵀk. Sur S = [[2,3],[5,1]] avec k=[1,0], v̂ = [2,3] — exactement ce qu’une requête alignée lirait. L’écriture devient conditionnelle à l’état, plus seulement à l’entrée. La vérification minimale consiste à contrôler les dimensions, le signe et l’ordre de grandeur. Si la variation obtenue contredit la prédiction, localiser la première opération qui change de sens au lieu de corriger seulement la dernière ligne.

Barème Exercice 1 — /10

Critère	Points
Données et formes explicites	2
Calcul traçable	3
Prédiction avant variation	2
Interprétation et vérification	2
Limite nommée	1

Exercice 2 — Diagnostic d’une explication séduisante — Erreur locale

Un collègue affirme: « Erreur locale prouve que le système sera exact, rapide et stable dans tous les contextes. »

Séparez mécanisme, hypothèse, observation et conclusion.
Citez deux éléments corrects de la leçon et deux extrapolations non justifiées.
Proposez une expérience bornée avec variable contrôlée, métrique et seuil d’arrêt.
Réécrivez l’affirmation en une phrase défendable.

Solution argumentée

Seulement la différence : e = v − v̂ = [7,6]. Elle contient à la fois ce qui manque (composantes positives) et ce qui doit s’effacer (négatives). Et si v̂ = v, alors e = [0,0] : le token redondant n’écrit rien. S ← S + β k eᵀ : k localise (ligne 1 seulement), e porte le contenu, β dose. Avec β=1 et ‖k‖=1 : remplacement exact, [2,3] → [9,9], ligne 2 intacte. Avec β=0,5 : à mi-chemin, [5,5 ; 6]. La règle delta réduit certaines interférences ; elle ne crée pas une capacité illimitée et sa stabilité dépend des clés, portes et normalisations.

L’affirmation mélange une relation locale et une garantie globale. Une version défendable décrit seulement le mécanisme observé, les conditions du test et la métrique relevée. Le test doit s’arrêter si les formes deviennent invalides, si la métrique se dégrade au-delà du seuil annoncé ou si une autre variable a changé.

Barème Exercice 2 — /10

2 points par élément : séparation, ancrage dans la leçon, extrapolations, protocole, reformulation.

Exercice 3 — Décision d’architecture et transfert — Poids rapides

Vous devez reproduire le cas guidé « Si S lit [0,6;0,2] pour une cible [1;0], l’erreur [0,4;−0,2] pilote seulement la correction manquante, contrairement à une addition complète de la cible. » dans deux conditions. Option A utilise la chaîne complète jusqu’à « Poids rapides ». Option B est une référence transparente qui conserve « Limite de l’addition », calcule directement la sortie attendue et n’utilise pas le mécanisme de compression ou d’ajustement étudié. Construisez une fiche de décision comportant:

la charge et la contrainte dominante;
le mécanisme de chaque option, sans slogan;
une prédiction qualité, mémoire ou latence;
un cas où votre procédure préférée perd;
un protocole A/B, métriques et seuil de retour arrière;
un verdict borné : choisir, différer ou refuser.

Éléments d’une bonne solution

Deux vitesses coexistent : S est un poids RAPIDE, réécrit token par token et jeté en fin de séquence ; les matrices qui produisent k, v, β sont des paramètres LENTS, figés à l’inférence. L’entraînement apprend à piloter la mémoire, pas son contenu. Ni l’une ni l’autre : toute la présentation se transpose (lignes ↔ colonnes) sans changer le mécanisme. Ce qui est immuable : lire, comparer, corriger — et les FORMES déclarées : k(d_k), e(d_v), S(d_k×d_v) dans une convention, transposées dans l’autre. Mécanismes établis ; les simplifications numériques sont pédagogiques.

Une bonne réponse ne présente pas le mécanisme récent comme gagnant par défaut. Elle conserve une référence mesurable, fixe le seuil avant le test et distingue le coût du composant du comportement du système complet. Le verdict doit citer ce qui reste incertain et la prochaine preuve qui pourrait le modifier.

Barème Exercice 3 — /15

Critère	Points
Cadrage et référence	3
Chaînes causales comparées	4
Protocole et métriques	4
Seuil de retour arrière	2
Verdict borné	2

Prolongement

Refaites l’exercice 3 en inversant la contrainte dominante. Si vous aviez optimisé la mémoire, imposez maintenant une qualité minimale stricte; si vous aviez optimisé la fidélité, imposez une enveloppe mémoire divisée par deux. Identifiez le premier point du verdict qui change et la preuve nécessaire.

Relecture avant remise

Relisez votre paquet comme si un autre groupe devait reproduire votre travail sans vous parler. Toutes les valeurs ou hypothèses de départ sont-elles présentes ? Les formes ou rôles sont-ils écrits avant les opérations ? La prédiction précède-t-elle réellement l’observation ? Le résultat est-il traduit en comportement plutôt que laissé comme nombre isolé ? Avez-vous testé une valeur limite et identifié une condition d’arrêt ? Le choix de procédure ou d’architecture conserve-t-il une référence mesurable et un seuil de retour arrière fixé avant le test ? Enfin, surlignez une phrase qui décrit ce qui est établi, une phrase qui reste une hypothèse et une mesure susceptible de changer votre verdict. Si l’un de ces éléments manque, le travail n’est pas reproductible.

Annexe de référence pour la correction

Chapitre 9 — DeltaNet : corriger la mémoire

9.1 La règle delta

But : remplacer l’addition aveugle par une correction d’erreur. Avant d’écrire la valeur souhaitée v, le modèle demande ce que la mémoire actuelle renvoie pour la clé k. Il n’écrit que la différence.

Un professeur ne réécrit pas toute une réponse lorsqu’une seule ligne est fausse ; il indique la différence à corriger.

Étape par étape

Lire l’ancienne valeur : v_old = kᵀS.
Calculer l’erreur : e = v − v_old.
Choisir une force d’écriture β entre 0 et 1.
Mettre à jour : S ← S + β k eᵀ.

Exemple détaillé : S est nulle, k=[1,0], valeur souhaitée v=[2,3], β=1. L’ancienne valeur=[0,0], l’erreur=[2,3], donc S devient [[2,3],[0,0]]. Changeons ensuite la valeur souhaitée en [5,1]. L’ancienne valeur=[2,3], l’erreur=[3,−2], et la mise à jour transforme la première ligne en [5,1] au lieu d’ajouter toute la nouvelle valeur.

Pourquoi c’est important : DeltaNet traite S comme des poids rapides : des nombres temporaires qui changent pendant la lecture de la séquence actuelle. Ils diffèrent des paramètres ordinaires du modèle, appris pendant l’entraînement puis réutilisés.

Vérification rapide : si la mémoire renvoie déjà la valeur souhaitée, quelle est l’erreur ? Réponse : zéro ; aucune correction n’est nécessaire.

9.2 Orientation et formes

But : éviter la confusion sur les transposées. Dans ce cours, S est une matrice clé-par-valeur. Une clé colonne k a la forme dₖ × 1, une valeur ligne a la forme 1 × dᵥ, et k vᵀ a la forme dₖ × dᵥ.

Les formes ressemblent à des tailles de connecteurs. Si les connecteurs ne s’emboîtent pas, la multiplication n’est pas définie.

Étape par étape

Écriture : (dₖ×1)(1×dᵥ) → dₖ×dᵥ.
Lecture : (1×dₖ)(dₖ×dᵥ) → 1×dᵥ.
Certains articles transposent tous les objets et utilisent une convention valeur-par-clé. Le mécanisme peut rester équivalent.

Exemple détaillé : Exemple de formes : dₖ=2 et dᵥ=3. Alors S a la forme 2×3. Une requête 1×2 multipliée par S produit une valeur 1×3.

Pourquoi c’est important : La vérification des formes permet de lire des équations inconnues sans mémoriser chaque symbole.

Vérification rapide : quelle forme résulte de (1×4)(4×6) ? Réponse : 1×6.

Sources et frontière de preuve

Dossier de cours bilingue fourni par le propriétaire, chapitre 9.
Schlag, Irie & Schmidhuber, “Linear Transformers Are Secretly Fast Weight Programmers”, ICML (2021).
Yang et al., “Parallelizing Linear Transformers with the Delta Rule over Sequence Length” (DeltaNet), NeurIPS (2024).
Dossier source fourni par le propriétaire; les détails sur des produits nommés restent attribués à cette source jusqu’à vérification primaire.

Portée: Mécanismes établis ; les simplifications numériques sont pédagogiques. Ces références soutiennent le cadre de la session; elles ne transforment pas un choix de produit rapporté en résultat indépendant.