Guide du professeur — Flux résiduels et attention sur la profondeur

Durée: 120 minutes
Positionnement: Comprendre dilution résiduelle, récupération d’états antérieurs et compromis de checkpoints de profondeur.
Preuve attendue: Mixte : mécanismes établis + choix de type Kimi K3 rapportés par la source.

Résultats observables et préparation

Tracer un flux résiduel.
Calculer un mélange sur la profondeur.
Évaluer le coût de stockage.

Avant la séance, le formateur exécute lui-même le cas guidé et le laboratoire, imprime le paquet d’exercices, prépare un tableau à quatre colonnes — hypothèse, prédiction, observation, écart — et vérifie que chaque notation mathématique est accompagnée de ses dimensions. La démonstration ne doit pas devenir une lecture de slides.

Diagnostic

Expliquez en une phrase: Connexion résiduelle. Quelle observation rendrait votre explication fausse ?
Expliquez en une phrase: Dilution. Quelle observation rendrait votre explication fausse ?
Expliquez en une phrase: États de profondeur. Quelle observation rendrait votre explication fausse ?

Décision pédagogique: si deux réponses sur trois restent nominales ou sans condition de validité, reprendre le vocabulaire avec un exemple numérique avant toute formule. Une réponse fluide mais non falsifiable n’est pas considérée comme acquise.

Plan minuté

Temps	Activité	Preuve observable
0–10 min	Diagnostic individuel, puis comparaison en binôme	Trois réponses et une incertitude nommée
10–25 min	Mise en situation et vocabulaire	Schéma entrée → état → sortie annoté
25–55 min	Développement du mécanisme au tableau	Formes, hypothèses et calcul intermédiaire visibles
55–75 min	Cas guidé, erreurs volontairement introduites	Correction argumentée, pas seulement le bon nombre
75–95 min	Laboratoire causal : prédire, modifier une variable, exécuter	Tableau prédiction / observation / écart
95–112 min	Exercices 1 et 2, correction croisée	Production conservée et barème appliqué
112–120 min	Ticket de sortie et transfert	Mécanisme, frontière, prochaine expérience

Notes pédagogiques

Chapitre 15 — Dilution résiduelle et Attention Residuals

15.1 Flux résiduels

But : comprendre comment les Transformers profonds conservent et mettent à jour l’information. Une connexion résiduelle ajoute la modification d’une couche à la représentation actuelle : x_next = x + F(x).

Chaque éditeur conserve le brouillon actuel et ajoute une révision au lieu de repartir d’une page blanche.

Étape par étape

Commencer avec x₀=[1,2].
Modification de couche F(x₀)=[0,5; −0,2].
Résultat résiduel x₁=[1,5; 1,8].
Une couche ultérieure reçoit à la fois l’ancien chemin et la nouvelle modification.

Exemple détaillé : Dans un réseau très profond, mélanger continuellement toutes les informations dans un seul flux peut rendre certains signaux anciens difficiles à retrouver. Le récit fourni appelle cela dilution résiduelle.

Pourquoi c’est important : Les connexions résiduelles facilitent l’optimisation, mais ne garantissent pas que chaque caractéristique ancienne reste également accessible.

Vérification rapide : si x=[3,1] et F(x)=[−1,2], que vaut x+F(x) ? Réponse : [2,3].

15.2 Attention sur la profondeur

But : permettre à une couche de choisir parmi des représentations antérieures, au lieu d’accepter seulement le dernier flux accumulé. Attention Residuals, abrégé AttnRes, utilise une pondération de type attention sur la profondeur.

Un chercheur compare plusieurs brouillons enregistrés et choisit les passages les plus pertinents pour la prochaine révision.

Étape par étape

Conserver certaines sorties de couches antérieures ou des résumés de blocs.
Calculer des scores de pertinence pour la couche actuelle.
Normaliser les scores en poids.
Former un mélange pondéré et l’utiliser dans le nouveau calcul.

Exemple détaillé : trois états de profondeur sont h₁=[1,0], h₂=[0,2], h₃=[3,1]. Les poids [0,2; 0,3; 0,5] donnent 0,2h₁+0,3h₂+0,5h₃ = [1,7; 1,1].

Pourquoi c’est important : L’attention sur la profondeur coûte du stockage et du calcul. Blockwise AttnRes réduit ce coût en conservant ou consultant des points de contrôle plus grossiers plutôt que la sortie de chaque couche.

Vérification rapide : à combien s’additionnent les poids AttnRes après softmax ? Réponse : 1.

15.3 Limite des preuves

But : éviter de traiter un schéma architectural comme une spécification publiée. L’espacement exact des points de contrôle, les équations et l’emplacement des couches doivent être vérifiés dans la source officielle Kimi K3.

Un dessin conceptuel d’un bâtiment explique l’idée, mais ne constitue pas le plan d’ingénierie final.

Étape par étape

Leçon mécanistique : un accès appris aux états de profondeur antérieurs peut lutter contre la dilution.
Détails produit : les tailles exactes des blocs et les gains annoncés exigent des preuves primaires.

Exemple détaillé : Cette distinction garde le cours utile même si de futures publications modifient les noms ou les chiffres.

Pourquoi c’est important : Lire scientifiquement signifie distinguer ce qui est dérivé, mesuré ou seulement rapporté.

Vérification rapide : quelle source doit trancher un désaccord sur l’implémentation exacte ? Réponse : le code officiel ou un rapport technique faisant autorité pour la version précise du modèle.

Conduite du cas guidé

Scores de profondeur [2;1;0] sur {x₂₄;x₁₂;x₀} donnent softmax ≈ [0,67;0,24;0,09]. Le mélange privilégie x₂₄, le checkpoint le plus récent, tandis que les deux autres conservent ensemble 33 %.

Ne révélez pas le résultat en une fois. Faites annoncer la prochaine opération, sa forme et le signe attendu. Après chaque ligne, demandez : « Qu’est-ce qui a changé ? Qu’est-ce qui est resté fixe ? Quelle hypothèse avons-nous utilisée ? » Une erreur de calcul corrigée avec une chaîne causale vaut davantage qu’un résultat deviné.

Protocole du laboratoire

Écrire une prédiction qualitative et, si possible, numérique avant de toucher le contrôle.
Modifier une seule variable; garder une capture ou relever les valeurs initiales et finales.
Expliquer l’écart avec le mécanisme, pas avec « l’outil a fait cela ».
Tester une valeur limite et dire où la maquette cesse de représenter un système réel.

Idées fausses

#	Idée fausse observable	Correction ancrée	Relance
1	« Connexion résiduelle suffit à garantir le résultat, sans hypothèse ni mesure. »	L’addition change tout : x_{l+1} = x_l + F_l(x_l). Chaque couche AJOUTE sa transformation au flux au lieu de le remplacer ; si F ≡ 0, x traverse inchangé — le chemin identité garantit un gradient direct vers chaque couche.	Demander un contre-exemple, puis faire reformuler le mécanisme avec sa condition de validité.
2	« Dilution suffit à garantir le résultat, sans hypothèse ni mesure. »	Sous l’hypothèse de contributions à peu près orthogonales (‖F_l‖ = 0,5), l’énergie suit ‖x_l‖² ≈ 1 + 0,25·l : la part de x₀ passe de 100 % à 25 % (l = 12), 14,3 % (l = 24), 7,7 % (l = 48). Diluée, jamais effacée — l’addition est conservatrice.	Demander un contre-exemple, puis faire reformuler le mécanisme avec sa condition de validité.
3	« États de profondeur suffit à garantir le résultat, sans hypothèse ni mesure. »	La solution : photographier en route. Conserver quelques x_j choisis — {x₀, x₁₂, x₂₄} — comme points de récupération le long de la profondeur, analogues informationnels des checkpoints d’entraînement.	Demander un contre-exemple, puis faire reformuler le mécanisme avec sa condition de validité.

Frontière à maintenir: AttnRes est présenté comme mécanisme de cours et étude de cas rapportée ; ses détails exacts dans Kimi K3 nécessitent une source primaire.

Questions de relance

Si nous supprimons ou inversons Connexion résiduelle, quelle sortie change en premier, et quelle observation le montrerait ?
Si nous supprimons ou inversons Dilution, quelle sortie change en premier, et quelle observation le montrerait ?
Si nous supprimons ou inversons États de profondeur, quelle sortie change en premier, et quelle observation le montrerait ?
Si nous supprimons ou inversons Scores sur la profondeur, quelle sortie change en premier, et quelle observation le montrerait ?
Si nous supprimons ou inversons Blocage, quelle sortie change en premier, et quelle observation le montrerait ?
Si nous supprimons ou inversons Ce que cela ne prouve pas, quelle sortie change en premier, et quelle observation le montrerait ?

Évaluation

Niveau	Critère
0	Répète des termes sans relier entrée, transformation et sortie.
1	Décrit la chaîne mais ne vérifie ni forme ni hypothèse.
2	Exécute le cas, explique le résultat et nomme une limite.
3	Transfère sur un cas inédit, compare une alternative et propose une mesure qui pourrait invalider son choix.

Seuil de sortie : niveau 2 sur le cas guidé et au moins un exercice; une formule mémorisée sans interprétation reste niveau 1.

Protocole d’observation et de reprise

Pendant les échanges, le formateur relève des preuves et non des impressions. Une preuve de compréhension contient un objet nommé, une transformation justifiée et une conséquence vérifiable. Si un apprenant donne le bon résultat sans chaîne, demander de reconstruire la ligne précédente. S’il donne une chaîne cohérente avec un résultat faux, conserver la chaîne et isoler l’erreur de calcul. S’il emploie le vocabulaire d’un autre concept, faire comparer les deux mécanismes dans un tableau entrée, état, sortie, coût et limite. La reprise se fait sur la première rupture seulement : vocabulaire, formes, opération, interprétation ou portée de l’affirmation. Après correction, proposer un cas voisin avec une valeur différente; la réussite sur le même exemple ne prouve pas le transfert. Pour le travail en binôme, attribuer les rôles « opérateur » et « vérificateur », puis les inverser. Le vérificateur ne donne pas la réponse : il exige une hypothèse, contrôle la forme et demande quelle observation pourrait contredire le raisonnement. Le formateur conserve le ticket de sortie et classe la rupture dominante. La séance suivante commence par un problème de trois minutes ciblant cette rupture, plutôt que par une répétition générale du cours.

Différenciation

Soutien: fournir les formes et la première transformation; laisser l’apprenant compléter l’interprétation et la limite.
Parcours nominal: cas guidé sans résultat, laboratoire avec une variable imposée, exercice de diagnostic.
Prolongement: changer une hypothèse, comparer deux mécanismes et définir la métrique qui déciderait entre eux.

Suivi après la séance

Dans les vingt-quatre heures, renvoyer à chaque apprenant son ticket annoté avec une seule priorité, la ressource précise à rouvrir et un mini-cas différent du cas guidé. La reprise demande trois éléments : une prédiction écrite, une trace conservée et une phrase expliquant l’écart. Au cours suivant, échantillonner deux productions : une qui a réparé la rupture et une qui reste ambiguë. Les discuter sans nommer les auteurs, puis faire expliciter le critère qui distingue les deux. Ne pas utiliser le taux de complétion comme preuve de maîtrise. La preuve de reprise est une chaîne correcte sur un cas nouveau, accompagnée d’une limite. Si la même rupture apparaît chez plus d’un tiers du groupe, corriger le support ou la démonstration avant d’attribuer le problème aux apprenants.

Le suivi est clos seulement lorsque la nouvelle production montre la chaîne causale, la vérification et la frontière, et non lorsque le fichier a simplement été rendu.

Sources et frontière de preuve

Dossier de cours bilingue fourni par le propriétaire, chapitre 15.
He et al., “Deep Residual Learning for Image Recognition”, CVPR (2016).
Elhage et al., “A Mathematical Framework for Transformer Circuits” (residual-stream view), Anthropic (2021).
Dossier source fourni par le propriétaire; les détails sur des produits nommés restent attribués à cette source jusqu’à vérification primaire.

Portée: Mixte : mécanismes établis + choix de type Kimi K3 rapportés par la source. Ces références soutiennent le cadre de la session; elles ne transforment pas un choix de produit rapporté en résultat indépendant.

Ticket de sortie

En six lignes maximum : mécanisme; calcul ou trace; observation; frontière; niveau de preuve; prochaine expérience. Le formateur annote une seule rupture causale prioritaire pour la reprise.