# Guide du professeur — Kimi Delta Attention : étude de cas bornée

**Durée:** 120 minutes<br>
**Positionnement:** Étudier une combinaison rapportée de correction delta, décroissance par canal et calcul chunkwise sans transformer les chiffres produit en faits établis.<br>
**Preuve attendue:** Mixte : mécanismes établis + choix de type Kimi K3 rapportés par la source.

## Résultats observables et préparation

- Expliquer la décroissance par canal.
- Assembler la chaîne KDA conceptuelle.
- Classer les affirmations par force de preuve.

Avant la séance, le formateur exécute lui-même le cas guidé et le laboratoire, imprime le paquet d’exercices, prépare un tableau à quatre colonnes — hypothèse, prédiction, observation, écart — et vérifie que chaque notation mathématique est accompagnée de ses dimensions. La démonstration ne doit pas devenir une lecture de slides.

## Diagnostic

1. Expliquez en une phrase: **Mécanisme établi**. Quelle observation rendrait votre explication fausse ?
2. Expliquez en une phrase: **Décroissance par canal**. Quelle observation rendrait votre explication fausse ?
3. Expliquez en une phrase: **Correction delta**. Quelle observation rendrait votre explication fausse ?

**Décision pédagogique:** si deux réponses sur trois restent nominales ou sans condition de validité, reprendre le vocabulaire avec un exemple numérique avant toute formule. Une réponse fluide mais non falsifiable n’est pas considérée comme acquise.

## Plan minuté

| Temps | Activité | Preuve observable |
|---|---|---|
| 0–10 min | Diagnostic individuel, puis comparaison en binôme | Trois réponses et une incertitude nommée |
| 10–25 min | Mise en situation et vocabulaire | Schéma entrée → état → sortie annoté |
| 25–55 min | Développement du mécanisme au tableau | Formes, hypothèses et calcul intermédiaire visibles |
| 55–75 min | Cas guidé, erreurs volontairement introduites | Correction argumentée, pas seulement le bon nombre |
| 75–95 min | Laboratoire causal : prédire, modifier une variable, exécuter | Tableau prédiction / observation / écart |
| 95–112 min | Exercices 1 et 2, correction croisée | Production conservée et barème appliqué |
| 112–120 min | Ticket de sortie et transfert | Mécanisme, frontière, prochaine expérience |

## Notes pédagogiques

## Chapitre 12 — Kimi Delta Attention

### 12.1 Décroissance par canal

But : rendre l’oubli plus précis. Un canal est une coordonnée d’une représentation apprise. Un seul scalaire α traite tous les canaux de la même façon ; un vecteur de décroissances peut les traiter différemment.

Au lieu d’un seul variateur pour tout un bâtiment, donne un variateur à chaque pièce.

**Étape par étape**

- Soit le vecteur de décroissance a=[0,9; 0,2].

- Si une ligne de mémoire vaut [10,10], la décroissance par canal donne [9,2].

- Le premier canal conserve l’information ; le second se renouvelle rapidement.

- Le modèle apprend les contrôles de décroissance à partir des données.

**Exemple détaillé :** Différents canaux peuvent se spécialiser dans des motifs ayant des durées utiles différentes, comme la syntaxe locale ou le thème général.

**Pourquoi c’est important :** La décroissance par canal augmente la flexibilité, mais aussi la complexité de l’implémentation et de l’optimisation.

**Vérification rapide :** si la décroissance d’un canal est proche de zéro, que se passe-t-il ? Réponse : son ancien contenu est presque entièrement oublié avant la nouvelle mise à jour.

### 12.2 Ce que nous pouvons affirmer prudemment

But : séparer le mécanisme des spécifications produit incertaines. Kimi Delta Attention, abrégé KDA, est décrit comme combinant des mises à jour associatives de type delta, une décroissance apprise plus fine et un calcul par blocs adapté au matériel.

Traite les descriptions d’architecture comme une carte avec des niveaux de confiance : les routes vérifiées par des sources primaires sont pleines ; les rumeurs sont en pointillés.

**Étape par étape**

- Fondation établie : opérations matricielles, prédiction causale, état récurrent, portes et correction delta.

- Affirmation dépendant de la source : la manière exacte dont un modèle Kimi nommé combine ces composants.

- Les détails non vérifiés — nombre exact de couches, d’experts ou résultats de benchmarks — doivent être contrôlés dans un rapport officiel ou du code publié.

**Exemple détaillé :** La valeur pédagogique de KDA reste claire sans croire chaque chiffre produit : il montre comment une mémoire compressée peut devenir plus sélective et corrigible.

**Pourquoi c’est important :** Ce cours décrira l’architecture au niveau soutenu par la source fournie et signalera les détails incertains au lieu de les inventer.

**Vérification rapide :** faut-il traiter un benchmark annoncé comme une identité mathématique ? Réponse : non. Il dépend de la version du modèle, du protocole, du matériel et de la méthode de mesure.

### Conduite du cas guidé

Pour une porte vectorielle [0,9;0,2], le premier canal conserve presque toute sa trace tandis que le second oublie rapidement. La même correction delta peut donc avoir des effets temporels différents par canal.

Ne révélez pas le résultat en une fois. Faites annoncer la prochaine opération, sa forme et le signe attendu. Après chaque ligne, demandez : « Qu’est-ce qui a changé ? Qu’est-ce qui est resté fixe ? Quelle hypothèse avons-nous utilisée ? » Une erreur de calcul corrigée avec une chaîne causale vaut davantage qu’un résultat deviné.

### Protocole du laboratoire

1. Écrire une prédiction qualitative et, si possible, numérique avant de toucher le contrôle.
2. Modifier une seule variable; garder une capture ou relever les valeurs initiales et finales.
3. Expliquer l’écart avec le mécanisme, pas avec « l’outil a fait cela ».
4. Tester une valeur limite et dire où la maquette cesse de représenter un système réel.

## Idées fausses

| # | Idée fausse observable | Correction ancrée | Relance |
|---|---|---|---|
| 1 | « Mécanisme établi suffit à garantir le résultat, sans hypothèse ni mesure. » | Premier tri : le noyau de KDA s’étudie sans produit. Lire-comparer-corriger (session 14) plus une porte d’oubli (session 16) — chaque nombre de cette partie se recalcule ici, au tableau. | Demander un contre-exemple, puis faire reformuler le mécanisme avec sa condition de validité. |
| 2 | « Décroissance par canal suffit à garantir le résultat, sans hypothèse ni mesure. » | Remplacer le scalaire par un vecteur : a = [0,9 ; 0,2], S′ = diag(a)·S. Le canal 1 retient — demi-vie ln(0,5)/ln(0,9) ≈ 6,6 tokens — quand le canal 2 purge (≈ 0,43) : un rapport de 15× dans le même état. | Demander un contre-exemple, puis faire reformuler le mécanisme avec sa condition de validité. |
| 3 | « Correction delta suffit à garantir le résultat, sans hypothèse ni mesure. » | La trace le chiffre : correction β=1 sur le canal 2 → exactement [4,4] ; deux pas de porte 0,2 plus tard : 4×0,2² = 0,160. La correction a réussi ET la valeur a disparu — « corrigé » et « conservé » sont deux propriétés indépendantes. | Demander un contre-exemple, puis faire reformuler le mécanisme avec sa condition de validité. |

> **Frontière à maintenir:** Les spécifications exactes de Kimi K3 ne sont pas revendiquées comme vérifiées dans cette leçon ; le rapport technique du fournisseur (Kimi Linear, arXiv:2510.26692, à vérifier) est cité sans réplication indépendante.

## Questions de relance

1. Si nous supprimons ou inversons **Mécanisme établi**, quelle sortie change en premier, et quelle observation le montrerait ?
2. Si nous supprimons ou inversons **Décroissance par canal**, quelle sortie change en premier, et quelle observation le montrerait ?
3. Si nous supprimons ou inversons **Correction delta**, quelle sortie change en premier, et quelle observation le montrerait ?
4. Si nous supprimons ou inversons **Exécution chunkwise**, quelle sortie change en premier, et quelle observation le montrerait ?
5. Si nous supprimons ou inversons **Rapporté par la source**, quelle sortie change en premier, et quelle observation le montrerait ?
6. Si nous supprimons ou inversons **Habitude de preuve**, quelle sortie change en premier, et quelle observation le montrerait ?

## Évaluation

| Niveau | Critère |
|---|---|
| 0 | Répète des termes sans relier entrée, transformation et sortie. |
| 1 | Décrit la chaîne mais ne vérifie ni forme ni hypothèse. |
| 2 | Exécute le cas, explique le résultat et nomme une limite. |
| 3 | Transfère sur un cas inédit, compare une alternative et propose une mesure qui pourrait invalider son choix. |

**Seuil de sortie :** niveau 2 sur le cas guidé et au moins un exercice; une formule mémorisée sans interprétation reste niveau 1.

## Protocole d’observation et de reprise

Pendant les échanges, le formateur relève des preuves et non des impressions. Une preuve de compréhension contient un objet nommé, une transformation justifiée et une conséquence vérifiable. Si un apprenant donne le bon résultat sans chaîne, demander de reconstruire la ligne précédente. S’il donne une chaîne cohérente avec un résultat faux, conserver la chaîne et isoler l’erreur de calcul. S’il emploie le vocabulaire d’un autre concept, faire comparer les deux mécanismes dans un tableau entrée, état, sortie, coût et limite. La reprise se fait sur la première rupture seulement : vocabulaire, formes, opération, interprétation ou portée de l’affirmation. Après correction, proposer un cas voisin avec une valeur différente; la réussite sur le même exemple ne prouve pas le transfert. Pour le travail en binôme, attribuer les rôles « opérateur » et « vérificateur », puis les inverser. Le vérificateur ne donne pas la réponse : il exige une hypothèse, contrôle la forme et demande quelle observation pourrait contredire le raisonnement. Le formateur conserve le ticket de sortie et classe la rupture dominante. La séance suivante commence par un problème de trois minutes ciblant cette rupture, plutôt que par une répétition générale du cours.

## Différenciation

- **Soutien:** fournir les formes et la première transformation; laisser l’apprenant compléter l’interprétation et la limite.
- **Parcours nominal:** cas guidé sans résultat, laboratoire avec une variable imposée, exercice de diagnostic.
- **Prolongement:** changer une hypothèse, comparer deux mécanismes et définir la métrique qui déciderait entre eux.

## Suivi après la séance

Dans les vingt-quatre heures, renvoyer à chaque apprenant son ticket annoté avec une seule priorité, la ressource précise à rouvrir et un mini-cas différent du cas guidé. La reprise demande trois éléments : une prédiction écrite, une trace conservée et une phrase expliquant l’écart. Au cours suivant, échantillonner deux productions : une qui a réparé la rupture et une qui reste ambiguë. Les discuter sans nommer les auteurs, puis faire expliciter le critère qui distingue les deux. Ne pas utiliser le taux de complétion comme preuve de maîtrise. La preuve de reprise est une chaîne correcte sur un cas nouveau, accompagnée d’une limite. Si la même rupture apparaît chez plus d’un tiers du groupe, corriger le support ou la démonstration avant d’attribuer le problème aux apprenants.

Le suivi est clos seulement lorsque la nouvelle production montre la chaîne causale, la vérification et la frontière, et non lorsque le fichier a simplement été rendu.

## Sources et frontière de preuve

- Dossier de cours bilingue fourni par le propriétaire, chapitre 12.
- Kimi Linear / Kimi Delta Attention technical report, arXiv:2510.26692 (à vérifier / to verify).
- Yang, Kautz & Hatamizadeh, “Gated Delta Networks: Improving Mamba2 with Delta Rule”, ICLR (2025).
- Dossier source fourni par le propriétaire; les détails sur des produits nommés restent attribués à cette source jusqu’à vérification primaire.

> **Portée:** Mixte : mécanismes établis + choix de type Kimi K3 rapportés par la source. Ces références soutiennent le cadre de la session; elles ne transforment pas un choix de produit rapporté en résultat indépendant.

## Ticket de sortie

En six lignes maximum : mécanisme; calcul ou trace; observation; frontière; niveau de preuve; prochaine expérience. Le formateur annote une seule rupture causale prioritaire pour la reprise.