Kimi Delta Attention : étude de cas bornée

Étudier une combinaison rapportée de correction delta, décroissance par canal et calcul chunkwise sans transformer les chiffres produit en faits établis.

Applied AI · advanced · Session 17

Carte du mécanisme

MÉCANISME (vérifiable)                 │  STATUT DE PREUVE
                                       │
S_{t−1} = [[2 ; 3],                    │
           [5 ; 1]]                    │
      │                                │
      ▼                                │
┌───────────────────────────┐          │  ✅ algèbre vérifiable
│ ① DÉCROISSANCE PAR CANAL  │          │     par le lecteur
│   a = [0,9 ; 0,2]         │          │
│   S′ = diag(a)·S_{t−1}    │          │
└───────────────────────────┘          │
      │  S′ = [[1,80 ; 2,70],          │
      ▼        [1,00 ; 0,20]]          │
┌───────────────────────────┐          │  ✅ même règle qu’en 14
│ ② LIRE, COMPARER, CORRIGER│          │
│   S = S′ + β k (v − S′ᵀk)ᵀ│          │
└───────────────────────────┘          │
      │                                │
      ▼                                │
┌───────────────────────────┐          │  ❌ rapporté par la source
│ ③ EXÉCUTION CHUNKWISE     │          │     (comptes de couches,
│   assemblage « K3-style » │          │      ratios, performances)
└───────────────────────────┘          │
                                       │  ⚠ une affirmation plus
demi-vie canal 1 ≈ 6,6 tokens          │    précise exige une preuve
demi-vie canal 2 ≈ 0,43 token          │    plus précise

Le problème — Mécanisme établi

Une annonce produit mêle tout : équations, choix d’assemblage, benchmarks. Si vous ne savez pas séparer ce qui est démontrable au crayon de ce qui est déclaré, vous enseignez — ou achetez — un communiqué de presse.

L’idée — Mécanisme établi

Premier tri : le noyau de KDA s’étudie sans produit. Lire-comparer-corriger (session 14) plus une porte d’oubli (session 16) — chaque nombre de cette partie se recalcule ici, au tableau.

Pourquoi / à quel prix — Mécanisme établi

Ce socle vérifiable voyage partout : il restera vrai quel que soit le sort du produit. Le prix : il ne dit rien des choix d’échelle réels — combien de couches, quels ratios — et c’est précisément là que commence le « rapporté ».

Contrôle : Reprenez la règle delta de la séance 14 et la porte de la séance 16 sans jamais prononcer « Kimi ». Que reste-t-il d’enseignable, et pourquoi cette partie ne dépend-elle d’aucune source produit ?

Le problème — Décroissance par canal

Un α scalaire impose la même demi-vie à tout l’état : garder longtemps le nom du client ET oublier vite la météo est impossible avec un seul bouton.

L’idée — Décroissance par canal

Remplacer le scalaire par un vecteur : a = [0,9 ; 0,2], S′ = diag(a)·S. Le canal 1 retient — demi-vie ln(0,5)/ln(0,9) ≈ 6,6 tokens — quand le canal 2 purge (≈ 0,43) : un rapport de 15× dans le même état.

Pourquoi / à quel prix — Décroissance par canal

La finesse est réelle et vérifiable. Le prix aussi : d_k portes par token au lieu d’une — 128 valeurs à produire et à borner pour d_k = 128 — et un axe de débogage en plus : quel canal retient quoi ne se lit plus d’un coup d’œil.

Contrôle : Avec a = [0,9 ; 0,2], calculez la demi-vie de chaque canal, puis le coût par token d’une porte vectorielle contre un α scalaire, pour d_k = 128. Le gain de finesse est-il gratuit ?

Support visuel — Décroissance par canal

trace de 1, sans réécriture        t :   0      1      2      3
canal 1 (a₁ = 0,9)                       1,000  0,900  0,810  0,729
canal 2 (a₂ = 0,2)                       1,000  0,200  0,040  0,008
                                                ▲
demi-vies : 6,6 tokens contre 0,43 —     dès t=1, le canal 2
un rapport de 15× dans le MÊME état      a déjà presque tout perdu

Le problème — Correction delta

Corriger et retenir se confondent facilement : une équipe croit qu’une écriture « réussie » est une écriture durable. Que devient une correction exacte posée sur un canal qui oublie vite ?

L’idée — Correction delta

La trace le chiffre : correction β=1 sur le canal 2 → exactement [4,4] ; deux pas de porte 0,2 plus tard : 4×0,2² = 0,160. La correction a réussi ET la valeur a disparu — « corrigé » et « conservé » sont deux propriétés indépendantes.

Pourquoi / à quel prix — Correction delta

La composition delta + oubli évite l’accumulation brute (session 13) comme l’inertie totale. Le prix : le destin d’une écriture dépend du canal où elle tombe — mêmes β et valeurs, résultats opposés (0,160 contre 3,240 sur le canal 1).

Contrôle : Sur un canal dont la porte vaut a₂ = 0,2 : une correction β=1 (k=[0,1], v=[4,4]) le porte exactement à [4,4] ; deux pas plus tard, sans réécriture, il ne reste que 4×0,2² = 0,160. La correction a-t-elle échoué ? Distinguez « corriger » et « conserver » avec ces deux nombres.

Le problème — Exécution chunkwise

L’annonce vante un « préfill parallèle chunkwise ». Faut-il compter cela comme un argument de qualité du modèle ? La session 15 a la réponse — encore faut-il penser à l’appliquer.

L’idée — Exécution chunkwise

Le chunkwise transporte l’état de bloc en bloc et parallélise l’intérieur — démontré EXACT en session 15 (o₅ = [3,5] avec ou sans chunks). C’est une stratégie d’exécution : elle change le coût, jamais les nombres.

Pourquoi / à quel prix — Exécution chunkwise

Vitesse réelle, qualité inchangée — « chunkwise » dans une annonce est donc un argument de débit, pas de qualité. Le prix de la confusion : des comparatifs qui attribuent au mécanisme des gains venus d’ailleurs.

Contrôle : Le calcul chunkwise a été démontré exact à la séance 15 (o₅ = [3,5] avec ou sans chunks). Qu’est-ce que cette exactitude prouve — et ne prouve pas — sur la qualité d’un modèle qui l’utilise ?

Le problème — Rapporté par la source

Le document fourni attribue à une architecture « K3-style » des comptes de couches, des ratios KDA/attention et des performances. Vous n’avez ni le protocole ni la réplication. Quel statut donner à ces informations en cours ?

L’idée — Rapporté par la source

Le statut exact : « rapporté ». La source primaire est un rapport technique du fournisseur (Kimi Linear, arXiv:2510.26692 — à vérifier) : citable, informatif, non répliqué indépendamment ici. L’information circule avec son étiquette, ni supprimée ni blanchie.

Pourquoi / à quel prix — Rapporté par la source

Étiqueter permet d’enseigner le réel sans le certifier. Le prix : la discipline — chaque phrase du cours porte son statut, et un rapport fournisseur prouve l’existence de l’affirmation, pas du résultat.

Contrôle : Le document fourni annonce un ratio de couches KDA/attention complète pour une architecture K3-style. Rédigez la phrase que vous emploieriez en réunion : elle doit transmettre l’information sans lui donner le statut de fait vérifié.

Support visuel — Rapporté par la source

ÉCHELLE DE PREUVE — du plus fort au plus faible

✅ refait au tableau       « diag(a)·S décroît la ligne i par a_i »
✅ compté directement      « une porte/canal = d_k valeurs par token »
⚠ rapport cité             « ratio de couches K3-style »
   (non répliqué)            (arXiv:2510.26692, à vérifier)
❌ non évalué ici          « + X % de qualité en contexte long »

règle : répéter une affirmation = hériter de sa charge de preuve

Le problème — Habitude de preuve

En réunion, les trois registres fusionnent en une phrase : « KDA décroît par canal, K3 l’empile 3:1, et ça bat la référence de X % ». Répétée telle quelle, la phrase blanchit les deux derniers tiers.

L’idée — Habitude de preuve

L’habitude : séparer systématiquement (a) l’équation vérifiable, (b) le choix d’implémentation rapporté, (c) le résultat expérimental — et exiger une preuve proportionnée à la précision de chaque affirmation.

Pourquoi / à quel prix — Habitude de preuve

Le tri coûte trois secondes par phrase et prévient des mois d’architecture fondée sur un benchmark non répliqué. Le prix social : dire « rapporté, non répliqué » en réunion demande plus de courage qu’un slide de citations.

Contrôle : Classez ces trois énoncés : (a) diag(a)·S décroît la ligne i par a_i ; (b) tel produit utilise ce mécanisme ; (c) il bat la référence de X %. Pour chacun, quelle preuve exigeriez-vous avant de le répéter ?

Support visuel — Habitude de preuve

phrase entendue en réunion :
« KDA décroît par canal, K3 l’empile 3:1, ça bat la référence de X % »
                         │ tri │
                         ▼
(a) établi     : la décroissance par canal — recalculable ici
(b) rapporté   : le ratio 3:1 — rapport fournisseur, à vérifier
(c) non évalué : le X % — ni protocole ni réplication

phrase défendable :
« le mécanisme est vérifiable ; le ratio et le gain restent rapportés »

Cas guidé — trace complète

Pour une porte vectorielle [0,9;0,2], le premier canal conserve presque toute sa trace tandis que le second oublie rapidement. La même correction delta peut donc avoir des effets temporels différents par canal.

S₀ = [[2 ; 3],[5 ; 1]]   ligne i = canal de clé i
porte VECTORIELLE a = [0,9 ; 0,2]  →  S ← diag(a)·S  (ligne i × a_i)

── A. Décroissance par canal, trois pas sans écriture ─────────────
  t+1 : [[1,800 ; 2,700],[1,000 ; 0,200]]
  t+2 : [[1,620 ; 2,430],[0,200 ; 0,040]]
  t+3 : [[1,458 ; 2,187],[0,040 ; 0,008]]
  demi-vie canal 1 : ln(0,5)/ln(0,9) = 6,58 tokens
  demi-vie canal 2 : ln(0,5)/ln(0,2) = 0,43 token
  → rapport ≈ 15× entre deux canaux du MÊME état   ✅ c’est tout l’intérêt

── B. Même correction delta, effets temporels différents ──────────
  à t+2, écriture sur le canal 2 : k=[0,1], v=[4,4], β=1
    v̂ = S′ᵀk = [0,200 ; 0,040]   ;  e = [3,800 ; 3,960]
    S  = [[1,620 ; 2,430],[4,000 ; 4,000]]   ✅ correction exacte
  deux pas plus tard, sans nouvelle écriture :
    canal 2 → 4 × 0,2² = 0,160   ❌ presque tout est déjà parti
    (la même écriture sur le canal 1 vaudrait 4 × 0,9² = 3,240)
  « corrigé » et « conservé » sont donc deux propriétés distinctes.

── C. Contrôle de forme ───────────────────────────────────────────
  a a d_k = 2 composantes, une par LIGNE de S. Une porte de longueur
  d_v mettrait diag(a) à droite et éteindrait des dimensions de valeur,
  pas des adresses : autre mécanisme, mêmes symboles.
  Coût : d_k portes par token au lieu de 1 scalaire.

── D. ÉTIQUETAGE DES AFFIRMATIONS (l’exercice de la séance) ────────
  « S ← diag(a)S + βk(v−S′ᵀk)ᵀ »          ✅ VÉRIFIABLE — refaites A et B
  « une porte vectorielle coûte d_k valeurs/token, pas 1 » ✅ VÉRIFIABLE
    — comptage direct
  « l’architecture K3-style empile N couches KDA pour 1 couche
    d’attention complète »                ❌ RAPPORTÉ — rapport technique
    fournisseur (arXiv:2510.26692), non répliqué indépendamment ici
  « KDA améliore la qualité en contexte long »  ❌ RÉSULTAT EXPÉRIMENTAL
    — exige protocole, jeux de test, ablations, intervalles

RÈGLE : ce qui est calculé ici est enseigné comme établi. Ce qui vient
du document fourni est enseigné comme « rapporté », avec l’étiquette.

Classer chaque affirmation de la séance par force de preuve

Affirmation Statut Ce qu’il faudrait pour la valider
S ← diag(a)·S puis correction delta Établi (algèbre) refaire le calcul : 2 → 1,80 → 1,62
Une porte par canal coûte d_k valeurs par token Établi (comptage) compter les sorties du réseau de portes
K3-style mêle couches KDA et attention complète dans un ratio donné Rapporté par la source réplication indépendante du rapport cité (arXiv:2510.26692)
KDA améliore la qualité en contexte long Non évalué ici protocole, jeux de test, ablations, variance

Laboratoire causal

Prédire → modifier une variable → exécuter → expliquer l’écart

/interactives/curriculum/chunk-gate-memory.html?lang=fr

Erreurs fréquentes

« Le cours décrit l’architecture de Kimi K3, donc c’est documenté. »

Le cours rapporte ce qu’un document fourni attribue à une architecture K3-style. La publication primaire est un rapport technique du fournisseur (arXiv:2510.26692), cité mais non répliqué ici. Les demi-vies 6,58 et 0,43 sont vérifiables au crayon ; les comptes de couches et les ratios ne le sont pas. « Rapporté par la source » n’est pas une formule de prudence, c’est le statut réel.

« Une porte par canal est strictement meilleure qu’un α scalaire, sinon personne ne la mettrait dans un produit. »

Deux problèmes. Le coût est réel : d_k portes par token contre 1, plus des contraintes de bornage sur chaque canal. Et « c’est dans un produit » n’est pas une preuve comparative — il faudrait une ablation à budget égal, absente ici. Le mécanisme est enseignable ; sa supériorité ne l’est pas.

Frontière, preuve et sources

Les spécifications exactes de Kimi K3 ne sont pas revendiquées comme vérifiées dans cette leçon ; le rapport technique du fournisseur (Kimi Linear, arXiv:2510.26692, à vérifier) est cité sans réplication indépendante.

Statut de preuve : Mixte : mécanismes établis + choix de type Kimi K3 rapportés par la source.

  • Dossier de cours bilingue fourni par le propriétaire, chapitre 12.
  • Kimi Linear / Kimi Delta Attention technical report, arXiv:2510.26692 (à vérifier / to verify).
  • Yang, Kautz & Hatamizadeh, “Gated Delta Networks: Improving Mamba2 with Delta Rule”, ICLR (2025).
  • Dossier source fourni par le propriétaire; les détails sur des produits nommés restent attribués à cette source jusqu’à vérification primaire.

Défi de transfert

Le document fourni décrit une architecture K3-style : ratio de couches KDA/attention donné, gains annoncés.

  1. Rédigez trois phrases sur cette architecture — une par statut : établi, rapporté, non évalué.
  2. Pour la phrase « rapportée », listez les deux vérifications qui la feraient monter d’un cran.
  3. Décidez : sur quelle base votre équipe pourrait-elle prototyper KDA dès maintenant, sans attendre ces vérifications ?

Synthèse et ticket de sortie

  • Mécanisme établi
  • Décroissance par canal
  • Correction delta
  • Exécution chunkwise
  • Rapporté par la source
  • Habitude de preuve

Ticket : mécanisme · trace · observation · frontière · preuve · prochaine expérience

Notes formateur: Poser le problème avant de nommer le mécanisme. Recueillir une prédiction initiale et la conserver pour le ticket de sortie.

Notes formateur: Faire relier chaque étape à la suivante par un verbe causal. Signaler toute flèche purement décorative.

Notes formateur: Écrire l’annonce complète au tableau — équation, ratio, benchmark — et demander : « qu’est-ce qu’on peut vérifier d’ici, sans réseau ? ». Le tri spontané de la salle donne le plan de la séance ; le garder affiché.

Notes formateur: Commencer la séance en écrivant le mécanisme au tableau SANS le nom du produit, et ne l’introduire qu’après le calcul. Si le nom vient d’abord, tout ce qui suit hérite de son prestige — c’est précisément le biais que la séance combat.

Notes formateur: Réponse : tout le noyau reste — lire-comparer-corriger, portes, demi-vies : de l’algèbre recalculable, indépendante de tout produit. Erreur attendue : croire que sans le nom il ne reste « que de la théorie » — chaque nombre de la trace se refait au crayon.

Notes formateur: Question d’accroche : « avec UN bouton d’oubli, comment garder le nom du client et oublier la météo ? ». L’impossibilité ressentie crée le besoin du vecteur — c’est la limite exacte du α scalaire de la session 16.

Notes formateur: Faire calculer les deux demi-vies (6,58 et 0,43) puis demander à quoi ressemblerait un vecteur de 128 portes. Le passage du jouet 2-canaux à l’échelle réelle doit être fait par eux, pas annoncé.

Notes formateur: Réponse : demi-vies ln(0,5)/ln(0,9) ≈ 6,58 tokens et ln(0,5)/ln(0,2) ≈ 0,43 ; coût : 128 valeurs de porte par token contre 1. Non, pas gratuit : production, bornage dans [0,1] et débogage canal par canal. Erreur attendue : oublier la contrainte de bornage (stabilité, session 16).

Notes formateur: Faire compléter la colonne t=4 par la salle (0,656 et 0,0016), puis demander quel canal choisir pour un prénom, lequel pour un ton de phrase. Le choix par usage rend le vecteur concret.

Notes formateur: Faire parier : « une correction parfaite sur un canal rapide, que vaut-elle deux tokens plus tard ? ». Recueillir des paris chiffrés avant le calcul 4×0,2² — l’écart entre les paris et 0,160 est le beat.

Notes formateur: Faire réciter la chaîne lire-comparer-corriger de mémoire avant d’ajouter l’oubli. Si la séance 14 n’est pas solide, l’empilement KDA devient un mot magique plutôt qu’une composition.

Notes formateur: Réponse : la correction n’a PAS échoué — elle a atteint exactement [4,4] ; c’est la rétention qui est courte (0,160 après deux pas de porte 0,2). Corriger = l’état atteint à t ; conserver = ce qui en survit à t+n. Erreur attendue : « il fallait un β plus grand » — β n’y change rien.

Notes formateur: Demander qui se souvient du verdict de la session 15 (chunking exact). Si personne, le refaire en 60 secondes avec o₅ = [3,5] : ce beat n’a de sens qu’adossé à ce résultat.

Notes formateur: Rappeler explicitement le résultat de la séance 15 : le chunking est exact, donc il n’ajoute aucune qualité. Faire dire par le groupe pourquoi « calcul chunkwise » dans une annonce n’est pas un argument de performance.

Notes formateur: Réponse : l’exactitude prouve que le chunkwise n’abîme rien — mêmes nombres — donc aussi qu’il n’améliore rien : tout gain de qualité vient d’ailleurs. Erreur attendue : compter « préfill parallèle » comme un argument de qualité — c’est un argument de coût.

Notes formateur: Distribuer trois phrases imprimées — équation, ratio, benchmark — et les faire coller sur une échelle de preuve affichée au mur. Les désaccords de placement SONT le contenu du beat ; ne pas trancher trop vite.

Notes formateur: Faire l’exercice à haute voix : chacun formule une phrase sur K3-style, le groupe vote « établi / rapporté / non évalué ». Corriger les formulations, pas les personnes. C’est un entraînement de langage, pas un test de connaissances.

Notes formateur: Réponse type : « le rapport technique du fournisseur annonce un ratio de N couches KDA par couche d’attention ; c’est rapporté, non répliqué indépendamment — je le traite comme une hypothèse d’architecture ». Faire voter le groupe sur deux ou trois formulations ; refuser celles qui suppriment l’attribution.

Notes formateur: Faire placer sur l’échelle deux affirmations extérieures au cours (une du dernier communiqué lu par la salle). L’échelle n’est acquise que si elle fonctionne sur du matériel neuf.

Notes formateur: Jouer la réunion : un apprenant lit la phrase fusionnée, un autre l’interrompt poliment et la trie en trois statuts. Deux minutes, puis inverser les rôles — la compétence visée est verbale, pas conceptuelle.

Notes formateur: Clore en appliquant l’étiquetage au cours lui-même : demander quelle affirmation de VOS diapositives est la plus faible en preuve. Un formateur qui accepte cette question enseigne mieux la discipline de preuve que dix diapositives sur le sujet.

Notes formateur: Réponse : (a) établi — refaire le calcul suffit ; (b) rapporté — exiger le rapport technique cité et son périmètre exact ; (c) non évalué — exiger protocole, jeux de test, ablations et variance avant de le répéter. Erreur attendue : exiger le même niveau de preuve pour les trois.

Notes formateur: Faire réécrire la phrase défendable par chacun avec ses propres mots, puis en lire trois à voix haute. La compétence visée est une phrase prononçable en réunion, pas une taxonomie.

Notes formateur: Dérouler ligne par ligne. Une incohérence se localise à la première étape fautive, pas seulement sur la dernière ligne.

Notes formateur: Faire attribuer les statuts de la colonne 2 par les apprenants, affirmation par affirmation, avant de révéler la colonne. Le désaccord attendu porte sur la ligne 3 : c’est exactement là que « rapporté » se distingue d’« établi ».

Notes formateur: Conserver les valeurs initiales et finales. Interdire les changements simultanés qui rendent l’écart impossible à attribuer.

Notes formateur: Pour chaque affirmation, faire produire le contre-exemple minimal par le groupe avant de donner la correction.

Notes formateur: Séparer mécanisme vérifiable, choix d’implémentation rapporté et résultat expérimental. La précision de la preuve doit suivre celle de l’affirmation.

Notes formateur: Attendus : (1) p. ex. « diag(a)·S décroît chaque canal » / « le rapport annonce un ratio 3:1 » / « le gain long-contexte n’est pas évalué ici » ; (2) réplication indépendante + protocole publié (jeux de test, budget, ablations) ; (3) le mécanisme établi suffit pour prototyper — c’est le point clé : on peut construire sur (a) sans certifier (b) ni (c). Idée fausse à récolter : « tant que rien n’est vérifié, on ne peut rien faire ». 8 minutes, individuel puis mise en commun.

Notes formateur: Faire reconstruire la chaîne sans regarder les slides, puis remplir le ticket en six lignes maximum. Comparer à la prédiction initiale du premier slide et nommer ce qui a réellement changé.