# Exercices corrigés — Kimi Delta Attention : étude de cas bornée **Consigne générale:** chaque réponse doit montrer les données, la transformation, le résultat, une vérification et une limite. Un nombre seul ou une définition recopiée ne suffit pas. > **Données de départ:** Pour une porte vectorielle [0,9;0,2], le premier canal conserve presque toute sa trace tandis que le second oublie rapidement. La même correction delta peut donc avoir des effets temporels différents par canal. > > **Frontière à conserver:** Les spécifications exactes de Kimi K3 ne sont pas revendiquées comme vérifiées dans cette leçon ; le rapport technique du fournisseur (Kimi Linear, arXiv:2510.26692, à vérifier) est cité sans réplication indépendante. ## Exercice 1 — Trace calculée — Mécanisme établi Reproduisez puis commentez la chaîne `input → state → output`. Augmentez le second canal de la porte [0,9;0,2] à [0,9;0,24]. Comparez la trace retenue dans ce canal après un pas, les autres valeurs restant fixes. **Livrable:** un tableau données → opération → résultat → interprétation, plus deux phrases sur la valeur modifiée.
Solution guidée Pour une porte vectorielle [0,9;0,2], le premier canal conserve presque toute sa trace tandis que le second oublie rapidement. La même correction delta peut donc avoir des effets temporels différents par canal. **Variante résolue:** Pour une trace initiale 1, le second canal retient 0,24 au lieu de 0,20, soit 20 % de plus. Le premier canal reste à 0,9; la porte vectorielle modifie donc la mémoire canal par canal. Premier tri : le noyau de KDA s’étudie sans produit. Lire-comparer-corriger (session 14) plus une porte d’oubli (session 16) — chaque nombre de cette partie se recalcule ici, au tableau. Remplacer le scalaire par un vecteur : a = [0,9 ; 0,2], S′ = diag(a)·S. Le canal 1 retient — demi-vie ln(0,5)/ln(0,9) ≈ 6,6 tokens — quand le canal 2 purge (≈ 0,43) : un rapport de 15× dans le même état. La vérification minimale consiste à contrôler les dimensions, le signe et l’ordre de grandeur. Si la variation obtenue contredit la prédiction, localiser la première opération qui change de sens au lieu de corriger seulement la dernière ligne.
### Barème Exercice 1 — /10 | Critère | Points | |---|---:| | Données et formes explicites | 2 | | Calcul traçable | 3 | | Prédiction avant variation | 2 | | Interprétation et vérification | 2 | | Limite nommée | 1 | ## Exercice 2 — Diagnostic d’une explication séduisante — Correction delta Un collègue affirme: « Correction delta prouve que le système sera exact, rapide et stable dans tous les contextes. » 1. Séparez mécanisme, hypothèse, observation et conclusion. 2. Citez deux éléments corrects de la leçon et deux extrapolations non justifiées. 3. Proposez une expérience bornée avec variable contrôlée, métrique et seuil d’arrêt. 4. Réécrivez l’affirmation en une phrase défendable.
Solution argumentée La trace le chiffre : correction β=1 sur le canal 2 → exactement [4,4] ; deux pas de porte 0,2 plus tard : 4×0,2² = 0,160. La correction a réussi ET la valeur a disparu — « corrigé » et « conservé » sont deux propriétés indépendantes. Le chunkwise transporte l’état de bloc en bloc et parallélise l’intérieur — démontré EXACT en session 15 (o₅ = [3,5] avec ou sans chunks). C’est une stratégie d’exécution : elle change le coût, jamais les nombres. Les spécifications exactes de Kimi K3 ne sont pas revendiquées comme vérifiées dans cette leçon ; le rapport technique du fournisseur (Kimi Linear, arXiv:2510.26692, à vérifier) est cité sans réplication indépendante. L’affirmation mélange une relation locale et une garantie globale. Une version défendable décrit seulement le mécanisme observé, les conditions du test et la métrique relevée. Le test doit s’arrêter si les formes deviennent invalides, si la métrique se dégrade au-delà du seuil annoncé ou si une autre variable a changé.
### Barème Exercice 2 — /10 2 points par élément : séparation, ancrage dans la leçon, extrapolations, protocole, reformulation. ## Exercice 3 — Décision d’architecture et transfert — Rapporté par la source Vous devez reproduire le cas guidé « Pour une porte vectorielle [0,9;0,2], le premier canal conserve presque toute sa trace tandis que le second oublie rapidement. La même correction delta peut donc avoir des effets temporels différents par canal. » dans deux conditions. Option A utilise la chaîne complète jusqu’à « Rapporté par la source ». Option B est une référence transparente qui conserve « Mécanisme établi », calcule directement la sortie attendue et n’utilise pas le mécanisme de compression ou d’ajustement étudié. Construisez une fiche de décision comportant: - la charge et la contrainte dominante; - le mécanisme de chaque option, sans slogan; - une prédiction qualité, mémoire ou latence; - un cas où votre procédure préférée perd; - un protocole A/B, métriques et seuil de retour arrière; - un verdict borné : choisir, différer ou refuser.
Éléments d’une bonne solution Le statut exact : « rapporté ». La source primaire est un rapport technique du fournisseur (Kimi Linear, arXiv:2510.26692 — à vérifier) : citable, informatif, non répliqué indépendamment ici. L’information circule avec son étiquette, ni supprimée ni blanchie. L’habitude : séparer systématiquement (a) l’équation vérifiable, (b) le choix d’implémentation rapporté, (c) le résultat expérimental — et exiger une preuve proportionnée à la précision de chaque affirmation. Mixte : mécanismes établis + choix de type Kimi K3 rapportés par la source. Une bonne réponse ne présente pas le mécanisme récent comme gagnant par défaut. Elle conserve une référence mesurable, fixe le seuil avant le test et distingue le coût du composant du comportement du système complet. Le verdict doit citer ce qui reste incertain et la prochaine preuve qui pourrait le modifier.
### Barème Exercice 3 — /15 | Critère | Points | |---|---:| | Cadrage et référence | 3 | | Chaînes causales comparées | 4 | | Protocole et métriques | 4 | | Seuil de retour arrière | 2 | | Verdict borné | 2 | ## Prolongement Refaites l’exercice 3 en inversant la contrainte dominante. Si vous aviez optimisé la mémoire, imposez maintenant une qualité minimale stricte; si vous aviez optimisé la fidélité, imposez une enveloppe mémoire divisée par deux. Identifiez le premier point du verdict qui change et la preuve nécessaire. ## Relecture avant remise Relisez votre paquet comme si un autre groupe devait reproduire votre travail sans vous parler. Toutes les valeurs ou hypothèses de départ sont-elles présentes ? Les formes ou rôles sont-ils écrits avant les opérations ? La prédiction précède-t-elle réellement l’observation ? Le résultat est-il traduit en comportement plutôt que laissé comme nombre isolé ? Avez-vous testé une valeur limite et identifié une condition d’arrêt ? Le choix de procédure ou d’architecture conserve-t-il une référence mesurable et un seuil de retour arrière fixé avant le test ? Enfin, surlignez une phrase qui décrit ce qui est établi, une phrase qui reste une hypothèse et une mesure susceptible de changer votre verdict. Si l’un de ces éléments manque, le travail n’est pas reproductible. ## Annexe de référence pour la correction ## Chapitre 12 — Kimi Delta Attention ### 12.1 Décroissance par canal But : rendre l’oubli plus précis. Un canal est une coordonnée d’une représentation apprise. Un seul scalaire α traite tous les canaux de la même façon ; un vecteur de décroissances peut les traiter différemment. Au lieu d’un seul variateur pour tout un bâtiment, donne un variateur à chaque pièce. **Étape par étape** - Soit le vecteur de décroissance a=[0,9; 0,2]. - Si une ligne de mémoire vaut [10,10], la décroissance par canal donne [9,2]. - Le premier canal conserve l’information ; le second se renouvelle rapidement. - Le modèle apprend les contrôles de décroissance à partir des données. **Exemple détaillé :** Différents canaux peuvent se spécialiser dans des motifs ayant des durées utiles différentes, comme la syntaxe locale ou le thème général. **Pourquoi c’est important :** La décroissance par canal augmente la flexibilité, mais aussi la complexité de l’implémentation et de l’optimisation. **Vérification rapide :** si la décroissance d’un canal est proche de zéro, que se passe-t-il ? Réponse : son ancien contenu est presque entièrement oublié avant la nouvelle mise à jour. ### 12.2 Ce que nous pouvons affirmer prudemment But : séparer le mécanisme des spécifications produit incertaines. Kimi Delta Attention, abrégé KDA, est décrit comme combinant des mises à jour associatives de type delta, une décroissance apprise plus fine et un calcul par blocs adapté au matériel. Traite les descriptions d’architecture comme une carte avec des niveaux de confiance : les routes vérifiées par des sources primaires sont pleines ; les rumeurs sont en pointillés. **Étape par étape** - Fondation établie : opérations matricielles, prédiction causale, état récurrent, portes et correction delta. - Affirmation dépendant de la source : la manière exacte dont un modèle Kimi nommé combine ces composants. - Les détails non vérifiés — nombre exact de couches, d’experts ou résultats de benchmarks — doivent être contrôlés dans un rapport officiel ou du code publié. **Exemple détaillé :** La valeur pédagogique de KDA reste claire sans croire chaque chiffre produit : il montre comment une mémoire compressée peut devenir plus sélective et corrigible. **Pourquoi c’est important :** Ce cours décrira l’architecture au niveau soutenu par la source fournie et signalera les détails incertains au lieu de les inventer. **Vérification rapide :** faut-il traiter un benchmark annoncé comme une identité mathématique ? Réponse : non. Il dépend de la version du modèle, du protocole, du matériel et de la méthode de mesure. ## Sources et frontière de preuve - Dossier de cours bilingue fourni par le propriétaire, chapitre 12. - Kimi Linear / Kimi Delta Attention technical report, arXiv:2510.26692 (à vérifier / to verify). - Yang, Kautz & Hatamizadeh, “Gated Delta Networks: Improving Mamba2 with Delta Rule”, ICLR (2025). - Dossier source fourni par le propriétaire; les détails sur des produits nommés restent attribués à cette source jusqu’à vérification primaire. > **Portée:** Mixte : mécanismes établis + choix de type Kimi K3 rapportés par la source. Ces références soutiennent le cadre de la session; elles ne transforment pas un choix de produit rapporté en résultat indépendant.