Exercices corrigés — Attention Q/K/V : des projections à la sortie causale

Consigne générale: chaque réponse doit montrer les données, la transformation, le résultat, une vérification et une limite. Un nombre seul ou une définition recopiée ne suffit pas.

Données de départ: Trace réduite : q=[2,1], clés k_Maya=[1,1], k_livre=[0,2]. La tête réelle a d_head=4 ; nos vecteurs n’affichent que 2 coordonnées (illustration tronquée), mais la mise à l’échelle garde la vraie dimension. Scores bruts : 3 et 2 ; division par √4=2 donne 1,5 et 1. Softmax ≈ [0,62;0,38]. La sortie mélange 62 % de v_Maya et 38 % de v_livre. Pour une position antérieure, le masque causal supprimerait toute clé future.

Frontière à conserver: Les cartes d’attention ne prouvent pas à elles seules une explication causale du comportement global du modèle.

Exercice 1 — Trace calculée — Trois projections apprises

Reproduisez puis commentez la chaîne Q=XW_Q, K=XW_K, V=XW_V. Augmentez la première composante de q de 2 à 2,4, sans changer les clés. Recalculez les deux scores divisés par √4 et les poids d’attention.

Livrable: un tableau données → opération → résultat → interprétation, plus deux phrases sur la valeur modifiée.

Barème Exercice 1 — /10

Exercice 2 — Diagnostic d’une explication séduisante — Mise à l’échelle

Un collègue affirme: « Mise à l’échelle prouve que le système sera exact, rapide et stable dans tous les contextes. »

1. Séparez mécanisme, hypothèse, observation et conclusion.
2. Citez deux éléments corrects de la leçon et deux extrapolations non justifiées.
3. Proposez une expérience bornée avec variable contrôlée, métrique et seuil d’arrêt.
4. Réécrivez l’affirmation en une phrase défendable.

Barème Exercice 2 — /10

2 points par élément : séparation, ancrage dans la leçon, extrapolations, protocole, reformulation.

Exercice 3 — Décision d’architecture et transfert — Mélange pondéré des valeurs

Vous devez reproduire le cas guidé « Trace réduite : q=[2,1], clés k_Maya=[1,1], k_livre=[0,2]. La tête réelle a d_head=4 ; nos vecteurs n’affichent que 2 coordonnées (illustration tronquée), mais la mise à l’échelle garde la vraie dimension. Scores bruts : 3 et 2 ; division par √4=2 donne 1,5 et 1. Softmax ≈ [0,62;0,38]. La sortie mélange 62 % de v_Maya et 38 % de v_livre. Pour une position antérieure, le masque causal supprimerait toute clé future. » dans deux conditions. Option A utilise la chaîne complète jusqu’à « Mélange pondéré des valeurs ». Option B est une référence transparente qui conserve « Trois projections apprises », calcule directement la sortie attendue et n’utilise pas le mécanisme de compression ou d’ajustement étudié. Construisez une fiche de décision comportant:

• la charge et la contrainte dominante;
• le mécanisme de chaque option, sans slogan;
• une prédiction qualité, mémoire ou latence;
• un cas où votre procédure préférée perd;
• un protocole A/B, métriques et seuil de retour arrière;
• un verdict borné : choisir, différer ou refuser.

Barème Exercice 3 — /15

Prolongement

Refaites l’exercice 3 en inversant la contrainte dominante. Si vous aviez optimisé la mémoire, imposez maintenant une qualité minimale stricte; si vous aviez optimisé la fidélité, imposez une enveloppe mémoire divisée par deux. Identifiez le premier point du verdict qui change et la preuve nécessaire.

Relecture avant remise

Relisez votre paquet comme si un autre groupe devait reproduire votre travail sans vous parler. Toutes les valeurs ou hypothèses de départ sont-elles présentes ? Les formes ou rôles sont-ils écrits avant les opérations ? La prédiction précède-t-elle réellement l’observation ? Le résultat est-il traduit en comportement plutôt que laissé comme nombre isolé ? Avez-vous testé une valeur limite et identifié une condition d’arrêt ? Le choix de procédure ou d’architecture conserve-t-il une référence mesurable et un seuil de retour arrière fixé avant le test ? Enfin, surlignez une phrase qui décrit ce qui est établi, une phrase qui reste une hypothèse et une mesure susceptible de changer votre verdict. Si l’un de ces éléments manque, le travail n’est pas reproductible.

Annexe de référence pour la correction

1. Trois projections apprises

Chaque représentation x produit q=xW_Q, k=xW_K et v=xW_V. La requête exprime ce que la position cherche ; la clé décrit comment elle peut être retrouvée ; la valeur porte l’information à mélanger.

Formule de travail: Q=XW_Q, K=XW_K, V=XW_V

2. Compatibilité requête-clé

Le produit scalaire q·k mesure l’alignement. Dans « Maya posa le livre… Elle le reprit », une tête peut apprendre que la requête de « Elle » s’aligne avec la clé de « Maya ».

3. Mise à l’échelle

Quand d_head augmente, les produits scalaires peuvent devenir grands et saturer la softmax. Diviser par √d_head maintient une échelle plus stable.

Formule de travail: S=QKᵀ/√d_head

4. Masque causal et softmax

Avant softmax, les positions futures reçoivent −∞. La softmax transforme chaque ligne autorisée en poids positifs qui somment à 1.

Formule de travail: A=softmax(S+causal mask)

5. Mélange pondéré des valeurs

La sortie est AV : les poids choisissent combien de chaque valeur passe. Les scores ne sont pas eux-mêmes le contenu récupéré.

Formule de travail: O=AV

6. Multi-têtes, projection et cache

Plusieurs têtes calculent des relations différentes, leurs sorties sont concaténées puis projetées par W_O. En décodage, les K/V passés sont mis en cache ; la nouvelle requête lit ce cache sans recalculer tout le préfixe.

Formule de travail: MHA(X)=Concat(head₁…head_h)W_O

Sources et frontière de preuve

• Vaswani et al., “Attention Is All You Need”, NeurIPS (2017).
• Dossier source fourni par le propriétaire; les détails sur des produits nommés restent attribués à cette source jusqu’à vérification primaire.

Portée: Mécanismes établis ; les simplifications numériques sont pédagogiques. Ces références soutiennent le cadre de la session; elles ne transforment pas un choix de produit rapporté en résultat indépendant.