Quiz avec réponses — Attention Q/K/V : des projections à la sortie causale

Répondez aux huit questions, puis vérifiez le score. Ouvrez ensuite uniquement les explications nécessaires à la reprise.

1. Résolvez la variante du cas guidé : Augmentez la première composante de q de 2 à 2,4, sans changer les clés. Recalculez les deux scores divisés par √4 et les poids d’attention.

A Trace réduite : q=[2,1], clés k_Maya=[1,1], k_livre=[0,2]. La tête réelle a d_head=4 ; nos vecteurs n’affichent que 2 coordonnées (illustration tronquée), mais la mise à l’échelle garde la vraie dimension. Scores bruts : 3 et 2 ; division par √4=2 donne 1,5 et 1. Softmax ≈ [0,62;0,38]. La sortie mélange 62 % de v_Maya et 38 % de v_livre. Pour une position antérieure, le masque causal supprimerait toute clé future.B Les cartes d’attention ne prouvent pas à elles seules une explication causale du comportement global du modèle.C Le produit scalaire q·k mesure l’alignement. Dans « Maya posa le livre… Elle le reprit », une tête peut apprendre que la requête de « Elle » s’aligne avec la clé de « Maya ».D Les scores mis à l’échelle passent de [1,5;1] à [1,7;1]. Les poids softmax passent d’environ [0,622;0,378] à [0,668;0,332] : la clé Maya reçoit davantage de masse, sans devenir une certitude.

Afficher la réponse

D. Les scores mis à l’échelle passent de [1,5;1] à [1,7;1]. Les poids softmax passent d’environ [0,622;0,378] à [0,668;0,332] : la clé Maya reçoit davantage de masse, sans devenir une certitude. La bonne réponse exécute la modification demandée et donne un résultat contrôlable; les autres textes ne ferment pas ce calcul ou cette trace.

2. Quel ordre causal relie correctement les trois premières étapes de « Attention Q/K/V : des projections à la sortie causale » ?

A Trois projections apprises → Compatibilité requête-clé → Mise à l’échelleB Mise à l’échelle → Compatibilité requête-clé → Trois projections apprisesC Compatibilité requête-clé → Trois projections apprises → Mise à l’échelleD Trois projections apprises → Mise à l’échelle → Compatibilité requête-clé

Afficher la réponse

A. Trois projections apprises → Compatibilité requête-clé → Mise à l’échelle La chaîne suit la progression enseignée; inverser les étapes fait utiliser une représentation ou un état avant sa production.

3. Si « Mise à l’échelle » est retiré, quelle méthode de diagnostic est défendable ?

A Changer aussi les données pour amplifier la différence.B Conserver la même entrée, prédire la première sortie dépendante de « Mise à l’échelle », puis comparer la trace avant/après.C Observer uniquement la dernière sortie et inventer la cause.D Conclure que le système entier échoue avant toute mesure.

Afficher la réponse

B. Conserver la même entrée, prédire la première sortie dépendante de « Mise à l’échelle », puis comparer la trace avant/après. Une seule intervention et une prédiction préalable permettent d’attribuer l’écart au mécanisme retiré.

4. Quel verdict respecte la frontière de validité de cette session ?

A Le mécanisme garantit exactitude, vitesse et stabilité pour toute charge.B Un exemple réussi prouve la supériorité de l’architecture complète.C Les cartes d’attention ne prouvent pas à elles seules une explication causale du comportement global du modèle.D Le nom du mécanisme suffit pour choisir la production.

Afficher la réponse

C. Les cartes d’attention ne prouvent pas à elles seules une explication causale du comportement global du modèle. La réponse correcte borne la conclusion; les autres transforment une relation locale en garantie globale.

5. Quelle preuve répond le mieux au statut annoncé pour « Attention Q/K/V : des projections à la sortie causale » ?

A La route charge sans erreur.B Tous les apprenants ont ouvert le fichier.C Le même résultat est supposé sur tout matériel.D Mécanismes établis ; les simplifications numériques sont pédagogiques.

Afficher la réponse

D. Mécanismes établis ; les simplifications numériques sont pédagogiques. Une preuve produit ou mécanisme doit rester attribuée et mesurée; disponibilité et complétion ne prouvent pas la valeur.

6. Quand faut-il préférer une référence plus simple à « Mélange pondéré des valeurs » ?

A Jamais : le mécanisme le plus récent gagne par défaut.B Quand un test contrôlé montre une qualité équivalente avec moins de mémoire, de latence ou de complexité.C Dès qu’une seule métrique mémoire baisse, quelle que soit la qualité.D Dès que le diagramme contient moins de composants.

Afficher la réponse

B. Quand un test contrôlé montre une qualité équivalente avec moins de mémoire, de latence ou de complexité. Le choix dépend d’un compromis mesuré sur la charge réelle, pas de la nouveauté ni d’une métrique isolée.

7. Un apprenant obtient le bon résultat mais ne peut pas expliquer « Compatibilité requête-clé ». Quelle reprise est la plus utile ?

A Reconstruire la première transformation manquante, annoter ses entrées et sorties, puis tester un cas voisin.B Valider la réponse puisque le nombre final est correct.C Donner le résultat final une seconde fois.D Changer plusieurs variables et demander une intuition.

Afficher la réponse

A. Reconstruire la première transformation manquante, annoter ses entrées et sorties, puis tester un cas voisin. La reprise cible la première rupture causale et exige ensuite un transfert, au lieu de récompenser un résultat deviné.

8. Quel livrable démontre réellement l’objectif « Relier préfill, décodage et cache KV. » ?

A Une liste de termes sans relation causale.B Une capture d’écran sans valeurs ni interprétation.C Une trace avec données de départ, transformations, résultat observé, limite et prochaine expérience.D Une affirmation confiante sans référence ni seuil.

Afficher la réponse

C. Une trace avec données de départ, transformations, résultat observé, limite et prochaine expérience. Le livrable correct rend le raisonnement reproductible et le verdict révisable par une mesure future.

Aucune réponse vérifiée.