Causal lab · Laboratoire causal

Attention Q/K/V

Hypothèses / Assumptions

Maquette pédagogique déterministe; d_head est fixé à 64 et une variable change à la fois.

Formule / Formula

score = (q·k)/√d_head; weights = softmax(scores)

Limite / Caveat

Cette sortie expose une relation causale locale; ce n’est ni un benchmark ni une spécification produit.