Quiz — Session 1 : Fondements : Transformers & Tokenisation

✅ Réponse : B. Explication : L’article Attention Is All You Need (Google, 2017) a introduit le transformer, architecture fondée entièrement sur le mécanisme d’attention et entièrement parallélisable. A est l’article d’AlexNet (2012, vision par ordinateur) ; C concerne l’apprentissage par renforcement ; D est l’article de GPT-3 (2020), postérieur.

✅ Réponse : C. Explication : Le texte est découpé par un tokeniseur en fragments (tokens) issus d’un vocabulaire fixe (~100 000 entrées, ordre de grandeur variable selon les modèles ⚠). Les mots fréquents tiennent en un token, les mots rares sont assemblés à partir de plusieurs fragments. Ni lettres individuelles, ni mots entiers systématiques.

✅ Réponse : B. Explication : « strawberry » est un mot courant que le modèle « connaît » très bien statistiquement (A est faux). Mais il le voit comme quelques blocs (ex. [str][aw][berry]), pas comme 10 lettres : compter les caractères exige une granularité que la tokenisation masque. C’est une limite structurelle — que les modèles récents contournent parfois en épelant d’abord le mot ⚠.

✅ Réponse : B. Explication : Chaque token est converti en vecteur (liste de nombres) ; les sens proches occupent des positions proches. L’arithmétique vectorielle révèle que des relations comme masculin→féminin ou pays→capitale forment des directions régulières de l’espace. Rien n’est codé à la main : ces régularités émergent de l’entraînement.

✅ Réponse : B. Explication : L’attention attribue à chaque paire de tokens un poids de pertinence, recalculé dynamiquement selon le contexte : dans « L’avocat mange un avocat », le second « avocat » est tiré vers le sens « fruit » par « mange ». C’est ce mécanisme qui résout les dépendances à longue distance (ex. rattacher un pronom à son antécédent lointain).

✅ Réponse : C. Explication : Le fine-tuning spécialise un modèle déjà entraîné sur un domaine, un ton ou un format précis — comme un nouvel embauché déjà diplômé qu’on forme aux procédures maison. Le pré-entraînement (A) construit les connaissances générales ; le post-entraînement/RLHF (B, Reinforcement Learning from Human Feedback : apprentissage par renforcement à partir de retours humains) façonne le comportement d’assistant.

✅ Réponse : C. Explication : Tout le savoir du modèle provient d’une tâche d’apparence triviale : deviner le token suivant sur des milliers de milliards de tokens de texte ⚠. Pour bien prédire, le modèle est contraint d’absorber grammaire, faits, styles et rudiments de raisonnement. Les comportements de « réponse aux questions » (A) viennent ensuite, au post-entraînement.

✅ Réponse : A. Explication : À chaque token produit, l’ensemble des paramètres (des dizaines à des centaines de gigaoctets ⚠) doit circuler de la mémoire vers les unités de calcul. Le calcul attend la mémoire — analogie du cours : le chef étoilé (calcul) attend la navette de l’entrepôt (mémoire). Leviers réels : mémoire plus rapide (HBM — High Bandwidth Memory, mémoire à haute bande passante), modèle plus petit, optimisations d’inférence.

✅ Réponse : B. Explication : Les lois d’échelle sont des régularités empiriques : la qualité de prédiction s’améliore selon des courbes régulières quand on accroît les trois ingrédients de façon équilibrée. C’est ce qui permet aux laboratoires de prédire la performance d’un futur modèle avant de l’entraîner — et justifie leurs investissements massifs. Nuance : elles prédisent une métrique statistique, pas l’apparition de capacités précises.

✅ Réponse : C. Explication : C’est le résumé structurel de la session : attention = chaque token accède à tout le contexte, même lointain (mémoire longue) ; parallélisme = tous les tokens se calculent en même temps, permettant d’exploiter des milliers de GPU (Graphics Processing Unit, processeur graphique) et d’atteindre les tailles de modèles actuelles. Les hallucinations et les biais (D), eux, n’ont PAS été résolus par les transformers — on en reparlera dans les sessions suivantes.

✅ Réponse : B. Explication : On part de crawls du web (CommonCrawl : 200–400 TiB de HTML par crawl ⚠), on extrait le texte utile du HTML, on filtre (blocklist d’URL, langue, heuristiques de qualité), puis on déduplique (MinHash). Résultat pour FineWeb : 15 000 milliards de tokens, 44 To. La tokenisation intervient après, au moment de préparer l’entraînement ; et aucune annotation humaine page par page n’est possible à cette échelle.

✅ Réponse : C. Explication : Résultat contre-intuitif vérifié par ablations (petits modèles jumeaux comparés sur les mêmes benchmarks) : la dédup globale (4 000 Mds de tokens) produisait des modèles moins bons que la dédup par crawl (20 000 Mds), car sur les vieux crawls elle conservait surtout du contenu de piètre qualité — les 10 % « gardés » y étaient pires que les 90 % supprimés. Leçon de la Partie E-bis : en curation de données, on ne se fie pas à l’intuition, on mesure.