Session systèmes 1/3 · Exercices

Tokenizers et budgets de tokens

  1. Estimer une entrée de 4 000 caractères.
  2. La mesurer avec le tokenizer du modèle visé.
  3. Expliquer l’écart et réserver la sortie.
Afficher la réponse

Oui. Le vocabulaire, la normalisation et la segmentation varient selon le tokenizer. La requête sérialisée complète et les tokens réservés à la sortie.