Un tokenizer transforme le texte en identifiants de tokens avant son traitement par le modèle. Les budgets bornent contexte, sortie, latence et coût.
Les tokens dépendent du modèle
Un token peut être un mot, un fragment, une ponctuation, un espace ou des octets. Utilisez le tokenizer exact et le gabarit de chat associés à la révision du modèle.
Budgéter toute la requête
Comptez les instructions système, l’historique, les schémas d’outils, les passages récupérés, la saisie et la sortie réservée. Définissez une politique explicite de troncature ou de résumé.
Contrôles opérationnels
Figez les révisions. Testez plusieurs langues, le code, les emoji, les tokens spéciaux et la troncature. Mesurez avec le vrai tokenizer ; l’estimation par caractères reste approximative.
Limite de l’estimation
Comparer une phrase française, une phrase anglaise et du code. Ne jamais présenter l’approximation comme le tokenizer exact.