Le choix matériel dépend de la forme de la charge. La quantification peut réduire la mémoire des poids, mais compatibilité, latence et qualité doivent être mesurées.
Rôles CPU et GPU
Le CPU convient au contrôle, au prétraitement et aux charges modestes. Le GPU offre beaucoup d’unités parallèles et une forte bande passante pour les tenseurs. Le prefill est parallèle ; le décodage reste séquentiel entre positions.
Estimation mémoire
Une première estimation des poids vaut paramètres × bits par poids ÷ 8. Elle exclut cache KV, activations, surcoût de l’allocateur, buffers et parfois des couches non quantifiées.
Porte de sortie quantifiée
Comparer au modèle de référence sur des tâches représentatives. Relever qualité, TTFT, latence inter-token, débit, pic mémoire, matériel, runtime et hash de l’artefact.
Limite de l’estimation
Garder charge, prompts, runtime et grille qualité constants. Séparer estimations et mémoire résidente mesurée.