Le guide complet des jetons d'IA: ce qu'ils sont et comment ils fonctionnent
Understand AI tokens: how text becomes tokens, why they matter for pricing and context limits, and how to optimize your token usage across all AI platforms.
Un jeton est l'unité fondamentale que les grands modèles de langue utilisent pour traiter le texte. Les modèles ne lisent pas les mots ou les caractères — ils lisent les jetons. En anglais, un jeton est environ 4 caractères ou environ trois quarts d'un mot. Le mot "hello" est un jeton. Le mot "extraordinaire" est fractionné en plusieurs jetons: "extra", "ordinaire". Les chiffres, la ponctuation et les espaces consomment également des jetons. La plupart des langues ont des rapports différents de jeton-à-caractère dans les deux cas.