La guida completa ai token AI: cosa sono e come funzionano
Understand AI tokens: how text becomes tokens, why they matter for pricing and context limits, and how to optimize your token usage across all AI platforms.
Un gettone è l'unità fondamentale che i modelli di grande lingua usano per elaborare il testo. I modelli non leggono parole o caratteri che leggono gettoni. In inglese, un gettone è di circa 4 caratteri o circa tre quarti di una parola. La parola "hello" è un gettone. La parola "straordinaria" è spezzata in più gettoni: "extra," "ordinario." Numeri, punteggiatura, e spazi consumano anche gettoni. Altre lingue hanno diversi rapporti tra gettoni e caratteri.