C1 noun ˌtoʊ.kə.nɪˈzeɪ.ʃən
tokenization
Le processus de diviser un texte en unités plus petites comme des mots, des phrases ou des symboles pour l'analyse.
Meaning
The process of breaking text into smaller units like words, phrases, or symbols for analysis.
Example
NLP uses tokenization to break text into smaller units.
NLP utilise la tokenisation pour diviser le texte en unités plus petites.