C1 noun ˌtoʊ.kə.nɪˈzeɪ.ʃən
tokenization
El proceso de dividir el texto en unidades más pequeñas como palabras, frases o símbolos para su análisis.
Meaning
The process of breaking text into smaller units like words, phrases, or symbols for analysis.
Example
NLP uses tokenization to break text into smaller units.
NLP utiliza la tokenización para dividir el texto en unidades más pequeñas.