✂️tokenization (tokeinaizeshon)

noun
ˌtoʊ.kə.nɪˈzeɪ.ʃən
El proceso de dividir el texto en unidades más pequeñas como palabras, frases o símbolos para su análisis. (tokenization)

Meaning

The process of breaking text into smaller units like words, phrases, or symbols for analysis.
Traducción del significado
El proceso de dividir el texto en partes más pequeñas para su análisis.
El proceso de dividir el texto en partes más pequeñas para su análisis.

Oraciones de ejemplo

NLP uses tokenization to break text into smaller units.

NLP utiliza la tokenización para dividir el texto en unidades más pequeñas.
NLP utiliza la tokenización para dividir el texto en unidades más pequeñas.

Synonyms

segmentation, fragmentation, parsing

Antonyms

aggregation, whole text, non-division

Vocabularios relacionados

a person within a group or organization who has access to confidential information
the act of focusing on something or someone
a thing that can be seen and touched
the power or right to act, speak, or think as one wants without hindrance or restraint
clever or cunning devices or tricks used to deceive others
a valuable person, skill, or resource; something owned that has value