C1 noun ˌtoʊ.kə.nɪˈzeɪ.ʃən
tokenization
Процесс разбивки текста на меньшие единицы, такие как слова, фразы или символы, для анализа.
Meaning
The process of breaking text into smaller units like words, phrases, or symbols for analysis.
Example
NLP uses tokenization to break text into smaller units.
NLP использует токенизацию для разбиения текста на более мелкие единицы.