C1 noun ˌtoʊ.kə.nɪˈzeɪ.ʃən
tokenization
Der Prozess, Text in kleinere Einheiten wie Wörter, Phrasen oder Symbole für die Analyse zu zerlegen.
Meaning
The process of breaking text into smaller units like words, phrases, or symbols for analysis.
Example
NLP uses tokenization to break text into smaller units.
NLP verwendet Tokenisierung, um Text in kleinere Einheiten zu zerlegen.