C1 noun ˌtoʊ.kə.nɪˈzeɪ.ʃən
tokenization
テキストを分析するために、単語、フレーズ、または記号などの小さな単位に分割するプロセス。
Meaning
The process of breaking text into smaller units like words, phrases, or symbols for analysis.
Example
NLP uses tokenization to break text into smaller units.
NLPはテキストを小さな単位に分割するためにトークン化を使用します。