C1 noun ˌtoʊ.kə.nɪˈzeɪ.ʃən
tokenization
শব্দ বা বাক্যকে ছোট ছোট অংশে বিভক্তকরণ
Meaning
The process of breaking text into smaller units like words, phrases, or symbols for analysis.
Example
NLP uses tokenization to break text into smaller units.
এনএলপি পাঠকে ছোট অংশে বিভক্ত করতে টোকেনাইজেশন ব্যবহার করে।