✂️tokenization (টোকেনাইজেশন)

noun
ˌtoʊ.kə.nɪˈzeɪ.ʃən
শব্দ বা বাক্যকে ছোট ছোট অংশে বিভক্তকরণ (tokenization)

অর্থ

The process of breaking text into smaller units like words, phrases, or symbols for analysis.

উদাহরণ বাক্য

NLP uses tokenization to break text into smaller units.

এনএলপি পাঠকে ছোট অংশে বিভক্ত করতে টোকেনাইজেশন ব্যবহার করে।
NLP pathke chhoto ongse bibhokto korte tokenization byabohar kore.

সিনোনিমস

segmentation, fragmentation, parsing

অ্যান্টোনিমস

aggregation, whole text, non-division

সম্পর্কিত আর্টিকেল

সম্পর্কিত ভোকাবুলারি

the act or process of changing or altering something slightly
A British nobleman ranking below an earl and above a baron.
The trunk of the human body, excluding the head and limbs.
Courage and resolve; strength of character; passion and perseverance.
a train that carries emergency supplies and aid to disaster-affected areas
An act of giving up something valued for the sake of something else.

এক্সপ্লোর আরো