C1 noun ˌtoʊ.kə.nɪˈzeɪ.ʃən
tokenization
शब्दों, वाक्यांशों या प्रतीकों में टेक्स्ट को विभाजित करने की प्रक्रिया
Meaning
The process of breaking text into smaller units like words, phrases, or symbols for analysis.
Example
NLP uses tokenization to break text into smaller units.
एनएलपी टेक्स्ट को छोटे हिस्सों में विभाजित करने के लिए टोकनाइजेशन का उपयोग करता है।