中文
界面语言
EN
English
BN
বাংলা
HI
हिन्दी
ES
Español
FR
Français
DE
Deutsch
RU
Русский
ZH
简体中文
JA
日本語
中文
内容语言
与网站语言相同
EN
英语
BN
孟加拉语
HI
印地语
ES
西班牙语
FR
法语
DE
德语
RU
俄语
ZH
中文
JA
日语
浅色
深色
系统
登录
首页
课程
词汇表
PDF
视频
中文
界面语言
EN
英语
BN
孟加拉语
HI
印地语
ES
西班牙语
FR
法语
DE
德语
RU
俄语
ZH
中文
JA
日语
中文
内容语言
EN
英语
BN
孟加拉语
HI
印地语
ES
西班牙语
FR
法语
DE
德语
RU
俄语
ZH
中文
JA
日语
Light
Dark
System
登录
注册
首页
课程
词汇表
PDF
视频
词汇表
/
tokenization
✂️
tokenization
(tōukè nàizhé)
noun
ˌtoʊ.kə.nɪˈzeɪ.ʃən
将文本分解为较小的单位,如单词、短语或符号进行分析的过程。
(tokenization)
token
Tolerable
含义
The process of breaking text into smaller units like words, phrases, or symbols for analysis.
含义翻译
将文本分解为较小部分以进行分析的过程。
Jiāng wénběn fēnjiě wéi jiào xiǎo de bùfen yǐ jìnxíng fēnxī de guòchéng.
例句
NLP uses
tokenization
to break text into smaller units.
NLP使用分词法将文本分解为更小的单位。
NLP shǐyòng fēn cí fǎ jiāng wénběn fēnjiě wéi gèng xiǎo de dānwèi.
同义词
segmentation, fragmentation, parsing
反义词
aggregation, whole text, non-division
相关文章
Learn Vocabulary Through Article 115 - How ChatGPT Processes Human Language
相关词汇
euphoria
(强烈的兴奋和幸福感)
A feeling or state of intense excitement and happiness.
Vigour
(身体力量和健康;努力、能量和热情)
physical strength and good health; effort, energy, and enthusiasm
Laziness
(懒惰)
the quality of being unwilling to work or use energy; idleness
acknowledgement
(确认)
the act of recognizing or accepting something as true or valid; an expression of gratitude or recogn...
junket
(旅行或庆典)
A trip or celebration, often funded by someone else, usually for pleasure or promotional purposes.
recommendations
(建议)
Suggestions or proposals as to the best course of action.
探索更多
所有词汇