日本
インターフェース言語
EN
English
BN
বাংলা
HI
हिन्दी
ES
Español
FR
Français
DE
Deutsch
RU
Русский
ZH
简体中文
JA
日本語
日本
コンテンツ言語
ウェブサイト言語と同じ
EN
英語
BN
ベンガル語
HI
ヒンディー語
ES
スペイン語
FR
フランス語
DE
ドイツ語
RU
ロシア語
ZH
中国語
JA
日本語
ライト
ダーク
システム
ログイン
ホーム
コース
語彙集
PDF
動画
日本語
インターフェース言語
EN
英語
BN
ベンガル語
HI
ヒンディー語
ES
スペイン語
FR
フランス語
DE
ドイツ語
RU
ロシア語
ZH
中国語
JA
日本語
日本語
コンテンツ言語
EN
英語
BN
ベンガル語
HI
ヒンディー語
ES
スペイン語
FR
フランス語
DE
ドイツ語
RU
ロシア語
ZH
中国語
JA
日本語
Light
Dark
System
ログイン
登録
ホーム
コース
語彙集
PDF
動画
語彙集
/
tokenization
✂️
tokenization
(トークン化)
noun
ˌtoʊ.kə.nɪˈzeɪ.ʃən
テキストを分析するために、単語、フレーズ、または記号などの小さな単位に分割するプロセス。
(tokenization)
token
Tolerable
意味
The process of breaking text into smaller units like words, phrases, or symbols for analysis.
意味の翻訳
分析のためにテキストを小さな部分に分割するプロセス。
Bunseki no tame ni tekisuto o chiisana bubun ni bunkatsu suru purosesu.
例文
NLP uses
tokenization
to break text into smaller units.
NLPはテキストを小さな単位に分割するためにトークン化を使用します。
NLP wa tekisuto o chiisana tan'i ni bunkatsu suru tame ni tōkunka o shiyō shimasu.
同義語
segmentation, fragmentation, parsing
対義語
aggregation, whole text, non-division
関連記事
Learn Vocabulary Through Article 115 - How ChatGPT Processes Human Language
関連語彙
joint
(関節)
a place where two parts of something are joined; also a term for a business establishment or a canna...
Lesson
(レッスン)
a period of learning or teaching; an experience that teaches you something
Durability
(耐久性)
the ability to withstand wear, pressure, or damage; lasting quality
Fault
(過失; 欠陥; 失敗)
an unattractive or unsatisfactory feature; responsibility for an accident or misfortune
euphoria
(ユーフォリア, 陶酔, 高揚感)
A feeling or state of intense excitement and happiness; elation.
education
(教育)
the process of receiving or giving systematic instruction, especially at a school or university
さらに探索
すべての語彙
