en
tokenize
An
English
term in
ConceptNet 5.8
Sources:
JMDict 1.07
,
German Wiktionary
,
English Wiktionary
, and
French Wiktionary
View this term in the API
Documentation
FAQ
Chat
Blog
Documentation
FAQ
Chat
Blog
Related terms
en
tokenization
(
n
)
➜
en
tokenization
➜
en
detokenize
(
v
)
➜
en
retokenize
(
v
)
➜
en
tokenise
(
v
)
➜
en
tokenizable
(
a
)
➜
en
minority
➜
en
parse
➜
en
token
➜
en
tokenize
(
v
)
➜
fr
parser
➜
en
tokenizer
(
n
)
➜
en
tokenizes
(
v
)
➜
en
tokenizing
(
v
)
➜
en
untokenized
(
a
)
➜
Word forms
en
tokenise
➜
en
tokenise
(
v
)
➜
en
tokenize
(
v
)
➜
en
tokenized
(
v
)
➜
en
tokenize
(
v
)
➜
en
tokenizes
(
v
)
➜
en
tokenizing
➜
en
tokenizing
(
v
)
➜
Derived terms
en
detokenize
➜
en
retokenize
➜
en
tokenizable
➜
en
tokenizable
➜
en
tokenizer
➜
en
tokenize
(
v
)
➜
Synonyms
ja
トークン化
(
n
)
➜
Derived from
en
token
➜
Context of this term
en
computing
➜
Links to other resources
en.wiktionary.org
tokenize
fr.wiktionary.org
tokenize