ConceptNet 5: tokenization

Related terms

en tokenize ➜
en tokenize ^(v) ➜
en tokenisation ⁽ⁿ⁾ ➜
en tokenizer ➜
fr parsage ➜
fr token ➜
fr tokenisation ➜
en tokenizer ⁽ⁿ⁾ ➜

Word forms

en tokenisation ⁽ⁿ⁾ ➜
en tokenizations ⁽ⁿ⁾ ➜
fr tokenisation ➜

Derived terms

en detokenization ➜
en retokenization ➜

Derived from

en token ➜
en token ⁽ⁿ⁾ ➜

Synonyms

fr tokenisation ⁽ⁿ⁾ ➜

Links to other resources

en.wiktionary.org tokenization
fr.wiktionary.org tokenization