トークナイザーリファレンス
Public Preview

このセクションでは、トークナイザーの詳細なリファレンスを提供します。

標準トークナイザー [READ MORE]

Zilliz Cloudの標準トークナイザー（`standard`）Zilliz Cloudは、スペースと句読点に基づいてテキストを分割するため、ほとんどの言語に適しています。

ホワイトスペーストークナイザ（`whitespace`）は、単語の間にスペースがあるときにテキストを用語に分割します。

ジエバトークナイザ（`jieba`）は、中国語のテキストを構成語に分解して処理します。