📘 このページは機械翻訳された日本語版です。内容に誤りがございましたら、報告していただけると助かります。

標準トークナイザー

Public Preview

Zilliz Cloudの標準トークナイザー（standard）Zilliz Cloudは、スペースと句読点に基づいてテキストを分割するため、ほとんどの言語に適しています。

コンフィギュレーション{#}

アナライザーを標準トークナイザーで設定するには、analyzer_paramsでトークナイザーをstandardに設定します。

Python

analyzer_params = {
    "tokenizer": "standard",
}

Java

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");

以下のコードは、標準トークナイザーと小文字フィルターを組み合わせて動作するアナライザーを定義しています。例えば、

Python

analyzer_params = {
    "tokenizer": "standard",
    "filter": ["lowercase"]
}

Java

Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("lowercase"));

📘ノート

設定を簡単にするには、標準アナライザを使用します。これは、標準トークナイザと小文字フィルターを組み合わせたものです。

検光子_paramsを定義した後、コレクションスキーマを定義する際にVARCHARフィールドに適用することができます。これにより、Zilliz Cloudは、指定されたアナライザを使用してそのフィールドのテキストを処理し、効率的なトークン化とフィルタリングを行うことができます。詳細は、使用例を参照してください。

出力の例{#}

以下は、標準トークナイザーがテキストを処理する方法の例です。

オリジナルテキスト:

"The Milvus vector database is built for scale!"

予想される出力:

["The", "Milvus", "vector", "database", "is", "built", "for", "scale"]