メインコンテンツまでスキップ

Standard アナライザー

standard アナライザーは Zilliz Cloud のデフォルトのアナライザーであり、アナライザーが指定されていない場合はテキストフィールドに自動的に適用されます。standard トークナイザーと lowercase フィルターを組み合わせています。

📘Notes

standard アナライザーは、単語の境界を区切るために区切り文字(スペースや句読点など)を使用する言語に適しています。ただし、中国語、アラビア語、タイ語、日本語、韓国語などの言語では、言語固有のトークン化または正規化が必要です。そのような場合は、chinese、arabic、thai などの言語固有のアナライザー、または lindera や icu などの特化したトークナイザーを備えたカスタムアナライザーを使用してください。

定義​

standard アナライザーは、次のコンポーネントで構成されています。

  • Tokenizer: standard トークナイザーを使用して、連続する Unicode 文字と数字をトークンに保持し、その他の文字で分割します。正確な文字規則については、Standard Tokenizer を参照してください。

  • Filter: lowercase フィルターを使用してすべてのトークンを小文字に変換し、大文字と小文字を区別しない検索を可能にします。詳細については、Lowercase を参照してください。

standard アナライザーの機能は、次のカスタムアナライザー構成と同等です。

python
analyzer_params = {
"tokenizer": "standard",
"filter": ["lowercase"]
}

設定​

standard アナライザーをフィールドに適用するには、analyzer_params で type を standard に設定し、必要に応じてオプションパラメーターを含めます。

python
analyzer_params = {
"type": "standard", # Specifies the standard analyzer type
}

standard アナライザーは、次のオプションパラメーターを受け付けます。

パラメーター

説明

stop_words

トークン化から削除されるストップワードのリストを含む配列です。受け入れられる値については、Stop を参照してください。

カスタムストップワードの設定例:

python
analyzer_params = {
"type": "standard", # Specifies the standard analyzer type
"stop_words": ["of"] # Optional: List of words to exclude from tokenization
}

analyzer_params を定義した後、コレクションスキーマを定義する際に、これらを VARCHAR フィールドに適用できます。これにより、Zilliz Cloud は指定したアナライザーを使用してそのフィールドのテキストを処理し、効率的なトークン化とフィルタリングを実行できます。詳細については、使用例 を参照してください。

例​

アナライザー構成をコレクションスキーマに適用する前に、run_analyzer メソッドを使用してその動作を確認してください。

アナライザー構成​

python
analyzer_params = {
"type": "standard", # Standard analyzer configuration
"stop_words": ["for"] # Optional: Custom stop words parameter
}

run_analyzer を使用した検証​

python
from pymilvus import (
MilvusClient,
)

client = MilvusClient(
uri="YOUR_CLUSTER_ENDPOINT",
token="YOUR_CLUSTER_TOKEN"
)

# Sample text to analyze
sample_text = "The Milvus vector database is built for scale!"

# Run the standard analyzer with the defined configuration
result = client.run_analyzer(sample_text, analyzer_params)
print("Standard analyzer output:", result)

期待される出力​

サンプルテキストに対して、アナライザーは次のトークンを順番に生成します。SDK の応答オブジェクトと出力形式は言語によって異なります。REST 応答では、これらのトークンが data.results[].tokens[].token に含まれています。

plaintext
['the', 'milvus', 'vector', 'database', 'is', 'built', 'scale']
このページは役に立ちましたか?