メインコンテンツまでスキップ
バージョン: User Guides (BYOC)

Lowercase

lowercase フィルターは、トークナイザーによって生成された語彙を小文字に変換し、検索を大文字・小文字を区別しないものにします。たとえば、["High", "パフォーマンス", "Vector", "データベース"]["high", "performance", "vector", "database"] に変換できます。

設定

lowercase フィルターは Zilliz Cloud に組み込まれています。これを使用するには、analyzer_params 内の filter セクションでその名前を指定するだけです。

analyzer_params = {
"tokenizer": "standard",
"filter": ["lowercase"],
}

lowercase フィルターはトークナイザーによって生成された語彙項(term)に対して動作するため、トークナイザーと組み合わせて使用する必要があります。

analyzer_params を定義した後、コレクションスキーマを定義する際に VARCHAR フィールドに適用できます。これにより、Zilliz Cloud はそのフィールド内のテキストを指定されたアナライザーを使って処理し、効率的なトークン化およびフィルタリングを実現します。詳細については、使用例を参照してください。

コレクションスキーマにアナライザー設定を適用する前に、run_analyzer メソッドを使用してその動作を確認してください。

アナライザー設定

analyzer_params = {
"tokenizer": "standard",
"filter": ["lowercase"],
}

run_analyzer を使用した検証

from pymilvus import (
MilvusClient,
)

client = MilvusClient(
uri="YOUR_CLUSTER_ENDPOINT",
token="YOUR_CLUSTER_TOKEN"
)

# Sample text to analyze
sample_text = "The Lowercase Filter Ensures Uniformity In Text Processing."

# Run the standard analyzer with the defined configuration
result = client.run_analyzer(sample_text, analyzer_params)
print("Standard analyzer output:", result)

期待される出力

['the', 'lowercase', 'filter', 'ensures', 'uniformity', 'in', 'text', 'processing']