メインコンテンツまでスキップ

言語識別子

language_identifier は、言語解析プロセスを自動化することで Zilliz Cloud のテキスト検索機能を強化するために設計された専用トークナイザーです。主な機能は、テキストフィールドの言語を検出し、その言語に最適な事前構成済みのアナライザーを動的に適用することです。これは、多種多様な言語を扱うアプリケーションに特に役立ち、入力ごとに手動で言語を割り当てる必要がなくなります。

テキストデータを適切な処理パイプラインにインテリジェントにルーティングすることで、language_identifier は多言語データの取り込みを効率化し、その後の検索および取得操作に向けて正確なトークン化を保証します。

言語検出ワークフロー​

language_identifier はテキスト文字列を処理するために一連のステップを実行します。このワークフローは、正しく構成する方法を理解するうえで重要です。

NZcFw5PuxhQcl1bUG60cS54QnMu

  1. 入力: ワークフローは、テキスト文字列を入力として開始します。

  2. 言語検出: この文字列はまず言語検出エンジンに渡され、エンジンが言語の識別を試みます。Zilliz Cloud は whatlang と lingua の 2 つのエンジンをサポートしています。

  3. アナライザーの選択:

    • 成功時: 言語が正常に検出されると、システムは検出された言語名に対応するアナライザーが analyzers ディクショナリに構成されているかどうかを確認します。一致するものが見つかると、システムは指定されたアナライザーを入力テキストに適用します。たとえば、検出された「Mandarin」のテキストは jieba トークナイザーにルーティングされます。

    • フォールバック: 検出に失敗した場合、または言語の検出には成功したもののその言語に固有のアナライザーを提供していない場合、システムは事前構成済みの default アナライザー にデフォルト設定します。これは重要な補足です。default アナライザーは、検出の失敗と一致するアナライザーが存在しない場合の両方に対するフォールバックです。

適切なアナライザーが選択されると、テキストはトークン化および処理され、ワークフローが完了します。

利用可能な言語検出エンジン​

Zilliz Cloud は 2 つの言語検出エンジンから選択できます。

選択は、アプリケーションの特定のパフォーマンスと精度の要件によって異なります。

エンジン速度精度出力形式最適な用途
whatlang高速ほとんどの言語に適しています言語名（例: "English", "Mandarin", "Japanese"）
参照: サポートされている言語表の Language 列		速度が重要なリアルタイムアプリケーション
lingua低速高い精度、特に短いテキストに適しています英語の言語名（例: "English", "Chinese", "Japanese"）
参照: サポートされている言語のリスト		速度よりも精度が重要なアプリケーション

重要な考慮点は、エンジンの命名規則です。両方のエンジンは言語名を英語で返しますが、一部の言語では異なる用語を使用します（例: whatlang は Mandarin を返し、lingua は Chinese を返します）。アナライザーのキーは、選択した検出エンジンが返す名前と完全に一致している必要があります。

構成​

language_identifier トークナイザーを正しく使用するには、その構成を定義して適用するために次のステップを実行する必要があります。

ステップ 1: 言語とアナライザーを選択する​

language_identifier の設定の核心は、サポートする予定の特定の言語に合わせてアナライザーを調整することです。システムは検出された言語を正しいアナライザーと照合して動作するため、このステップは正確なテキスト処理にとって重要です。

以下は、言語を適切な Zilliz Cloud アナライザーにマッピングするための推奨事項です。この表は、言語検出エンジンの出力と最適なツールをつなぐ役割を果たします。

言語（検出器の出力）推奨アナライザー説明
Englishtype: englishステミングとストップワードのフィルタリングを備えた標準の英語トークン化です。
Mandarin（whatlang 経由）または Chinese（lingua 経由）tokenizer: jiebaスペースで区切られていないテキストの中国語単語分割です。
Japanesetokenizer: icu日本語を含む複雑な文字体系に対応する堅牢なトークナイザーです。
Frenchtype: standard, filter: ["lowercase", "asciifolding"]フランス語のアクセントと文字を処理するカスタム構成です。
Notes

  • 一致が重要: アナライザーの名前は、検出エンジンの言語出力と完全に一致している必要があります。たとえば、whatlang を使用している場合、中国語テキストのキーは Mandarin である必要があります。

  • ベストプラクティス: 上の表は、いくつかの一般的な言語に対する推奨構成を示していますが、網羅的なリストではありません。アナライザーの選択に関するより包括的なガイドについては、ユースケースに合ったアナライザーの選択 を参照してください。

  • 検出器の出力: 検出エンジンが返す言語名の完全なリストについては、Whatlang がサポートする言語表 および Lingua がサポートする言語リスト を参照してください。

ステップ 2: analyzer_params を定義する​

Zilliz Cloud で language_identifier トークナイザーを使用するには、次の主要なコンポーネントを含むディクショナリを作成します。

必須コンポーネント:

  • analyzers 構成セット – すべてのアナライザー構成を含むディクショナリで、次を含める必要があります:

    • default – 言語検出に失敗した場合、または一致するアナライザーが見つからない場合に使用されるフォールバックアナライザー

    • 言語固有のアナライザー – それぞれ <analyzer_name>: <analyzer_config> として定義され、次のとおりです:

      • analyzer_name は、選択した検出エンジンの出力と一致します（例: "English", "Japanese"）

      • analyzer_config は標準のアナライザーパラメーター形式に従います（アナライザーの概要 を参照）

オプションのコンポーネント:

  • identifier – 使用する言語検出エンジン（whatlang または lingua）を指定します。指定しない場合は whatlang がデフォルトになります

  • mapping – アナライザーのカスタムエイリアスを作成し、検出エンジンの正確な出力形式の代わりに説明的な名前を使用できるようにします

このトークナイザーは、まず入力テキストの言語を検出し、次に構成から適切なアナライザーを選択して動作します。検出に失敗した場合、または一致するアナライザーが存在しない場合は、自動的に default アナライザーにフォールバックします。

アナライザー名は、選択した言語検出エンジンの出力と完全に一致させる必要があります。この方法はよりシンプルで、混乱を招く可能性を回避できます。

whatlang と lingua の両方で、それぞれのドキュメントに示されている言語名を使用します。

python
analyzer_params = {
    "tokenizer": {
        "type": "language_identifier",  # Must be `language_identifier`
        "identifier": "whatlang",  # or `lingua`
        "analyzers": {  # A set of analyzer configs
            "default": {
                "tokenizer": "standard"  # fallback if language detection fails
            },
            "English": {  # Analyzer name that matches whatlang output
                "type": "english"
            },
            "Mandarin": {  # Analyzer name that matches whatlang output
                "tokenizer": "jieba"
            }
        }
    }
}

代替アプローチ: mapping によるカスタム名​

カスタムアナライザー名を使用したい場合、または既存の構成との互換性を維持する必要がある場合は、mapping パラメーターを使用できます。これによりアナライザーのエイリアスが作成され、元の検出エンジン名とカスタム名の両方が機能します。

python
analyzer_params = {
    "tokenizer": {
        "type": "language_identifier",
        "identifier": "lingua",
        "analyzers": {
            "default": {
                "tokenizer": "standard"
            },
            "english_analyzer": {  # Custom analyzer name
                "type": "english"
            },
            "chinese_analyzer": {  # Custom analyzer name
                "tokenizer": "jieba"
            }
        },
        "mapping": {
            "English": "english_analyzer",   # Maps detection output to custom name
            "Chinese": "chinese_analyzer"
        }
    }
}

analyzer_params を定義したら、コレクションスキーマを定義するときにそれを VARCHAR フィールドに適用できます。これにより、Zilliz Cloud は指定されたアナライザーを使用してそのフィールド内のテキストを処理し、効率的なトークン化とフィルタリングを行うことができます。詳細については、使用例 を参照してください。

例​

ここでは、一般的なシナリオですぐに使用できる構成をいくつか紹介します。各例には構成と検証コードの両方が含まれているため、セットアップをすぐにテストできます。

英語と中国語の検出​

python
from pymilvus import MilvusClient

# Configuration
analyzer_params = {
    "tokenizer": {
        "type": "language_identifier",
        "identifier": "whatlang",
        "analyzers": {
            "default": {"tokenizer": "standard"},
            "English": {"type": "english"},
            "Mandarin": {"tokenizer": "jieba"}
        }
    }
}

# Test the configuration
client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

# English text
result_en = client.run_analyzer("The Milvus vector database is built for scale!", analyzer_params)
print("English:", result_en)
# Output: 
# English: ['The', 'Milvus', 'vector', 'database', 'is', 'built', 'for', 'scale']

# Chinese text  
result_cn = client.run_analyzer("Milvus向量数据库专为大规模应用而设计", analyzer_params)
print("Chinese:", result_cn)
# Output: 
# Chinese: ['Milvus', '向量', '数据', '据库', '数据库', '专', '为', '大规', '规模', '大规模', '应用', '而', '设计']

アクセント正規化付きのヨーロッパ言語​

python
# Configuration for French, German, Spanish, etc.
analyzer_params = {
    "tokenizer": {
        "type": "language_identifier",
        "identifier": "lingua",
        "analyzers": {
            "default": {"tokenizer": "standard"},
            "English": {"type": "english"},
            "French": {
                "tokenizer": "standard",
                "filter": ["lowercase", "asciifolding"]
            }
        }
    }
}

# Test with accented text
client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

result_fr = client.run_analyzer("Café français très délicieux", analyzer_params)
print("French:", result_fr)
# Output: 
# French: ['cafe', 'francais', 'tres', 'delicieux']

使用上の注意​

  • フィールドごとに単一言語: フィールドを単一の均質なテキスト単位として操作します。異なるデータレコード間で異なる言語を処理するように設計されています。たとえば、あるレコードに英語の文が含まれ、次のレコードにフランス語の文が含まれる場合などです。

  • 混在言語文字列の非サポート: 複数の言語のテキストを含む単一の文字列を処理するようには設計されていません。たとえば、英語の文と引用された日本語のフレーズの両方を含む単一の VARCHAR フィールドは、単一言語として処理されます。

  • 支配的な言語の処理: 言語が混在するシナリオでは、検出エンジンは支配的な言語を識別する可能性が高く、対応するアナライザーがテキスト全体に適用されます。その結果、埋め込まれた外国語のテキストはトークン化が不十分になるか、まったくトークン化されなくなります。

このページは役に立ちましたか？
Ctrl I