メインコンテンツまでスキップ

言語識別子

language_identifier は、言語分析プロセスを自動化することで、Zilliz Cloud のテキスト検索機能を強化するために設計された専用のトークナイザーです。主な機能は、テキストフィールドの言語を検出し、その言語に最も適した事前設定済みのアナライザーを動的に適用することです。これは、さまざまな言語を扱うアプリケーションに特に役立ち、入力ごとに言語を手動で割り当てる必要をなくします。

テキストデータを適切な処理パイプラインにインテリジェントにルーティングすることで、language_identifier は多言語データの取り込みを効率化し、後続の検索および取得操作に正確なトークン化を保証します。

言語検出ワークフロー​

language_identifier は、テキスト文字列を処理するために一連のステップを実行します。このワークフローは、正しく構成する方法をユーザーが理解するうえで重要です。

NZcFw5PuxhQcl1bUG60cS54QnMu

  1. 入力： ワークフローは、テキスト文字列を入力として開始します。

  2. 言語検出： この文字列はまず言語検出エンジンに渡され、エンジンが言語の識別を試みます。Zilliz Cloud は whatlang と lingua の 2 つのエンジンをサポートしています。

  3. アナライザーの選択：

    • 成功： 言語が正常に検出された場合、システムは検出された言語名に対応するアナライザーが analyzers ディクショナリに構成されているかどうかを確認します。一致が見つかると、システムは指定されたアナライザーを入力テキストに適用します。たとえば、検出された "Mandarin" テキストは jieba トークナイザーにルーティングされます。

    • フォールバック： 検出に失敗した場合、または言語は正常に検出されたもののその言語に対応するアナライザーを指定していない場合、システムは事前構成済みの default アナライザー をデフォルトで使用します。これは明確にしておくべき重要な点です。default アナライザーは、検出の失敗と一致するアナライザーの欠如の両方に対するフォールバックです。

適切なアナライザーが選択されると、テキストはトークン化および処理され、ワークフローが完了します。

利用可能な言語検出エンジン​

Zilliz Cloud では、2 つの言語検出エンジンから選択できます：

選択は、アプリケーションの具体的なパフォーマンスと精度の要件によって異なります。

エンジン速度精度出力形式最適な用途
whatlang高速ほとんどの言語で良好言語名（例："English"、"Mandarin"、"Japanese"）
リファレンス： Language column in supported languages table		速度が重要なリアルタイムアプリケーション
lingua低速より高い精度（特に短いテキスト）英語の言語名（例："English"、"Chinese"、"Japanese"）
リファレンス： Supported languages list		速度よりも精度が重要なアプリケーション

エンジンの命名規則は重要な考慮事項です。両方のエンジンは言語名を英語で返しますが、一部の言語では異なる用語を使用します（例：whatlang は Mandarin を返し、lingua は Chinese を返します）。アナライザーのキーは、選択した検出エンジンが返す名前と完全に一致する必要があります。

構成​

language_identifier トークナイザーを正しく使用するには、その構成を定義して適用するために次のステップを実行する必要があります。

ステップ 1: 言語とアナライザーを選択する​

language_identifier の設定の中核は、サポートする予定の特定の言語にアナライザーを合わせて調整することです。システムは、検出された言語を正しいアナライザーと照合することで機能するため、このステップは正確なテキスト処理に不可欠です。

以下は、言語を適切な Zilliz Cloud アナライザーにマッピングするための推奨事項です。この表は、言語検出エンジンの出力と最適なツールをつなぐ役割を果たします。

言語（検出器の出力）推奨アナライザー説明
Englishtype: englishステミングとストップワードフィルタリングを備えた標準の英語トークン化。
Mandarin（whatlang 経由）または Chinese（lingua 経由）tokenizer: jiebaスペースで区切られていないテキストに対する中国語の単語分割。
Japanesetokenizer: icu日本語を含む複雑な文字体系に対応する堅牢なトークナイザー。
Frenchtype: standard, filter: ["lowercase", "asciifolding"]フランス語のアクセントと文字を処理するカスタム構成。
Notes

  • 一致が重要： アナライザーの名前は、検出エンジンの言語出力と完全に一致する必要があります。たとえば、whatlang を使用している場合、中国語テキストのキーは Mandarin である必要があります。

  • ベストプラクティス： 上の表には一般的な言語の推奨構成をいくつか示していますが、完全なリストではありません。アナライザーの選択に関するより包括的なガイドについては、ユースケースに適したアナライザーを選択する を参照してください。

  • 検出器の出力：検出エンジンが返す言語名の完全なリストについては、Whatlang supported languages table と Lingua supported languages list を参照してください。

ステップ 2: analyzer_params を定義する​

Zilliz Cloud で language_identifier トークナイザーを使用するには、次の主要なコンポーネントを含むディクショナリを作成します：

必須コンポーネント：

  • analyzers 構成セット – すべてのアナライザー構成を含むディクショナリ。次のものを含める必要があります：

    • default – 言語検出が失敗した場合、または一致するアナライザーが見つからない場合に使用されるフォールバックアナライザー

    • 言語固有のアナライザー – それぞれ <analyzer_name>: <analyzer_config> として定義されます。ここで：

      • analyzer_name は、選択した検出エンジンの出力と一致します（例："English"、"Japanese"）

      • analyzer_config は標準のアナライザーパラメーター形式に従います（アナライザーの概要 を参照）

オプションコンポーネント：

  • identifier – 使用する言語検出エンジン（whatlang または lingua）を指定します。指定しない場合、デフォルトは whatlang です

  • mapping – アナライザーのカスタムエイリアスを作成し、検出エンジンの正確な出力形式の代わりにわかりやすい名前を使用できるようにします

トークナイザーは、まず入力テキストの言語を検出し、次に構成から適切なアナライザーを選択することで動作します。検出に失敗した場合、または一致するアナライザーが存在しない場合は、自動的に default アナライザーにフォールバックします。

アナライザー名は、選択した言語検出エンジンの出力と完全に一致している必要があります。この方法はより簡単で、潜在的な混乱を避けることができます。

whatlang と lingua の両方について、それぞれのドキュメントに示されている言語名を使用します：

python
analyzer_params = {
    "tokenizer": {
        "type": "language_identifier",  # Must be `language_identifier`
        "identifier": "whatlang",  # or `lingua`
        "analyzers": {  # A set of analyzer configs
            "default": {
                "tokenizer": "standard"  # fallback if language detection fails
            },
            "English": {  # Analyzer name that matches whatlang output
                "type": "english"
            },
            "Mandarin": {  # Analyzer name that matches whatlang output
                "tokenizer": "jieba"
            }
        }
    }
}

代替方法: マッピングを使用したカスタム名​

カスタムのアナライザー名を使用する場合、または既存の構成との互換性を維持する必要がある場合は、mapping パラメーターを使用できます。これによりアナライザーのエイリアスが作成され、元の検出エンジン名とカスタム名の両方が機能します。

python
analyzer_params = {
    "tokenizer": {
        "type": "language_identifier",
        "identifier": "lingua",
        "analyzers": {
            "default": {
                "tokenizer": "standard"
            },
            "english_analyzer": {  # Custom analyzer name
                "type": "english"
            },
            "chinese_analyzer": {  # Custom analyzer name
                "tokenizer": "jieba"
            }
        },
        "mapping": {
            "English": "english_analyzer",   # Maps detection output to custom name
            "Chinese": "chinese_analyzer"
        }
    }
}

analyzer_params を定義した後、コレクションスキーマを定義する際に VARCHAR フィールドに適用できます。これにより、Zilliz Cloud は指定されたアナライザーを使用してそのフィールド内のテキストを処理し、効率的なトークン化とフィルタリングを実行できます。詳細については、Example use を参照してください。

例​

一般的なシナリオですぐに使用できる構成をいくつか示します。各例には構成と検証コードの両方が含まれているため、セットアップをすぐにテストできます。

英語と中国語の検出​

python
from pymilvus import MilvusClient

# Configuration
analyzer_params = {
    "tokenizer": {
        "type": "language_identifier",
        "identifier": "whatlang",
        "analyzers": {
            "default": {"tokenizer": "standard"},
            "English": {"type": "english"},
            "Mandarin": {"tokenizer": "jieba"}
        }
    }
}

# Test the configuration
client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

# English text
result_en = client.run_analyzer("The Milvus vector database is built for scale!", analyzer_params)
print("English:", result_en)
# Output: 
# English: ['The', 'Milvus', 'vector', 'database', 'is', 'built', 'for', 'scale']

# Chinese text  
result_cn = client.run_analyzer("Milvus向量数据库专为大规模应用而设计", analyzer_params)
print("Chinese:", result_cn)
# Output: 
# Chinese: ['Milvus', '向量', '数据', '据库', '数据库', '专', '为', '大规', '规模', '大规模', '应用', '而', '设计']

アクセント正規化を使用するヨーロッパ言語​

python
# Configuration for French, German, Spanish, etc.
analyzer_params = {
    "tokenizer": {
        "type": "language_identifier",
        "identifier": "lingua",
        "analyzers": {
            "default": {"tokenizer": "standard"},
            "English": {"type": "english"},
            "French": {
                "tokenizer": "standard",
                "filter": ["lowercase", "asciifolding"]
            }
        }
    }
}

# Test with accented text
client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

result_fr = client.run_analyzer("Café français très délicieux", analyzer_params)
print("French:", result_fr)
# Output: 
# French: ['cafe', 'francais', 'tres', 'delicieux']

使用上の注意​

  • フィールドごとに単一言語： フィールドを単一の均質なテキスト単位として処理します。異なるデータレコード間で異なる言語を処理できるように設計されています。たとえば、あるレコードに英語の文が含まれ、次のレコードにフランス語の文が含まれる場合です。

  • 混合言語の文字列には非対応： 複数の言語のテキストを含む単一の文字列を処理するようには設計されていません。たとえば、英語の文と引用された日本語のフレーズの両方を含む単一の VARCHAR フィールドは、単一の言語として処理されます。

  • 支配的な言語の処理： 混合言語のシナリオでは、検出エンジンは支配的な言語を識別する可能性が高く、対応するアナライザーがテキスト全体に適用されます。その結果、埋め込まれた外国語のテキストはトークン化が不十分になるか、まったく行われなくなります。

このページは役に立ちましたか？
Ctrl I