アナライザー
テキスト処理において、アナライザーは生のテキストを構造化された検索可能な形式に変換する重要なコンポーネントです。各アナライザーは通常、2つのコア要素:トークナイザーとフィルターで構成されています。これらは一緒に動作して入力テキストをトークンに変換し、これらのトークンを洗練させ、効率的なインデックス作成と検索の準備を行います。この章では、Zilliz Cloudでアナライザーを使用する際の詳細情報を提供します。
Overview [READ MORE]
テキスト処理において、アナライザーは生のテキストを構造化された検索可能な形式に変換する重要なコンポーネントです。各アナライザーは通常、2つのコア要素(トークナイザーとフィルター)で構成されています。これらは一緒に動作して入力テキストをトークンに変換し、これらのトークンを洗練させ、効率的なインデックス作成と検索の準備を行います。
Built-in Analyzer [READ MORE]
このセクションは、組み込みアナライザーに関する詳細情報を提供します。
Tokenizer [READ MORE]
このセクションは、トークナイザーの詳細なリファレンスを提供します。
Filter [READ MORE]
このセクションは、アナライザー内のフィルターの詳細なリファレンスを提供します。
多言語アナライザー [READ MORE]
Zilliz Cloudがテキスト分析を実行する際、通常はコレクション内のテキストフィールド全体にわたって単一のアナライザーを適用します。そのアナライザーが英語向けに最適化されている場合、中国語、スペイン語、フランス語など他の言語に必要なはるかに異なるトークン化および語幹抽出のルールに対応できず、recall率が低下します。たとえば、「teléfono」(意味:「電話」)というスペイン語の検索では、英語中心のアナライザーがアクセントを削除し、スペイン語固有の語形変化処理を行わず、関連する結果を見逃す可能性があります。
Best Practice [READ MORE]
このガイドは、Zilliz Cloudでテキストコンテンツに最も適したアナライザーを選択して構成するのに役立ちます。