アナライザー
テキスト処理において、アナライザーは生のテキストを構造化された検索可能な形式に変換する重要なコンポーネントです。各アナライザーは通常、2つのコア要素から構成されます:トークナイザーとフィルター。これらは一緒に、入力テキストをトークンに変換し、これらのトークンを洗練させて、効率的なインデックス作成と検索の準備を行います。この章では、Zilliz Cloudでのアナライザーの使用に関する詳細情報を提供します。
概要 [READ MORE]
テキスト処理において、アナライザーは生のテキストを構造化された検索可能な形式に変換する重要なコンポーネントです。各アナライザーは通常、2つのコア要素から構成されます:トークナイザーとフィルター。これらは一緒に、入力テキストをトークンに変換し、これらのトークンを洗練させて、効率的なインデックス作成と検索の準備を行います。
Built-in Analyzer [READ MORE]
このセクションでは、組み込みアナライザーについての詳細情報を提供します。
Tokenizer [READ MORE]
このセクションでは、トークナイザーの詳細リファレンスを提供します。
Filter [READ MORE]
このセクションでは、アナライザーのフィルターの詳細リファレンスを提供します。
多言語アナライザー [READ MORE]
Zilliz Cloudがテキスト分析を実行する際、通常は1つのアナライザーをコレクション内のテキストフィールド全体に適用します。そのアナライザーが英語に最適化されている場合、中国語、スペイン語、フランス語などの他の言語に必要な非常に異なるトークナイズおよびステミングの規則に対応できず、リコール率が低下します。たとえば、スペイン語の単語「teléfono」(「phone」の意味)の検索は英語中心のアナライザーでは失敗します。アクセントを削除し、スペイン語固有のステミングを適用しないため、関連する結果が見過ごされます。
ベストプラクティス [READ MORE]
このガイドは、Zilliz Cloudでテキストコンテンツに最も適したアナライザーを選択および構成する方法を説明します。