メインコンテンツまでスキップ

Elasticsearch クエリから Milvus へ

Apache Lucene を基盤とする Elasticsearch は、代表的なオープンソース検索エンジンです。ただし、更新コストの高さ、リアルタイム性能の低さ、非効率なシャード管理、クラウドネイティブではない設計、過剰なリソース需要など、現代の AI アプリケーションでは課題に直面します。クラウドネイティブなベクトルデータベースである Milvus は、ストレージとコンピューティングの分離、高次元データの効率的なインデックス作成、最新インフラストラクチャとのシームレスな統合により、これらの課題を克服します。AI ワークロードに対して優れた性能とスケーラビリティを提供します。

この記事では、コードベースを Elasticsearch から Milvus へ移行しやすくするため、両者間でクエリを変換するさまざまな例を紹介します。

概要​

Elasticsearch では、query コンテキストの操作は関連性スコアを生成しますが、filter コンテキストの操作は生成しません。同様に、Milvus の検索は類似度スコアを生成しますが、フィルターに類するクエリは生成しません。コードベースを Elasticsearch から Milvus へ移行する際の重要な原則は、Elasticsearch の query コンテキストで使用されるフィールドをベクトルフィールドに変換し、類似度スコアを生成できるようにすることです。

次の表は、Elasticsearch のクエリパターンの一部と、対応する Milvus の同等機能を示しています。

Elasticsearch クエリ

Milvus の同等機能

備考

全文クエリ

マッチクエリ

全文検索

どちらも同様の機能セットを提供します。

タームレベルクエリ

IDs

in 演算子

これらの Elasticsearch クエリを filter コンテキストで使用する場合、どちらも同一または同様の機能セットを提供します。

プレフィックスクエリ

like 演算子

レンジクエリ

>、<、>=、<= などの比較演算子

タームクエリ

== などの比較演算子

タームズクエリ

in 演算子

ワイルドカードクエリ

like 演算子

ブールクエリ

AND などの論理演算子

filter コンテキストで使用する場合、どちらも同様の機能セットを提供します。

ベクトルクエリ

kNN クエリ

検索

Milvus はより高度なベクトル検索機能を提供します。

Reciprocal Rank Fusion

ハイブリッド検索

Milvus は複数の再ランク付け戦略をサポートしています。

全文クエリ​

Elasticsearch では、全文クエリを使用すると、メール本文などの分析済みテキストフィールドを検索できます。クエリ文字列は、インデックス作成時にフィールドに適用されたものと同じアナライザーで処理されます。

マッチクエリ​

Elasticsearch では、マッチクエリは、指定されたテキスト、数値、日付、またはブール値に一致するドキュメントを返します。指定されたテキストは、照合前に分析されます。

以下は、マッチクエリを使用した Elasticsearch 検索リクエストの例です。

python
resp = client.search(
    query={
        "match": {
            "message": {
                "query": "this is a test"
            }
        }
    },
)

Milvus は全文検索機能を通じて同じ機能を提供します。上記の Elasticsearch クエリは、次のように Milvus に変換できます:

python
res = client.search(
    collection_name="my_collection",
    data=['How is the weather in Jamaica?'],
    anns_field="message_sparse",
    output_fields=["id", "message"]
)

上記の例では、message_sparse は message という名前の VarChar フィールドから派生したスパースベクトルフィールドです。Milvus は BM25 埋め込みモデルを使用して、message フィールドの値をスパースベクトル埋め込みに変換し、message_sparse フィールドに保存します。検索リクエストを受信すると、Milvus は同じ BM25 モデルを使用してプレーンテキストのクエリペイロードを埋め込み、スパースベクトル検索を実行し、output_fields パラメーターで指定された id フィールドと message フィールドを、対応する類似度スコアとともに返します。

この機能を使用するには、message フィールドでアナライザーを有効にし、そこから message_sparse フィールドを派生させる関数を定義する必要があります。Milvus でアナライザーを有効にして派生関数を作成する詳細な手順については、全文検索 を参照してください。

タームレベルクエリ​

Elasticsearch では、タームレベルクエリは、日付範囲、IP アドレス、価格、製品 ID など、構造化データ内の正確な値に基づいてドキュメントを検索するために使用されます。このセクションでは、Elasticsearch の一部のタームレベルクエリに対応する可能性のある Milvus の機能について説明します。このセクションのすべての例は、Milvus の機能に合わせて filter コンテキスト内で動作するように調整されています。

ID​

Elasticsearch では、次のようにして filter コンテキストで ID に基づいてドキュメントを検索できます:

python
resp = client.search(
    query={
        "bool": {
            "filter": {
                "ids": {
                    "values": [
                        "1",
                        "4",
                        "100"
                    ]
                }            
            }
        }
    },
)

Milvus でも、次のようにして ID に基づいてエンティティを検索できます:

python
# Use the filter parameter
res = client.query(
    collection_name="my_collection",
    filter="id in [1, 4, 100]",
    output_fields=["id", "title"]
)

# Use the ids parameter
res = client.query(
    collection_name="my_collection",
    ids=[1, 4, 100],
    output_fields=["id", "title"]
)

Elasticsearch の例は このページ にあります。Milvus のクエリおよび取得リクエストと、フィルター式の詳細については、クエリ および フィルタリングの説明 を参照してください。

プレフィックスクエリ​

Elasticsearch では、次のようにして filter コンテキストで指定されたフィールド内に特定のプレフィックスを含むドキュメントを検索できます:

python
resp = client.search(
    query={
        "bool": {
            "filter": {
                 "prefix": {
                    "user": {
                        "value": "ki"
                    }
                }           
            }
        }
    },
)

Milvus では、次のようにして値が指定されたプレフィックスで始まるエンティティを検索できます:

python
res = client.query(
    collection_name="my_collection",
    filter='user like "ki%"',
    output_fields=["id", "user"]
)

Elasticsearch の例は このページ にあります。Milvus の like 演算子の詳細については、パターンマッチングでの LIKE の使用 を参照してください。

レンジクエリ​

Elasticsearch では、次のようにして指定された範囲内のタームを含むドキュメントを検索できます:

python
resp = client.search(
    query={
        "bool": {
            "filter": {
                "range": {
                    "age": {
                        "gte": 10,
                        "lte": 20
                    }
                }           
            }
        }
    },
)

Milvus では、次のようにして特定のフィールドの値が指定された範囲内にあるエンティティを検索できます:

python
res = client.query(
    collection_name="my_collection",
    filter='10 <= age <= 20',
    output_fields=["id", "user", "age"]
)

Elasticsearch の例は このページ にあります。Milvus の比較演算子の詳細については、比較演算子 を参照してください。

タームクエリ​

Elasticsearch では、次のようにして指定されたフィールド内に完全一致するタームを含むドキュメントを検索できます:

python
resp = client.search(
    query={
        "bool": {
            "filter": {
                "term": {
                    "status": {
                        "value": "retired"
                    }
                }            
            }
        }
    },
)

Milvus では、次のようにして指定されたフィールドの値が指定されたタームと完全に一致するエンティティを検索できます:

python
# use ==
res = client.query(
    collection_name="my_collection",
    filter='status=="retired"',
    output_fields=["id", "user", "status"]
)

# use TEXT_MATCH
res = client.query(
    collection_name="my_collection",
    filter='TEXT_MATCH(status, "retired")',
    output_fields=["id", "user", "status"]
)

Elasticsearch の例は このページ にあります。Milvus の比較演算子の詳細については、比較演算子 を参照してください。

タームズクエリ​

Elasticsearch では、次のようにして指定されたフィールド内に 1 つ以上の完全一致するタームを含むドキュメントを検索できます:

python
resp = client.search(
    query={
        "bool": {
            "filter": {
                "terms": {
                    "degree": [
                        "graduate",
                        "post-graduate"
                    ]
                }        
            }
        }
    }
)

Milvus には、これに完全に相当する機能はありません。ただし、次のようにして指定されたフィールドの値が指定されたタームのいずれかであるエンティティを検索できます:

python
# use in
res = client.query(
    collection_name="my_collection",
    filter='degree in ["graduate", "post-graduate"]',
    output_fields=["id", "user", "degree"]
)

# use TEXT_MATCH
res = client.query(
    collection_name="my_collection",
    filter='TEXT_MATCH(degree, "graduate post-graduate")',
    output_fields=["id", "user", "degree"]
)

Elasticsearch の例は このページ にあります。Milvus の範囲演算子の詳細については、範囲演算子 を参照してください。

ワイルドカードクエリ​

Elasticsearch では、次のようにしてワイルドカードパターンに一致するタームを含むドキュメントを検索できます:

python
resp = client.search(
    query={
        "bool": {
            "filter": {
                "wildcard": {
                    "user": {
                        "value": "ki*y"
                    }
                }          
            }
        }
    },
)

Milvus では、フィルタリング条件でワイルドカードをサポートしていません。ただし、次のように like 演算子を使用して同様の効果を得られます:

python
res = client.query(
    collection_name="my_collection",
    filter='user like "ki%" AND user like "%y"',
    output_fields=["id", "user"]
)

Elasticsearch の例は このページ にあります。Milvus の範囲演算子の詳細については、範囲演算子 を参照してください。

ブールクエリ​

Elasticsearch では、ブールクエリは、他のクエリのブール組み合わせに一致するドキュメントを照合するクエリです。

次の例は、このページ にある Elasticsearch ドキュメントの例を基にしています。このクエリは、名前に kimchy を含み、production タグが付いたユーザーを返します。

python
resp = client.search(
    query={
        "bool": {
            "filter": {
                "term": {
                    "user": "kimchy"
                }
            },
            "filter": {
                "term": {
                    "tags": "production"
                }
            }
        }
    },
)

Milvus では、次のようにして同様のことができます:

python
res = client.query(
    collection_name="my_collection",
    filter='user like "%kimchy%" AND ARRAY_CONTAINS(tags, "production")',
    output_fields=["id", "user", "age", "tags"]
)

上記の例では、対象のコレクションに VarChar 型の user フィールドと Array 型の tags フィールドがあることを前提としています。このクエリは、名前に kimchy を含み、production タグが付いたユーザーを返します。

ベクトルクエリ​

Elasticsearch では、ベクトルクエリはベクトルフィールドを操作してセマンティック検索を効率的に実行するための専用クエリです。

kNN クエリ​

Elasticsearch は、近似 kNN クエリと、正確な総当たり kNN クエリの両方をサポートしています。次のように、どちらの方法でも、類似度メトリクスで測定されたクエリベクトルに最も近い k 個のベクトルを検索できます:

python
resp = client.search(
    index="my-image-index",
    size=3,
    query={
        "knn": {
            "field": "image-vector",
            "query_vector": [
                -5,
                9,
                -12
            ],
            "k": 10
        }
    },
)

Milvus は専用のベクトルデータベースとして、ベクトル検索を最適化するためにインデックスタイプを使用します。通常、高次元ベクトルデータには近似最近傍（ANN）検索を優先します。FLAT インデックスタイプを使用した総当たり kNN 検索は正確な結果を提供しますが、時間とリソースの両方が多くかかります。これに対し、AUTOINDEX やその他のインデックスタイプを使用した ANN 検索は速度と精度のバランスを取り、kNN よりも大幅に高速でリソース効率のよいパフォーマンスを提供します。インデックスタイプと AUTOINDEX の詳細については、インデックス および AUTOINDEX の説明 を参照してください。

上記のベクトルクエリに類似する Milvus の同等機能は次のとおりです:

python
res = client.search(
    collection_name="my_collection",
    anns_field="image_vector",
    data=[[-5, 9, -12]],
    limit=10
)

Elasticsearch の例は このページ にあります。Milvus の ANN 検索の詳細については、基本的な ANN 検索 を参照してください。

Reciprocal Rank Fusion​

Elasticsearch は、異なる関連性指標を持つ複数の結果セットを 1 つのランク付けされた結果セットに統合するための Reciprocal Rank Fusion（RRF）を提供しています。

次の例は、従来のタームベース検索と k 近傍法（kNN）ベクトル検索を組み合わせて検索の関連性を高める方法を示しています:

python
client.search(
    index="my_index",
    size=10,
    query={
        "retriever": {
            "rrf": {
                "retrievers": [
                    {
                        "standard": {
                            "query": {
                                "term": {
                                    "text": "shoes"
                                }
                            }
                        }
                    },
                    {
                        "knn": {
                            "field": "vector",
                            "query_vector": [1.25, 2, 3.5],  # Example vector; replace with your actual query vector
                            "k": 50,
                            "num_candidates": 100
                        }
                    }
                ],
                "rank_window_size": 50,
                "rank_constant": 20
            }
        }
    }
)

この例では、RRF が 2 つのレトリーバーの結果を統合します:

  • text フィールドに "shoes" というタームを含むドキュメントに対する標準的なタームベース検索。

  • 指定されたクエリベクトルを使用した vector フィールドに対する kNN 検索。

各レトリーバーは最大 50 件の上位一致を提供し、それらは RRF によって再ランク付けされ、最終的な上位 10 件の結果が返されます。

Milvus では、複数のベクトルフィールドにわたる検索を組み合わせ、再ランク付け戦略を適用し、統合されたリストから上位 K 件の結果を取得することで、同様のハイブリッド検索を実現できます。Milvus は RRF と重み付き再ランカー戦略の両方をサポートしています。詳細については、重み付きランカー とその関連ページを参照してください。

以下は、上記の Elasticsearch の例に対する Milvus の厳密には同等ではない対応例です。

python
from pymilvus import AnnSearchRequest, RRFRanker

search_params_dense = {
    "data": [[1.25, 2, 3.5]],
    "anns_field": "vector",
    "param": {"metric_type": "COSINE"},
    "limit": 100
}

req_dense = AnnSearchRequest(**search_params_dense)

search_params_sparse = {
    "data": ["shoes"],
    "anns_field": "text_sparse",
    "param": {"metric_type": "BM25"},
    "limit": 100
}

req_sparse = AnnSearchRequest(**search_params_sparse)

res = client.hybrid_search(
    collection_name="my_collection",
    reqs=[req_dense, req_sparse],
    ranker=RRFRanker(),
    limit=10
)

この例は、次を組み合わせた Milvus のハイブリッド検索を示しています:

  1. 密ベクトル検索: vector フィールドに対する近似最近傍（ANN）検索に内積（IP）メトリクスを使用します。

  2. スパースベクトル検索: text_sparse フィールドで BM25 類似度メトリクスを使用します。

これらの検索の結果は個別に実行され、統合された後、Reciprocal Rank Fusion（RRF）ランカーを使用して再ランク付けされます。ハイブリッド検索は、再ランク付けされたリストから上位 10 件のエンティティを返します。

標準的なテキストベースのクエリと kNN 検索の結果を統合する Elasticsearch の RRF ランキングとは異なり、Milvus はスパースベクトル検索と密ベクトル検索の結果を組み合わせ、マルチモーダルデータに最適化された独自のハイブリッド検索機能を提供します。

まとめ​

この記事では、タームレベルクエリ、ブールクエリ、全文クエリ、ベクトルクエリなど、一般的な Elasticsearch クエリを Milvus の同等機能に変換する方法について説明しました。他の Elasticsearch クエリの変換についてさらに質問がある場合は、お気軽にお問い合わせください。

このページは役に立ちましたか？
Ctrl I