メインコンテンツまでスキップ
バージョン: User Guides (BYOC)

グループ検索

グループ検索を使用すると、Zilliz Cloud は指定されたフィールドの値に基づいて検索結果をグループ化し、より上位レベルでデータを集約できます。たとえば、基本的な ANN 検索を使用して現在の書籍に類似した書籍を見つけることができますが、グループ検索を使用すれば、その書籍で取り上げられているトピックに関連する書籍カテゴリを特定できます。本トピックでは、グループ検索の使用方法と重要な考慮事項について説明します。

概要​

検索結果内のエンティティがスカラー型フィールドにおいて同じ値を共有している場合、それらは特定の属性において類似していることを示しており、これは検索結果に悪影響を及ぼす可能性があります。

コレクション内に複数のドキュメント（docId で識別）が格納されていると仮定します。ドキュメントをベクトルに変換する際に可能な限り多くのセマンティック情報を保持するために、各ドキュメントはより小さく扱いやすい段落（または チャンク）に分割され、個別のエンティティとして保存されます。ドキュメントが小さなセクションに分割されていても、ユーザーは通常、自分のニーズに最も関連性の高いドキュメントを特定することに関心を持っています。

LhJEwzWiphLWxobMaiCcbVDPnNb

このようなコレクションに対して近似最近傍（ANN）検索を実行すると、検索結果に同一ドキュメントからの複数の段落が含まれる可能性があり、他のドキュメントが見落とされる恐れがあります。これはユースケースの目的と一致しない場合があります。

Ktj8wigrHhvz4nbDES5coKZJnZe

検索結果の多様性を向上させるために、検索リクエストに group_by_field パラメータを追加してグループ検索を有効化できます。図に示すように、group_by_field を docId に設定できます。このリクエストを受け取ると、Zilliz Cloud は以下の処理を行います。

  • 提供されたクエリベクトルに基づいて ANN 検索を実行し、クエリに最も類似したすべてのエンティティを検出します。

  • 指定された group_by_field（例：docId）に基づいて検索結果をグループ化します。

  • 各グループから最も類似度の高いエンティティを、limit パラメータで定義された数だけ返します。

📘Notes

デフォルトでは、グループ検索は各グループにつき1つのエンティティのみを返します。group_size パラメータおよび strict_group_size パラメータを使用することで、各グループから返す結果の数を増やすことができます。

このセクションでは、グループ検索の使用方法を示すためのコード例を提供します。以下の例では、コレクションに id、vector、chunk、および docId の各フィールドが含まれていることを前提としています。

[
        {"id": 0, "vector": [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592], "chunk": "pink_8682", "docId": 1},
        {"id": 1, "vector": [0.19886812562848388, 0.06023560599112088, 0.6976963061752597, 0.2614474506242501, 0.838729485096104], "chunk": "red_7025", "docId": 5},
        {"id": 2, "vector": [0.43742130801983836, -0.5597502546264526, 0.6457887650909682, 0.7894058910881185, 0.20785793220625592], "chunk": "orange_6781", "docId": 2},
        {"id": 3, "vector": [0.3172005263489739, 0.9719044792798428, -0.36981146090600725, -0.4860894583077995, 0.95791889146345], "chunk": "pink_9298", "docId": 3},
        {"id": 4, "vector": [0.4452349528804562, -0.8757026943054742, 0.8220779437047674, 0.46406290649483184, 0.30337481143159106], "chunk": "red_4794", "docId": 3},
        {"id": 5, "vector": [0.985825131989184, -0.8144651566660419, 0.6299267002202009, 0.1206906911183383, -0.1446277761879955], "chunk": "yellow_4222", "docId": 4},
        {"id": 6, "vector": [0.8371977790571115, -0.015764369584852833, -0.31062937026679327, -0.562666951622192, -0.8984947637863987], "chunk": "red_9392", "docId": 1},
        {"id": 7, "vector": [-0.33445148015177995, -0.2567135004164067, 0.8987539745369246, 0.9402995886420709, 0.5378064918413052], "chunk": "grey_8510", "docId": 2},
        {"id": 8, "vector": [0.39524717779832685, 0.4000257286739164, -0.5890507376891594, -0.8650502298996872, -0.6140360785406336], "chunk": "white_9381", "docId": 5},
        {"id": 9, "vector": [0.5718280481994695, 0.24070317428066512, -0.3737913482606834, -0.06726932177492717, -0.6980531615588608], "chunk": "purple_4976", "docId": 3},
]

検索リクエストでは、group_by_field と output_fields の両方を docId に設定します。Zilliz Cloud は指定されたフィールドで結果をグループ化し、各グループから最も類似度の高いエンティティを返します。返される各エンティティには docId の値が含まれます。

from pymilvus import MilvusClient

client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

query_vectors = [
    [0.14529211512077012, 0.9147257273453546, 0.7965055218724449, 0.7009258593102812, 0.5605206522382088]]

# Group search results
res = client.search(
    collection_name="my_collection",
    data=query_vectors,
    limit=3,
    group_by_field="docId",
    output_fields=["docId"]
)

# Retrieve the values in the `docId` column
doc_ids = [result['entity']['docId'] for result in res[0]]

上記のリクエストにおいて、limit=3 はシステムが3つのグループから検索結果を返すことを示しており、各グループにはクエリベクトルに対して最も類似度の高い単一のエンティティが含まれます。

グループサイズの設定​

デフォルトでは、Grouping Search は各グループにつき1つのエンティティのみを返します。グループごとに複数の結果を取得したい場合は、group_size パラメータおよび strict_group_size パラメータを調整してください。

# Group search results

res = client.search(
    collection_name="my_collection", 
    data=query_vectors, # query vector
    limit=5, # number of groups to return
    group_by_field="docId", # grouping field
    group_size=2, # p to 2 entities to return from each group
    strict_group_size=True, # return exact 2 entities from each group
    output_fields=["docId"]
)

上記の例では、以下のようになります。

  • group_size: グループごとに返すエンティティ数を指定します。例えば、group_size=2 と設定すると、各グループ（または各 docId）につき、最も類似する段落（またはチャンク）を2つ返すことを意味します。group_size が設定されていない場合、システムはデフォルトで各グループから1つの結果を返します。

  • strict_group_size: このブール値パラメータは、group_size で設定された数を厳密に適用するかどうかを制御します。strict_group_size=True の場合、システムは各グループ（例：2つの段落）に group_size で指定された正確な数のエンティティを含めるように試みます。ただし、そのグループ内に十分なデータが存在しない場合は除きます。デフォルト（strict_group_size=False）では、システムは各グループに group_size 分のエンティティを含めることよりも、limit パラメータで指定されたグループ数を満たすことを優先します。このアプローチは、データ分布が不均一な場合に一般的により効率的です。

その他のパラメータの詳細については、search を参照してください。

考慮事項​

  • グループ数: limit パラメータは、検索結果を返すグループの数を制御します。これは各グループ内のエンティティ数を直接指定するものではありません。適切な limit を設定することで、検索結果の多様性やクエリ性能を調整できます。データが高密度に分布している場合やパフォーマンスが懸念される場合には、limit を小さくすることで計算コストを削減できます。

  • グループあたりのエンティティ数: group_size パラメータは、各グループから返されるエンティティ数を制御します。ユースケースに応じて group_size を調整することで、検索結果の豊かさを高めることができます。ただし、データが不均一に分布している場合、特にデータ量が限られているシナリオでは、一部のグループが group_size で指定された数よりも少ないエンティティを返すことがあります。

  • 厳密なグループサイズ: strict_group_size=True の場合、システムは各グループに対して指定された数（group_size）のエンティティを返そうと試みます。ただし、そのグループ内に十分なデータが存在しない場合は除きます。この設定により、各グループのエンティティ数の一貫性が保証されますが、データ分布が不均一であったりリソースが限られていたりする場合にはパフォーマンスが低下する可能性があります。厳密なエンティティ数が必要ない場合は、strict_group_size=False に設定することでクエリ速度を向上させることができます。

  • クエリベクトルがすでにターゲットコレクション内に存在する場合は、検索前にそれらを取得する代わりに ids を使用することを検討してください。詳細については、Primary-キー Search を参照してください。