メインコンテンツまでスキップ
バージョン: User Guides (BYOC)

基本ベクトル検索

ベクトル埋め込みのソートされた順序を記録したインデックスファイルに基づき、近似最近傍（ANN）検索は、受信した検索リクエストに含まれるクエリベクトルを基にベクトル埋め込みのサブセットを特定し、クエリベクトルとサブグループ内のベクトルを比較して最も類似した結果を返します。ANN検索により、Zilliz Cloudは効率的な検索体験を提供します。このページでは、基本的なANN検索の実行方法について学びます。

概要​

ANNおよびk-最近傍（kNN）検索は、ベクトル類似性検索の一般的な方法です。kNN検索では、検索リクエストに含まれるクエリベクトルとベクトル空間内のすべてのベクトルを比較して最も類似したものを見つける必要がありますが、これは時間とリソースを大量に消費します。

一方、ANN検索アルゴリズムは、ベクトル埋め込みのソートされた順序を記録したインデックスファイルを要求します。検索リクエストが送られてきた際には、インデックスファイルを参照としてクエリベクトルに最も類似したベクトル埋め込みを含みそうなサブグループを迅速に特定できます。その後、指定されたメトリックタイプを使用してクエリベクトルとサブグループ内のベクトル間の類似性を測定し、クエリベクトルとの類似性に基づいてグループメンバーをソートし、top-Kグループメンバーを特定します。

ANN検索は事前に構築されたインデックスに依存しており、選択するインデックスタイプによって検索スループット、メモリ使用量、検索の正確性は異なります。検索パフォーマンスと正確性のバランスを取る必要があります。

学習曲線を減らすために、Zilliz CloudはAUTOINDEXを提供します。AUTOINDEXにより、Zilliz Cloudはインデックス構築中にコレクション内のデータ分布を分析し、検索パフォーマンスと正確性のバランスを取るための最も最適化されたインデックスパラメータを分析に基づいて設定できます。

AUTOINDEXおよび適用可能なメトリックタイプの詳細については、AUTOINDEXの説明およびメトリックタイプを参照してください。このセクションでは、以下のトピックに関する詳細情報を確認できます：

ANN検索では、シングルベクトル検索とは、1つのクエリベクトルのみを含む検索を指します。事前に構築されたインデックスと検索リクエストに含まれるメトリックタイプに基づき、Zilliz Cloudはクエリベクトルに最も類似したtop-Kベクトルを探し出します。

このセクションでは、シングルベクトル検索の実施方法について学びます。検索リクエストは1つのクエリベクトルを含み、Zilliz Cloudに内積（IP）を使用してクエリベクトルとコレクション内のベクトル間の類似性を計算し、最も類似した3つを返すよう指示します。

from pymilvus import MilvusClient

client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

# 4. シングルベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = client.search(
    collection_name="quick_setup",
    anns_field="vector",
    data=[query_vector],
    limit=3,
    search_params={"metric_type": "IP"}
)

for hits in res:
    for hit in hits:
        print(hit)

# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {}
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {}
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {}
#         }
#     ]
# ]

Milvusは検索結果を類似性スコアに基づいてクエリベクトルとの距離で降順にランク付けします。類似性スコアはクエリベクトルとの距離とも呼ばれます。その値の範囲は使用するメトリックタイプによって異なります。

以下の表は、適用可能なメトリックタイプと対応する距離範囲を示しています。

メトリックタイプ

特性

距離範囲

L2

値が小さいほど類似性が高い。

[0, ∞)

IP

値が大きいほど類似性が高い。

[-1, 1]

COSINE

値が大きいほど類似性が高い。

[-1, 1]

JACCARD

値が小さいほど類似性が高い。

[0, 1]

HAMMING

値が小さいほど類似性が高い。

[0, dim(vector)]

同様に、検索リクエストに複数のクエリベクトルを含めることができます。Zilliz Cloudはクエリベクトルに対して並列にANN検索を実行し、2つの結果セットを返します。

# 7. 複数ベクトルでの検索
# 7.1. クエリベクトルを準備
query_vectors = [
    [0.041732933, 0.013779674, -0.027564144, -0.013061441, 0.009748648],
    [0.0039737443, 0.003020432, -0.0006188639, 0.03913546, -0.00089768134]
]

# 7.2. 検索開始
res = client.search(
    collection_name="quick_setup",
    data=query_vectors,
    limit=3,
)

for hits in res:
    print("TopK results:")
    for hit in hits:
        print(hit)

# Output
#
# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {}
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {}
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {}
#         }
#     ],
#     [
#         {
#             "id": 730,
#             "distance": 0.04431751370429993,
#             "entity": {}
#         },
#         {
#             "id": 333,
#             "distance": 0.04231833666563034,
#             "entity": {}
#         },
#         {
#             "id": 232,
#             "distance": 0.04221535101532936,
#             "entity": {}
#         }
#     ]
# ]

パーティションでのANN検索​

コレクション内に複数のパーティションを作成したとし、検索範囲を特定の数のパーティションに狭められるとします。その場合、検索リクエストにターゲットパーティション名を含めることで、指定されたパーティション内のみで検索範囲を制限できます。検索に関与するパーティションの数を減らすことで検索パフォーマンスが向上します。

以下のコードスニペットでは、コレクション内にPartitionAという名前のパーティションがあると仮定しています。

# 4. シングルベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = client.search(
    collection_name="quick_setup",
    partition_names=["partitionA"],
    data=[query_vector],
    limit=3,
)

for hits in res:
    print("TopK results:")
    for hit in hits:
        print(hit)

# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {}
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {}
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {}
#         }
#     ]
# ]

出力フィールドの使用​

検索結果において、Zilliz Cloudはデフォルトでtop-Kベクトル埋め込みを含むエンティティの主キーの値と類似性の距離/スコアを含みます。検索リクエストにターゲットフィールド（ベクトルフィールドとスカラフィールドの両方）の名前を出力フィールドとして含めることで、検索結果にこれらのエンティティの他のフィールドからの値を含めることができます。

# 4. シングルベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # The number of results to return
    search_params={"metric_type": "IP"}，
    output_fields=["color"]
)

print(res)

# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {
#                 "color": "orange_6781"
#             }
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {
#                 "color": "red_4794"
#             }
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {
#                 "color": "grey_8510"
#             }
#         }
#     ]
# ]

制限とオフセットの使用​

検索リクエストに含まれるlimitパラメータは、検索結果に含めるエンティティの数を決定します。このパラメータは、1回の検索で返されるエンティティの最大数を指定し、通常これはtop-Kと呼ばれます。

ページネーションクエリを実行したい場合は、それぞれのクエリリクエストに含まれる制限とオフセットパラメータを使用して複数の検索要求を送信するループを使用できます。具体的には、制限パラメータを現在のクエリ結果に含みたいエンティティの数に設定し、オフセットをすでに返されたエンティティの合計数に設定できます。

以下の表は、1回のクエリで100個のエンティティを返す場合のページネーションクエリの制限とオフセットパラメータの設定方法を説明しています。

クエリ

クエリ毎に返すエンティティ

これまでに返されたエンティティ総数

1番目のクエリ

100

0

2番目のクエリ

100

100

3番目のクエリ

100

200

n番目のクエリ

100

100 × (n-1)

1回のANN検索において、limitとoffsetの合計は16,384未満でなければなりません。

# 4. シングルベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # The number of results to return
    search_params={
        "metric_type": "IP",
        "offset": 10 # The records to skip
    }
)

レベルの使用​

ANN検索を最適化するために、Zilliz Cloudは検索精度を制御するパラメータとしてlevelを提供し、簡略化された検索最適化で検索を制御します。

このパラメータは1から10の範囲で、デフォルトは1です。値を大きくすると検索再現率が向上しますが、検索パフォーマンスが低下します。一般的な場合、デフォルト値では最大90％の再現率が得られます。必要に応じて値を大きくできます。

📘注釈

levelパラメータはまだパブリックプレビューです。5より大きな値に設定できない場合、クラスターがこの機能を完全にサポートしていない可能性があります。回避策として、代わりに1から5の範囲内の値に設定するか、Zilliz Cloudサポートにご連絡ください。

# 4. シングルベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # The number of results to return
    search_params={
        "params": {
            "level": 10 # The precision control
        }
    }
)

再検出率の取得​

levelパラメータを調整する際には、enable_recall_calculationをtrueに設定することで、異なるlevel値で検索の精度を評価できます。

📘注釈

enable_recall_calculationパラメータはまだパブリックプレビューであり、互換性の問題により使用できない可能性があります。支援が必要な場合は、Zilliz Cloudサポートまでお問い合わせください。

# 4. シングルベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # The number of results to return
    search_params={
        "params": {
            "level": 10 # The precision control,
            "enable_recall_calculation": True # Ask to return recall rate
        }
    }
)

AUTOINDEXはANN検索の学習曲線を相当平坦にしますが、top-Kが増えるにつれて検索結果が常に正しいとは限りません。検索範囲を狭め、検索結果の関連性を向上させ、検索結果の多様性を持たせることで、Zilliz Cloudは以下の検索強化を実施します。

  • フィルター検索

    検索リクエストにフィルタリング条件を含めることで、Zilliz CloudはANN検索の前にメタデータフィルタリングを行い、検索範囲をコレクション全体から指定されたフィルタリング条件に一致するエンティティのみに限定できます。

    メタデータフィルタリングとフィルタリング条件の詳細については、フィルター検索およびフィルタリングを参照してください。

  • 範囲検索

    返されたエンティティの距離またはスコアを特定の範囲内に制限することで、検索結果の関連性を改善できます。Zilliz Cloudでは、範囲検索はクエリベクトルに最も類似したベクトル埋め込みを中心に2つの同心円を描画することを含みます。検索リクエストでは両方の円の半径を指定し、Zilliz Cloudは外側の円に含まれるが内側の円には含まれないすべてのベクトル埋め込みを返します。

    範囲検索の詳細については、範囲検索を参照してください。

  • グループ化検索

    返されたエンティティが特定のフィールドで同じ値を持つ場合、検索結果がベクトル空間内のすべてのベクトル埋め込みの分布を表していない可能性があります。検索結果の多様性を持たせるために、グループ化検索の使用をご検討ください。

    グループ化検索の詳細については、グループ化検索を参照してください。

  • ハイブリッド検索

    コレクションには、異なる埋め込みモデルを使用して生成されたベクトル埋め込みを保存するために複数のベクトルフィールドを含めることができます。これにより、ハイブリッド検索を使用してこれらのベクトルフィールドの検索結果を再ランク付けし、再検出率を向上させることができます。

    ハイブリッド検索の詳細については、ハイブリッド検索を参照してください。

    コレクションで許可されるベクトルフィールド数の制限については、Zilliz Cloudの制限を参照してください。

  • 検索イテレータ

    1回のANN検索では最大16,384個のエンティティを返します。1回の検索でより多くのエンティティを返す必要がある場合は、検索イテレータの使用をご検討ください。

    検索イテレータの詳細については、検索イテレータを参照してください。

  • 全文検索

    全文検索は、テキストデータセット内の特定の用語や語句を含むドキュメントを検索し、結果を関連性に基づいてランク付けする機能です。この機能は、正確な用語を見逃す可能性のあるセマンティック検索の制限を克服し、最も正確で文脈的に関連性のある結果を受け取ることができます。さらに、生のテキスト入力を受け入れるだけでベクトル検索を簡素化し、手動でベクトル埋め込みを生成する必要なく、テキストデータをスパース埋め込みに自動的に変換します。

    全文検索の詳細については、全文検索を参照してください。

  • テキスト一致

    Zilliz Cloudのキーワード一致は、特定の用語に基づいたドキュメントの正確な検索を可能にします。この機能は主に特定の条件を満たすためにフィルター検索で使用され、クエリ結果を絞り込むためにスカラーフフィルタリングを組み込むことができ、スカラー基準を満たすベクトル内で類似性検索を可能にします。

    キーワード一致の詳細については、キーワード一致を参照してください。

  • パーティションキーの使用

    メタデータフィルタリングで複数のスカラーフィールドを使用したり、やや複雑なフィルタリング条件を使用したりすると、検索効率に影響を与える可能性があります。スカラーフィールドをパーティションキーとして設定し、検索リクエストでパーティションキーを含むフィルタリング条件を使用すると、指定されたパーティションキーフ値に対応するパーティション内での検索範囲の制限に役立つ可能性があります。

    パーティションキーの詳細については、パーティションキーの使用を参照してください。

  • mmapの使用

    mmap設定の詳細については、mmapの使用を参照してください。