メインコンテンツまでスキップ
バージョン: User Guides (Cloud)

基本ベクトル検索

ソートされたベクトル埋め込みの順序を記録したインデックスファイルに基づいて、近似最近傍（ANN）検索は、受信した検索リクエストに含まれるクエリーベクトルに基づいてベクトル埋め込みのサブセットを特定し、クエリーベクトルをサブグループ内のベクトルと比較し、最も類似する結果を返します。ANN検索により、Zilliz Cloudは効率的な検索体験を提供します。このページでは、基本的なANN検索の実施方法を学ぶことができます。

概要​

ANNおよびk近傍法（kNN）検索は、ベクトル類似度検索の一般的な手法です。kNN検索では、検索リクエストに含まれるクエリーベクトルとベクトル空間内のすべてのベクトルを比較して最も類似するものを見つける必要があり、時間がかかりリソースを消費します。

kNN検索とは異なり、ANN検索アルゴリズムでは、ベクトル埋め込みのソート順序を記録したインデックスファイルを要求します。検索リクエストが入ると、インデックスファイルを参照として使用し、クエリーベクトルに最も類似するベクトル埋め込みを含む可能性のあるサブグループを素早く特定できます。その後、指定されたメトリックタイプを使用してクエリーベクトルとサブグループ内のベクトルとの類似度を測定し、クエリーベクトルとの類似度に基づいてグループメンバーをソートし、top-Kグループメンバーを決定します。

ANN検索は事前に構築されたインデックスに依存しており、検索スループット、メモリ使用量、検索の正確性は選択するインデックスタイプによって異なります。検索性能と正確性のバランスを取る必要があります。

学習曲線を低減するため、Zilliz CloudはAUTOINDEXを提供しています。AUTOINDEXにより、Zilliz Cloudはインデックス構築時にコレクション内のデータ分布を分析し、分析に基づいて検索性能と正確性のバランスを取る最も最適化されたインデックスパラメータを設定できます。

AUTOINDEXおよび適用可能なメトリックタイプの詳細については、AUTOINDEXの説明およびメトリックタイプを参照してください。このセクションでは、以下のトピックに関する詳細情報を確認できます：

ANN検索において、単一ベクトル検索は1つのクエリーベクトルのみを含む検索を指します。事前に構築されたインデックスと検索リクエストに含まれるメトリックタイプに基づき、Zilliz Cloudはクエリーベクトルに最も類似するtop-Kベクトルを見つけます。

このセクションでは、単一ベクトル検索の実施方法を学びます。検索リクエストは単一のクエリーベクトルを持ち、Zilliz Cloudが内積（IP）を使用してクエリーベクトルとコレクション内のベクトルとの類似度を計算し、最も類似する3つを返すように要求します。

from pymilvus import MilvusClient

client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

# 4. 単一ベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = client.search(
    collection_name="quick_setup",
    anns_field="vector",
    data=[query_vector],
    limit=3,
    search_params={"metric_type": "IP"}
)

for hits in res:
    for hit in hits:
        print(hit)

# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {}
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {}
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {}
#         }
#     ]
# ]

Milvusは、検索結果をクエリーベクトルとの類似度スコアの降順でランク付けします。類似度スコアはクエリーベクトルとの距離とも呼ばれます。その値の範囲は使用中のメトリックタイプによって異なります。

以下の表は、使用可能なメトリックタイプと対応する距離の範囲を示しています。

メトリックタイプ

特徴

距離の範囲

L2

値が小さいほど類似度が高い。

[0, ∞)

IP

値が大きいほど類似度が高い。

[-1, 1]

COSINE

値が大きいほど類似度が高い。

[-1, 1]

JACCARD

値が小さいほど類似度が高い。

[0, 1]

HAMMING

値が小さいほど類似度が高い。

[0, dim(vector)]

同様に、検索リクエストに複数のクエリーベクトルを含めることができます。Zilliz Cloudはクエリーベクトルに対して並列でANN検索を実行し、2つの結果セットを返します。

# 7. 複数ベクトルでの検索
# 7.1. クエリーベクトルの準備
query_vectors = [
    [0.041732933, 0.013779674, -0.027564144, -0.013061441, 0.009748648],
    [0.0039737443, 0.003020432, -0.0006188639, 0.03913546, -0.00089768134]
]

# 7.2. 検索開始
res = client.search(
    collection_name="quick_setup",
    data=query_vectors,
    limit=3,
)

for hits in res:
    print("TopK results:")
    for hit in hits:
        print(hit)

# Output
#
# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {}
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {}
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {}
#         }
#     ],
#     [
#         {
#             "id": 730,
#             "distance": 0.04431751370429993,
#             "entity": {}
#         },
#         {
#             "id": 333,
#             "distance": 0.04231833666563034,
#             "entity": {}
#         },
#         {
#             "id": 232,
#             "distance": 0.04221535101532936,
#             "entity": {}
#         }
#     ]
# ]

パーティション内でのANN検索​

コレクションに複数のパーティションを作成した場合、検索範囲を特定の数のパーティションに制限することができます。この場合、検索リクエストにターゲットパーティション名を含め、指定されたパーティション内での検索範囲を制限できます。検索に含まれるパーティション数を減らすことで検索性能が向上します。

以下のコードスニペットでは、コレクション内にPartitionAという名前のパーティションが存在すると仮定しています。

# 4. 単一ベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = client.search(
    collection_name="quick_setup",
    partition_names=["partitionA"],
    data=[query_vector],
    limit=3,
)

for hits in res:
    print("TopK results:")
    for hit in hits:
        print(hit)

# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {}
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {}
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {}
#         }
#     ]
# ]

出力フィールドの使用​

検索結果において、Zilliz Cloudはデフォルトでtop-Kベクトル埋め込みを含むエンティティの主キー値と類似度の距離/スコアを含めます。検索リクエストで出力フィールドとしてターゲットフィールド（ベクトルフィールドとスカラー フィールドの両方）の名前を含めることで、検索結果がこれらのエンティティの他のフィールドの値を含むようにできます。

# 4. 単一ベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # 返す結果の数
    search_params={"metric_type": "IP"}，
    output_fields=["color"]
)

print(res)

# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {
#                 "color": "orange_6781"
#             }
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {
#                 "color": "red_4794"
#             }
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {
#                 "color": "grey_8510"
#             }
#         }
#     ]
# ]

limitとoffsetの使用​

検索リクエストに含まれるパラメータlimitは、検索結果に含めるエンティティの数を決定します。このパラメータは単一検索で返すエンティティの最大数を指定し、通常top-Kと呼ばれます。

ページネーションされたクエリを実行したい場合、ループを使用して複数の検索リクエストを送信できます。各クエリリクエストにはLimitおよびOffsetパラメータを含めます。具体的には、Limitパラメータを現在のクエリ結果に含めたいエンティティの数に設定し、Offsetを既に返されたエンティティの総数に設定します。

以下の表は、1回に100エンティティを返す場合のページネーションクエリにおけるLimitおよびOffsetパラメータの設定方法を示しています。

クエリ

クエリごとの返却エンティティ数

これまでに返された合計エンティティ数

第1クエリ

100

0

第2クエリ

100

100

第3クエリ

100

200

第nクエリ

100

100 x (n-1)

単一のANN検索におけるlimitとoffsetの合計は16,384未満である必要があります。

# 4. 単一ベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # 返す結果の数
    search_params={
        "metric_type": "IP",
        "offset": 10 # スキップするレコード
    }
)

levelの使用​

ANN検索を最適化するため、Zilliz Cloudは検索精度を制御するためにlevelという名前のパラメータを提供し、簡略化された検索最適化を実現します。

このパラメータは1から10の範囲で、デフォルトは1です。値を大きくすると検索の再現率が向上しますが、検索性能は低下します。一般的なケースでは、デフォルト値で最大90%の再現率を達成できます。必要に応じて値を大きくすることができます。

📘注意

levelパラメータは現在もパブリックプレビュー中です。5より大きい値に設定できない場合、クラスターがこの機能を完全にサポートしていない可能性があります。回避策として、代わりに1から5の範囲内の値に設定するか、Zilliz Cloudサポートまでお問い合わせください。

# 4. 単一ベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # 返す結果の数
    search_params={
        "params": {
            "level": 10 # 精度制御
        }
    }
)

再現率の取得​

levelパラメータを調整するときにenable_recall_calculationをtrueに設定すると、異なるlevel値を持つ検索の精度を評価できます。

📘注意

enable_recall_calculationパラメータは現在もパブリックプレビュー中であり、互換性の問題により使用できない場合があります。支援が必要な場合は、Zilliz Cloudサポートまでお問い合わせください。

# 4. 単一ベクトル検索
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # 返す結果の数
    search_params={
        "params": {
            "level": 10 # 精度制御,
            "enable_recall_calculation": True # 再現率の返却を要求
        }
    }
)

AUTOINDEXはANN検索の学習曲線を大幅に低減します。ただし、top-Kを増加させると検索結果が常に正確であるとは限りません。検索範囲を縮小し、検索結果の関連性を向上させ、検索結果を多様化させることで、Zilliz Cloudは以下の検索強化機能を実現しています。

  • フィルタリング検索

    検索リクエストにフィルタリング条件を含めることで、Zilliz CloudがANN検索の前にメタデータフィルタリングを実行し、検索範囲をコレクション全体から指定されたフィルタリング条件に一致するエンティティのみに削減できます。

    メタデータフィルタリングおよびフィルタリング条件の詳細については、フィルタリング検索およびフィルタリングを参照してください。

  • 範囲検索

    返されるエンティティの距離またはスコアを特定の範囲内に制限することで、検索結果の関連性を向上できます。Zilliz Cloudでは、範囲検索はクエリーベクトルに最も類似するベクトル埋め込みを中心として2つの同心円を描くことによって行われます。検索リクエストは両方の円の半径を指定し、Zilliz Cloudは外側の円内にあり内側の円にはないすべてのベクトル埋め込みを返します。

    範囲検索の詳細については、範囲検索を参照してください。

  • グループ検索

    返されるエンティティが特定のフィールドで同じ値を持つ場合、検索結果がベクトル空間内のすべてのベクトル埋め込みの分布を表さない可能性があります。検索結果の多様化を図るには、グループ検索の使用を検討してください。

    グループ検索の詳細については、グループ検索を参照してください。

  • ハイブリッド検索

    コレクションには、異なる埋め込みモデルを使用して生成されたベクトル埋め込みを保存するために複数のベクトルフィールドを含めることができます。これにより、ハイブリッド検索を使用してこれらのベクトルフィールドからの検索結果を再ランク付けし、再現率を向上させることができます。

    ハイブリッド検索の詳細については、ハイブリッド検索を参照してください。

    コレクションで許可されるベクトルフィールド数の制限については、Zilliz Cloudの制限を参照してください。

  • 検索イテレータ

    単一のANN検索は最大16,384個のエンティティを返します。単一検索でより多くのエンティティを返す必要がある場合は、検索イテレータの使用を検討してください。

    検索イテレータの詳細については、検索イテレータを参照してください。

  • フルテキスト検索

    フルテキスト検索は、テキストデータセット内の特定の用語や語句を含むドキュメントを検索し、関連性に基づいて結果をランク付けする機能です。この機能により、セマンティック検索の限界（正確な用語を見逃す可能性がある）を克服し、最も正確で文脈に即した結果を得ることができます。また、生のテキスト入力を受け入れ、手動でベクトル埋め込みを生成する必要なく、自動的にテキストデータをスパース埋め込みに変換することで、ベクトル検索を簡略化します。

    フルテキスト検索の詳細については、全文検索を参照してください。

  • テキストマッチ

    Zilliz Cloudのキーワードマッチは、特定の用語に基づいてドキュメントを正確に検索します。この機能は主に特定の条件を満たすためのフィルタリング検索で使用され、スカラー フィルタリングを組み合わせてクエリ結果を絞り込み、スカラー基準を満たすベクトル内の類似性検索を可能にします。

    キーワードマッチの詳細については、キーワードマッチを参照してください。

  • パーティションキーの使用

    メタデータフィルタリングに複数のスカラーフィールドを含め、複雑なフィルタリング条件を使用すると検索効率に影響を与える可能性があります。スカラーフィールドをパーティションキーとして設定し、検索リクエストでパーティションキーを含むフィルタリング条件を使用すると、指定されたパーティションキー値に対応するパーティション内に検索範囲を制限できます。

    パーティションキーの詳細については、パーティションキーの使用を参照してください。

  • mmapの使用

    mmap設定の詳細については、mmapの使用を参照してください。