メインコンテンツまでスキップ

基本ベクトル検索

ベクトル埋め込みのソート順を記録したインデックスファイルに基づいて、近似最近傍探索（ANN search）は、受信した検索リクエストに含まれるクエリベクトルに基づいてベクトル埋め込みのサブセットを特定し、そのサブグループ内のベクトルとクエリベクトルを比較して、最も類似した結果を返します。ANN search により、Zilliz Cloud は効率的な検索体験を提供します。このページでは、基本的な ANN search の実行方法を学べます。

📘注意

collection の作成後に新しい field を追加した場合、それらの field を含む検索では、明示的に値が設定されていない entity に対して、定義済みのデフォルト値または NULL が返されます。詳細については、Alter Collection Schema を参照してください。

Overview​

ANN と k-Nearest Neighbors（kNN）search は、ベクトル類似性検索で一般的に使われる手法です。kNN search では、最も類似したベクトルを特定する前に、ベクトル空間内のすべてのベクトルを検索リクエストに含まれるクエリベクトルと比較する必要があるため、時間がかかり、多くのリソースを消費します。

kNN search とは異なり、ANN search アルゴリズムでは、ベクトル埋め込みのソート順を記録した index ファイルが必要です。検索リクエストが到着すると、この index ファイルを参照して、クエリベクトルに最も類似したベクトル埋め込みを含む可能性が高いサブグループをすばやく特定できます。次に、指定された metric type を使用してクエリベクトルとそのサブグループ内のベクトルとの類似度を測定し、クエリに対する類似度に基づいてグループメンバーを並べ替え、top-K のグループメンバーを特定できます。

ANN search は事前構築された index に依存しており、検索スループット、メモリ使用量、検索の正確性は、選択する index type によって異なる場合があります。検索パフォーマンスと正確性のバランスを取る必要があります。

学習コストを下げるために、Zilliz Cloud は AUTOINDEX を提供しています。AUTOINDEX を使用すると、Zilliz Cloud は index の構築中に collection 内のデータ分布を分析し、その分析に基づいて最適化された index パラメータを設定し、検索パフォーマンスと正確性のバランスを取ります。

AUTOINDEX と適用可能な metric type の詳細については、AUTOINDEX Explained および Metric Types を参照してください。このセクションでは、以下のトピックに関する詳細情報を確認できます。

ANN search において、single-vector search とは、1 つのクエリベクトルのみを含む検索を指します。事前構築された index と検索リクエストに含まれる metric type に基づいて、Zilliz Cloud はクエリベクトルに最も類似した top-K ベクトルを見つけます。

このセクションでは、single-vector search の実行方法を学びます。検索リクエストには 1 つのクエリベクトルが含まれており、Zilliz Cloud に対して Inner Product（IP）を使用してクエリベクトルと collection 内のベクトルとの類似度を計算し、最も類似した 3 件を返すよう要求します。

📘注意

データプレーン RESTful API エンドポイントを呼び出す際は、username:password のように、対象 cluster のユーザー名とパスワードをコロン区切りで連結したものを認証トークンとして使用してください。

python
from pymilvus import MilvusClient

client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

# 4. Single vector search
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = client.search(
    collection_name="quick_setup",
    anns_field="vector",
    data=[query_vector],
    limit=3
)

for hits in res:
    for hit in hits:
        print(hit)

# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {}
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {}
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {}
#         }
#     ]
# ]

Milvus は、クエリベクトルに対する類似度スコアの降順で検索結果をランク付けします。類似度スコアはクエリベクトルまでの distance とも呼ばれ、その値の範囲は使用する metric type によって異なります。

以下の表に、適用可能な metric type と対応する distance の範囲を示します。

Metric TypeCharacteristicsDistance Range
L2値が小さいほど類似度が高いことを示します。[0, ∞)
IP値が大きいほど類似度が高いことを示します。[-1, 1]
COSINE値が大きいほど類似度が高いことを示します。[-1, 1]
JACCARD値が小さいほど類似度が高いことを示します。[0, 1]
HAMMING値が小さいほど類似度が高いことを示します。[0, dim(vector)]

同様に、複数のクエリベクトルを検索リクエストに含めることもできます。Zilliz Cloud はクエリベクトルに対して並列に ANN search を実行し、2 組の結果を返します。

python
# 7. Search with multiple vectors
# 7.1. Prepare query vectors
query_vectors = [
    [0.041732933, 0.013779674, -0.027564144, -0.013061441, 0.009748648],
    [0.0039737443, 0.003020432, -0.0006188639, 0.03913546, -0.00089768134]
]

# 7.2. Start search
res = client.search(
    collection_name="quick_setup",
    data=query_vectors,
    limit=3,
)

for hits in res:
    print("TopK results:")
    for hit in hits:
        print(hit)

# Output
#
# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {}
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {}
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {}
#         }
#     ],
#     [
#         {
#             "id": 730,
#             "distance": 0.04431751370429993,
#             "entity": {}
#         },
#         {
#             "id": 333,
#             "distance": 0.04231833666563034,
#             "entity": {}
#         },
#         {
#             "id": 232,
#             "distance": 0.04221535101532936,
#             "entity": {}
#         }
#     ]
# ]

クエリ vector を設定する代わりに、クエリ vector がすでに対象 collection に存在している場合は、主キーを使用できます。

python
res = client.search(
    collection_name="quick_setup",
    anns_field="vector",
    ids=[551, 296, 43],
    limit=3
)

for hits in res:
    for hit in hits:
        print(hit)

partition 内での ANN Search​

1 つの collection に複数の partition を作成している場合、検索範囲を特定の数の partition に絞り込めます。この場合、検索リクエストに対象 partition 名を含めることで、指定した partition 内に検索範囲を制限できます。検索に関与する partition 数を減らすことで、検索パフォーマンスが向上します。

以下のコードスニペットは、collection に PartitionA という名前の partition があることを前提としています。

python
# 4. Single vector search
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592]
res = client.search(
    collection_name="quick_setup",
    partition_names=["partitionA"],
    data=[query_vector],
    limit=3,
)

for hits in res:
    print("TopK results:")
    for hit in hits:
        print(hit)

# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {}
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {}
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {}
#         }
#     ]
# ]

Output Fields を使用する​

検索結果では、Zilliz Cloud はデフォルトで、上位 K 個の vector embedding を含む entity の主フィールド値と類似度 distance/score を含めます。検索結果にこれらの entity 内の他のフィールド値も含めたい場合は、vector フィールドと scalar フィールドの両方を含む対象フィールド名を、output fields として検索リクエストに含めることができます。

python
# 4. Single vector search
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # The number of results to return
    output_fields=["color"]
)

print(res)

# [
#     [
#         {
#             "id": 551,
#             "distance": 0.08821295201778412,
#             "entity": {
#                 "color": "orange_6781"
#             }
#         },
#         {
#             "id": 296,
#             "distance": 0.0800950899720192,
#             "entity": {
#                 "color": "red_4794"
#             }
#         },
#         {
#             "id": 43,
#             "distance": 0.07794742286205292,
#             "entity": {
#                 "color": "grey_8510"
#             }
#         }
#     ]
# ]

scalar フィールドで検索結果を並べ替える | ONDEMAND​

デフォルトでは、Zilliz Cloud は検索結果をクエリ vector に対する類似度スコア順に並べます。返される entity を scalar フィールドの順序に従わせたい場合は、検索リクエストに order_by_fields を追加します。

order_by_fields の各項目では、scalar フィールドと並べ替え方向を指定します。昇順には "asc"、降順には "desc" を使用します。order を省略した場合、Zilliz Cloud はそのフィールドを昇順で並べ替えます。

次の例では、検索結果を price の低い順に並べ替えます。レスポンス内でフィールド値を確認したい場合は、並べ替えフィールドを output_fields に含めてください。

python
res = client.search(
    collection_name="product_catalog",
    data=query_vectors,
    anns_field="embedding",
    limit=20,
    output_fields=["id", "price", "rating", "category"],
    order_by_fields=[
        {"field": "price", "order": "asc"}
    ],
)

複数の scalar フィールドで並べ替えることもできます。Zilliz Cloud は、指定した順序でフィールドを適用します。次の例では、Zilliz Cloud はまず price を昇順で並べ替えます。price が同じ entity については、その後 rating を降順で並べ替えます。

python
res = client.search(
    collection_name="product_catalog",
    data=query_vectors,
    anns_field="embedding",
    limit=20,
    output_fields=["id", "price", "rating", "category"],
    order_by_fields=[
        {"field": "price", "order": "asc"},
        {"field": "rating", "order": "desc"},
    ],
)

指定したすべての order-by フィールドで同じ値を持つ entity については、Zilliz Cloud は元の類似度スコア順を維持します。

Limit と Offset を使用する​

検索リクエストに含まれる limit パラメータは、検索結果に含める entity の数を決定します。このパラメータは、1 回の検索で返す entity の最大数を指定するもので、通常 top-K と呼ばれます。

ページネーション付きのクエリを実行したい場合は、ループを使って複数の Search リクエストを送信し、各クエリリクエストに Limit と Offset パラメータを含めることができます。具体的には、Limit パラメータには現在のクエリ結果に含めたい Entities の数を設定し、Offset にはすでに返された Entities の合計数を設定します。

以下の表は、一度に 100 Entities を返す場合に、ページネーション付きクエリで Limit と Offset パラメータをどのように設定するかを示しています。

クエリクエリごとに返す Entitiesこれまでに合計で返された Entities
1 回目のクエリ1000
2 回目のクエリ100100
3 回目のクエリ100200
n 回目のクエリ100100 x (n-1)

1 回の ANN 検索では、limit と offset の合計は 16,384 未満である必要がある点に注意してください。

python
# 4. Single vector search
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # The number of results to return
    search_params={
        "offset": 10 # The records to skip
    }
)

Level を使用する​

ANN 検索を最適化するために、Zilliz Cloud には、簡素化された検索最適化で検索精度を制御するための level というパラメータが用意されています。

このパラメータは 1 から 10 までの範囲で、デフォルト値は 1 です。値を大きくすると検索の再現率は向上しますが、その分検索パフォーマンスは低下します。一般的なケースでは、デフォルト値で最大 90% の再現率が得られます。必要に応じて値を増やすことができます。

📘注意

level パラメータは現在も Public Preview です。5 より大きい値に設定できない場合、使用している cluster がこの機能を完全にはサポートしていない可能性があります。回避策として、1 から 5 の範囲の値を設定するか、Zilliz Cloud support にお問い合わせください。

python
# 4. Single vector search
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # The number of results to return
    search_params={
        "params": {
            "level": 10 # The precision control
        }
    }
)

Recall Rate を取得する​

level パラメータを調整する際に enable_recall_calculation を true に設定すると、異なる level 値での検索精度を評価できます。

📘注意

enable_recall_calculation パラメータは現在も Public Preview であり、互換性の問題により使用できない場合があります。サポートが必要な場合は、Zilliz Cloud support までお問い合わせください。

python
# 4. Single vector search
query_vector = [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592],

res = client.search(
    collection_name="quick_setup",
    data=[query_vector],
    limit=3, # The number of results to return
    search_params={
        "params": {
            "level": 10 # The precision control,
            "enable_recall_calculation": True # Ask to return recall rate
        }
    }
)

collection に TIMESTAMPTZ フィールドがある場合、検索呼び出しで timezone パラメータを設定することで、単一の操作に対して database または collection のデフォルトタイムゾーンを一時的に上書きできます。これにより、操作中に TIMESTAMPTZ の値がどのように表示および比較されるかを制御できます。

timezone の値は、有効な IANA time zone identifier（たとえば Asia/Shanghai、America/Chicago、または UTC）である必要があります。TIMESTAMPTZ フィールドの使用方法の詳細については、TIMESTAMPTZ Field を参照してください。

以下の例は、検索操作に対して一時的にタイムゾーンを設定する方法を示しています。

python
res = client.search(
    collection_name="quick_setup",
    anns_field="vector",
    data=[query_vector],
    limit=3,
    timezone="America/Havana",
)

AUTOINDEX は ANN Search の学習コストを大幅に下げます。ただし、top-K が増加すると検索結果が常に正しいとは限りません。検索範囲を縮小し、検索結果の関連性を高め、検索結果を多様化するために、Zilliz Cloud は以下の検索強化機能を提供しています。

  • Filtered Search

    検索リクエストにフィルタリング条件を含めることで、Zilliz Cloud は ANN Search を実行する前にメタデータフィルタリングを行い、検索範囲を collection 全体から、指定されたフィルタリング条件に一致する entity のみに絞り込みます。

    メタデータフィルタリングとフィルタリング条件の詳細については、Filtered Search および Filtering Explained を参照してください。

  • Range Search

    返される entity の distance または score を特定の範囲内に制限することで、検索結果の関連性を向上できます。Zilliz Cloud では、range search は、クエリ vector に最も類似した vector embedding を中心として 2 つの同心円を描くことに相当します。検索リクエストでは両方の円の半径を指定し、Zilliz Cloud は外側の円の内側かつ内側の円の外側にあるすべての vector embedding を返します。

    range search の詳細については、Range Search を参照してください。

  • Grouping Search

    返された entity が特定のフィールドで同じ値を持つ場合、検索結果は vector space 内のすべての vector embedding の分布を適切に表していない可能性があります。検索結果を多様化するには、grouping search の使用を検討してください。

    grouping search の詳細については、Grouping Search を参照してください。

  • Hybrid Search

    collection には、異なる embedding model を使用して生成された vector embedding を保存するために、複数の vector フィールドを含めることができます。これにより、hybrid search を使用してこれらの vector フィールドからの検索結果を再ランキングし、recall rate を向上させることができます。

    hybrid search の詳細については、Hybrid Search を参照してください。

    collection で許可される vector フィールド数の制限の詳細については、Zilliz Cloud Limits を参照してください。

  • Search Iterator

    1 回の ANN Search で返される entity の最大数は 16,384 です。1 回の検索でさらに多くの entity を返す必要がある場合は、search iterator の使用を検討してください。

    search iterator の詳細については、Search Iterator を参照してください。

  • Full-Text Search

    Full text search は、テキストデータセット内で特定の用語またはフレーズを含むドキュメントを取得し、その後、関連性に基づいて結果をランク付けする機能です。この機能は、正確な用語を見落とす可能性がある semantic search の制限を克服し、最も正確で文脈に即した結果を得られるようにします。さらに、生テキスト入力を受け付け、テキストデータを自動的に sparse embedding に変換することで、vector embedding を手動で生成する必要をなくし、vector search を簡素化します。

    full-text search の詳細については、Full Text Search を参照してください。

  • Text Match

    Zilliz Cloud の keyword match は、特定の用語に基づいてドキュメントを正確に取得できるようにします。この機能は主に filtered search で特定の条件を満たすために使用され、scalar filtering を組み込んでクエリ結果を絞り込むことができるため、scalar 条件を満たす vector 内で similarity search を実行できます。

    keyword match の詳細については、Keyword Match を参照してください。

  • Use Partition Key

    メタデータフィルタリングで複数の scalar フィールドを含め、かなり複雑なフィルタリング条件を使用すると、検索効率に影響する可能性があります。scalar フィールドを partition key として設定し、検索リクエストで partition key を含むフィルタリング条件を使用すると、指定した partition key の値に対応する partition 内に検索範囲を制限するのに役立ちます。

    partition key の詳細については、Use Partition Key を参照してください。

  • Use mmap

    mmap-settings の詳細については、Use mmap を参照してください。

Ctrl I