メインコンテンツまでスキップ

Index Build Level の調整

Zilliz Cloud では build_level というパラメータが導入されており、対象 collection に対してストレージ容量と検索再現率のバランスを取ることができます。利用頻度が低い collection や、より多くのストレージ容量が必要な collection では、再現率のわずかな低下と引き換えにストレージ容量を大幅に増やすことができ、その逆も可能です。このガイドでは、利用可能なオプションと、それらを使用して collection の index を構築する方法について説明します。

📘注記

この機能は現在 PUBLIC REVIEW 段階であり、以下の条件を満たす dedicated cluster のみに適用されます。

  • cluster が Performance-optimized、Capacity-optimized、Tiered-storage タイプであること

  • cluster が Milvus v2.6.x と互換性があること

この機能を試すために cluster をアップグレードできます。さらに確認が必要な点があれば、お気軽にお問い合わせください。

概要​

異なるタイプの Zilliz Cloud cluster では、公称ストレージ容量に大きな違いがあります。performance-optimized cluster 内の collection が低頻度利用向けである場合、または追加のストレージが必要な場合は、その collection 内の FLOAT_VECTOR、FLOAT16_VECTOR、BFLOAT16_VECTOR などの浮動小数点 vector 型の vector field に対して index を作成する際に、build_level を容量優先オプションに設定することを検討してください。これにより再現率はわずかに低下する可能性がありますが、ストレージ容量を 30% ～ 40% 向上させることができます。

build_level パラメータには、Precision-first (2)、Balanced (1)、Capacity-first (0) の 3 つのオプションがあります。

  • Balanced (1)

    これはデフォルトのオプションであり、ほとんどのシナリオにおいて検索精度とストレージ容量のバランスを取ります。

  • Precision-first (2)

    このオプションは検索性能と高い再現率を優先し、高精度が求められる collection に適しています。

  • Capacity-first (0)

    このオプションはストレージ容量を重視し、追加のストレージ容量が必要な collection に適しています。

社内ベンチマークテストで示されているように、デフォルトのオプションは cluster のタイプに関係なく、すべての cluster のストレージ容量を向上させます。performance-optimized cluster では、デフォルトのオプションによりストレージ容量が 60% 向上し、性能（QPS）も 17% 改善されます。

Performance-optimized clusters​

以下の表は、build_level の導入前後における performance-optimized cluster の容量、QPS、および再現率を比較したものです。デフォルトオプションでは再現率を維持しながら、QPS とストレージ容量の両方が向上していることがわかります。

Build Level OptionCapacity (Per CU)QPSRecall
Capacity-first (0)768 次元 vector 500 万件~ 1,80090% - 95%
Balanced (1)768 次元 vector 200 万件~ 2,80091% - 97%
Precison-first (2)768 次元 vector 150 万件~ 2,90092% - 98% (↑)

Capacity-optimized clusters​

以下の表は、build_level の導入前後における capacity-optimized cluster の容量、QPS、および再現率を比較したものです。デフォルトオプションでは再現率を維持しながら、QPS とストレージ容量の両方が向上していることがわかります。

Build Level OptionCapacity (Per CU)QPSRecall
Capacity-first (0)768 次元 vector 1,200 万件~ 20089% - 97%
Balanced (1)768 次元 vector 800 万件~ 30093% - 98%
Precision-first (2)768 次元 vector 500 万件~ 35094% - 98%

Tiered-storage clusters​

データの大部分が S3 に保存されるため、メモリはもはや主要なボトルネックではありません。その結果、cluster の最大容量は比較的安定したままとなり、最も大きな影響を受けるのは Recall です。量子化レベルの違いにより、性能にもわずかな変動が生じます。

  • Balanced (1): これは現在の状態を表しており、性能は既存のベンチマークと整合しています。

  • Precision-first (2): Build Level を上げることで Recall が約 3%～4% 向上 しますが、QPS がわずかに低下し、レイテンシが少し増加します。

  • Capacity-first (0): 利点が小さいため、この構成はまれになると想定されます。容量は変わらない一方で、QPS とレイテンシのわずかな改善と引き換えに Recall が 3%～4% 低下 します。

制限事項​

操作を開始する前に、以下の制限事項を確認してください。

  • collection に index を作成する際、このパラメータは FLOAT_VECTOR、FLOAT16_VECTOR、BFLOAT16_VECTOR を含む浮動小数点 vector 型の vector field に設定する必要があります。

  • 一度設定すると、このパラメータは変更できません。ただし、必要に応じて index を削除し、目的の設定で再作成することは可能です。

  • migration または backup を行うと、build_level の設定は削除されます。migration または復元が完了した後、必要に応じて index を削除し、目的の設定で再作成できます。

手順​

ほとんどの場合、build_level を設定する必要はありません。デフォルト設定により、検索性能、精度、ストレージ容量のバランスを取ることができます。

Zilliz Cloud では、build_level をプログラムから設定することも、Zilliz Cloud コンソール上で設定することもできます。

build_level をプログラムから設定する​

build_level を設定するには、FLOAT_VECTOR、FLOAT16_VECTOR、BFLOAT16_VECTOR などの浮動小数点型の vector field を index 化する 際に指定する必要があります。

以下の例では、すでに collection を作成済みであることを前提としています。build_level を 1 に設定すると、Balanced オプションが適用されます。

python
# 4. Set up index
# 4.1. Set up the index parameters
index_params = MilvusClient.prepare_index_params()

# 4.2. Add an index on the vector field.
index_params.add_index(
    field_name="vector",
    metric_type="COSINE",
    index_type="AUTOINDEX",
    index_name="vector_index",
    build_level=1
)

# 4.4. Create an index file
client.create_index(
    collection_name="customized_setup",
    index_params=index_params
)

# 5. Describe index
res = client.list_indexes(
    collection_name="customized_setup"
)

Zilliz Cloud コンソールで build_level を設定する​

build_level をプログラムから設定する代わりに、collection を作成する際に Zilliz Cloud コンソール上で設定することもできます。

  1. 対象 cluster の Collection タブで + Create Collection をクリックします。

  2. Create Collection ページで、schema を設定します。

    vector field のデータ型が有効なオプションである FLOAT_VECTOR、FLOAT16_VECTOR、BFLOAT16_VECTOR のいずれかであることを確認してください。

  3. Create Index セクションで、Edit Index をクリックします。

  4. 表示された Edit Vector Index フィールドで、Metric Type と Index Build Level を設定できます。

Ctrl I