メインコンテンツまでスキップ

整合性レベル

分散ベクトルデータベースである Zilliz Cloud は、読み取りおよび書き込み操作中に各ノードまたはレプリカが同じデータにアクセスできるようにするため、複数の整合性レベルを提供します。現在サポートされている整合性レベルには Strong、Bounded、Eventually、Session があり、デフォルトでは Bounded が使用されます。

概要​

Zilliz Cloud は、ストレージと計算を分離したシステムです。このシステムでは、DataNodes がデータの永続化を担当し、最終的に MinIO/S3 のような分散オブジェクトストレージに保存します。QueryNodes は Search のような計算タスクを処理します。これらのタスクには、バッチデータ と ストリーミングデータ の両方の処理が含まれます。簡単に言えば、バッチデータはすでにオブジェクトストレージに保存されているデータ、ストリーミングデータはまだオブジェクトストレージに保存されていないデータとして理解できます。ネットワーク遅延のため、QueryNodes は最新のストリーミングデータを保持していないことがよくあります。追加の保護策がなければ、ストリーミングデータに対して直接 Search を実行すると、多くの未コミットのデータポイントが失われ、検索結果の精度に影響する可能性があります。

UlOJwpWuKhj5LAbGSp9cwMFznEb

上図に示すように、QueryNodes は Search リクエストを受信した後、ストリーミングデータとバッチデータの両方を同時に受け取ることができます。ただし、ネットワーク遅延のため、QueryNodes が取得するストリーミングデータは不完全である可能性があります。

この問題に対処するため、Zilliz Cloud はデータキュー内の各レコードにタイムスタンプを付与し、同期タイムスタンプを継続的にデータキューへ挿入します。同期タイムスタンプ（syncTs）を受信すると、QueryNodes はそれを ServiceTime として設定します。つまり、QueryNodes はその ServiceTime より前のすべてのデータを参照できます。ServiceTime に基づいて、Zilliz Cloud は整合性と可用性に関するさまざまなユーザー要件を満たすための保証タイムスタンプ（GuaranteeTs）を提供できます。ユーザーは Search リクエストで GuaranteeTs を指定することで、特定時点以前のデータを検索範囲に含める必要があることを QueryNodes に伝えることができます。

Owddb7D3Fo8zyFxJgWWcZCxanIf

上図に示すように、GuaranteeTs が ServiceTime より小さい場合、指定時点より前のすべてのデータが完全にディスクへ書き込まれていることを意味し、QueryNodes は直ちに Search 操作を実行できます。GuaranteeTs が ServiceTime より大きい場合、QueryNodes は ServiceTime が GuaranteeTs を超えるまで待機してから Search 操作を実行する必要があります。

ユーザーは、クエリ精度とクエリ遅延の間でトレードオフを行う必要があります。高い整合性が必要でクエリ遅延に敏感でない場合は、GuaranteeTs をできるだけ大きな値に設定できます。検索結果をすばやく受け取りたい一方でクエリ精度にはある程度寛容である場合は、GuaranteeTs をより小さな値に設定できます。

Y9YabwvmjoWMXhxt9kRc8Atmnid

Zilliz Cloud は、異なる GuaranteeTs を持つ 4 種類の整合性レベルを提供します。

  • Strong

    最新のタイムスタンプが GuaranteeTs として使用され、QueryNodes は ServiceTime が GuaranteeTs を満たすまで待機してから Search リクエストを実行します。

  • Eventual

    GuaranteeTs は 1 などの非常に小さい値に設定され、整合性チェックを回避することで、QueryNodes はすべてのバッチデータに対して直ちに Search リクエストを実行できます。

  • Bounded Staleness

    GuranteeTs は最新タイムスタンプより前の時点に設定され、QueryNodes が一定のデータ損失を許容して検索を実行できるようにします。

  • Session

    クライアントがデータを挿入した最新時点が GuaranteeTs として使用され、QueryNodes はそのクライアントによって挿入されたすべてのデータに対して検索を実行できます。

Zilliz Cloud は、デフォルトの整合性レベルとして Bounded Staleness を使用します。GuaranteeTs が指定されていない場合は、最新の ServiceTime が GuaranteeTs として使用されます。

整合性レベルの設定​

collection を作成するとき、および Search や Query を実行するときに、異なる整合性レベルを設定できます。Search または Query に対して整合性レベルが指定されていない場合は、collection 作成時に指定した整合性レベルが適用されます。

collection 作成時に整合性レベルを設定する​

collection を作成するとき、その collection 内での Search および Query に対する整合性レベルを設定できます。次のコード例では、整合性レベルを Bounded に設定しています。

python
client.create_collection(
    collection_name="my_collection",
    schema=schema,
    consistency_level="Bounded",
)

consistency_level パラメータに指定可能な値は、Strong、Bounded、Eventually、Session です。

特定の Search に対して整合性レベルはいつでも変更できます。次のコード例では、整合性レベルを Bounded に戻しています。この変更は現在の Search リクエストにのみ適用されます。

python
res = client.search(
    collection_name="my_collection",
    data=[query_vector],
    limit=3
    consistency_level="Bounded",
    # highlight-next
)

このパラメータは、hybrid search と search iterator でも使用できます。consistency_level パラメータに指定可能な値は、Strong、Bounded、Eventually、Session です。

Query で整合性レベルを設定する​

特定の Search に対して整合性レベルはいつでも変更できます。次のコード例では、整合性レベルを Eventually に設定しています。この設定は現在の Query リクエストにのみ適用されます。

python
res = client.query(
    collection_name="my_collection",
    filter="color like \"red%\"",
    output_fields=["vector", "color"],
    limit=3，
    consistency_level="Bounded",
    # highlight-next
)

このパラメータは、query iterator でも使用できます。consistency_level パラメータに指定可能な値は、Strong、Bounded、Eventually、Session です。

Ctrl I