メインコンテンツまでスキップ
バージョン: User Guides (Cloud)

一貫性レベル

分散型ベクトルデータベースである Zilliz Cloud は、読み取りおよび書き込み操作中に各ノードまたはレプリカが同じデータにアクセスできるように、複数のレベルの一貫性を提供します。現在サポートされている一貫性レベルには、Strong、Bounded、Eventually、および Session があり、Bounded がデフォルトの一貫性レベルとして使用されます。

概要​

Zilliz Cloud は、ストレージと計算を分離したシステムです。このシステムでは、データNodes がデータの永続性を担当し、最終的に MinIO/S3 などの分散オブジェクトストレージにデータを保存します。QueryNodes は、検索などの計算タスクを処理します。これらのタスクには、バッチデータとストリーミングデータの両方の処理が含まれます。簡単に言えば、バッチデータはすでにオブジェクトストレージに保存されているデータとして理解でき、ストリーミングデータはまだオブジェクトストレージに保存されていないデータを指します。ネットワークの遅延により、QueryNodes は最新のストリーミングデータを保持していないことがよくあります。追加の保護なしにストリーミングデータに対して直接検索を実行すると、コミットされていない多くのデータポイントが失われ、検索結果の精度に影響を与える可能性があります。

UlOJwpWuKhj5LAbGSp9cwMFznEb

上記の図に示すように、QueryNodes は検索リクエストを受信した後、ストリーミングデータとバッチデータの両方を同時に受信できます。ただし、ネットワークの遅延により、QueryNodes が取得するストリーミングデータは不完全である可能性があります。

この問題に対処するため、Zilliz Cloud はデータキュー内の各レコードにタイムスタンプを付け、同期タイムスタンプをデータキューに継続的に挿入します。同期タイムスタンプ (syncTs) を受信すると、QueryNodes はそれを ServiceTime として設定します。つまり、QueryNodes はその ServiceTime 以前のすべてのデータを見ることができます。ServiceTime に基づいて、Zilliz Cloud は、一貫性と可用性に関するさまざまなユーザー要件を満たすために、保証タイムスタンプ (GuaranteeTs) を提供できます。ユーザーは、検索リクエストで GuaranteeTs を指定することにより、指定された時点以前のデータを検索範囲に含める必要があることを QueryNodes に通知できます。

Owddb7D3Fo8zyFxJgWWcZCxanIf

上記の図に示すように、GuaranteeTs が ServiceTime より小さい場合、指定された時点以前のすべてのデータが完全にディスクに書き込まれていることを意味し、QueryNodes はすぐに検索操作を実行できます。GuaranteeTs が ServiceTime より大きい場合、QueryNodes は ServiceTime が GuaranteeTs を超えるまで待機してから、検索操作を実行できます。

ユーザーは、クエリの精度とクエリのレイテンシーの間でトレードオフを行う必要があります。ユーザーが高い一貫性要件を持ち、クエリのレイテンシーに敏感でない場合、GuaranteeTs を可能な限り大きな値に設定できます。ユーザーが検索結果を迅速に受け取りたいが、クエリの精度に対してより寛容である場合、GuaranteeTs をより小さな値に設定できます。

Y9YabwvmjoWMXhxt9kRc8Atmnid

Zilliz Cloud は、異なる GuaranteeTs を持つ4種類の一貫性レベルを提供します。

  • Strong

    最新のタイムスタンプが GuaranteeTs として使用され、QueryNodes は ServiceTime が GuaranteeTs を満たすまで待機してから検索リクエストを実行する必要があります。

  • Eventual

    GuaranteeTs は、一貫性チェックを回避するために、1などの非常に小さな値に設定され、QueryNodes はすべてのバッチデータに対してすぐに検索リクエストを実行できます。

  • Bounded Staleness

    GuaranteeTs は、最新のタイムスタンプよりも前の時点に設定され、QueryNodes は特定のデータ損失を許容して検索を実行します。

  • Session

    クライアントがデータを挿入した最新の時点が GuaranteeTs として使用され、QueryNodes はクライアントによって挿入されたすべてのデータに対して検索を実行できます。

Zilliz Cloud は、デフォルトの一貫性レベルとして Bounded Staleness を使用します。GuaranteeTs が指定されていない場合、最新の ServiceTime が GuaranteeTs として使用されます。

一貫性レベルの設定​

コレクションを作成する際、および検索とクエリを実行する際に、異なる一貫性レベルを設定できます。検索またはクエリに対して一貫性レベルが指定されていない場合、コレクション作成時に指定された一貫性レベルが適用されます。

コレクション作成時の一貫性レベルの設定​

コレクションを作成する際、コレクション内の検索とクエリの一貫性レベルを設定できます。以下のコード例では、一貫性レベルを Bounded に設定しています。

client.create_collection(
    collection_name="my_collection",
    schema=schema,
    consistency_level="Bounded",
)

consistency_level パラメータの指定可能な値は、Strong、Bounded、Eventually、および Session です。

特定の検索に対して一貫性レベルをいつでも変更できます。以下のコード例では、一貫性レベルを Bounded に戻しています。この変更は、現在の検索リクエストにのみ適用されます。

res = client.search(
    collection_name="my_collection",
    data=[query_vector],
    limit=3,
    search_params={"metric_type": "IP"}，
    consistency_level="Bounded",
    # highlight-next
)

このパラメータは、ハイブリッド検索および検索イテレータでも利用できます。consistency_level パラメータの取りうる値は、Strong、Bounded、Eventually、および Session です。

クエリで一貫性レベルを設定する​

特定の検索に対して一貫性レベルをいつでも変更できます。以下のコード例では、一貫性レベルを Eventually に設定しています。この設定は、現在のクエリリクエストにのみ適用されます。

res = client.query(
    collection_name="my_collection",
    filter="color like \"red%\"",
    output_fields=["vector", "color"],
    limit=3，
    consistency_level="Bounded",
    # highlight-next
)

このパラメータはクエリイテレータでも利用可能です。consistency_level パラメータの取りうる値は、Strong、Bounded、Eventually、および Session です。