VectorDBBench を使用したパフォーマンスベンチマーク
Contact Sales to Enable BYOC

VectorDBBench は、ベクトルデータベース専用に設計されたオープンソースのベンチマークツールです。

このトピックでは、VectorDBBench を使用して Zilliz Cloud のパフォーマンステスト結果を再現する方法を紹介します。

概要

VectorDBBench は、主流のベクトルデータベースおよびクラウドサービスのベンチマーク結果を提供するだけでなく、究極のパフォーマンスとコスト効率の比較を行うツールでもあります。

VectorDBBench は直感的なビジュアルインターフェースを提供します。これにより、ユーザーは簡単にベンチマークを開始できるだけでなく、比較結果レポートを表示して、ベンチマーク結果を簡単に再現することもできます。

実際の本番環境を忠実に模倣するために、VectorDBBench は挿入、検索、フィルタリング検索など、多様なテストシナリオを設定しています。信頼性の高いデータを提供するために、VectorDBBench には SIFT、GIST、Cohere、およびオープンソースの raw dataset から OpenAI が生成したデータセットなど、実際の本番シナリオからの公開データセットも含まれています。

ベンチマーク指標

指標	説明	テストシナリオ
Max_load_count	ベクトルデータベースの容量。VectorDBBench は、ベクトルデータをベクトルデータベースに挿入し続け、データベースが失敗するか、挿入リクエストを10回以上拒否するまで、挿入されたエンティティの最大数を記録します。 Max_load_count の値が高いほど、ベクトルデータベースのパフォーマンスが優れています。	挿入
QPS	ベクトルデータベースが1秒あたりに同時クエリを処理する能力。VectorDBBench は複数回の top-100 検索を使用し、最も高い QPS 値を最終結果として選択します。 QPS の値が高いほど、ベクトルデータベースのパフォーマンスが優れています。	検索 & フィルタリング検索
Recall	検索結果を正解データと比較することで、検索精度を測定します。 Recall の値が高いほど、ベクトルデータベースのパフォーマンスが優れています。	検索 & フィルタリング検索
Load_duration	Zilliz Cloud がエンティティの挿入とインデックスの構築を完了するまでにかかる時間。 Load_duration の値が低いほど、ベクトルデータベースのパフォーマンスが優れています。	検索 & フィルタリング検索
Serial_latancy_p99	99% のクエリが完了するまでにかかる時間。VectorDBBench は各 top-100 検索の検索レイテンシを記録し、99パーセンタイル平均を最終結果として使用します。 Serial_latancy_p99 の値が低いほど、ベクトルデータベースのパフォーマンスが優れています。	検索 & フィルタリング検索

前提条件

Zilliz Cloud アカウントを登録している必要があります。
少なくとも1つのクラスタを作成している必要があります。
Python 3.11 以降がインストールされている必要があります。

手順

テスト環境のセットアップ

マシンをプロビジョニングします。

Zilliz Cloud の究極のパフォーマンスをテストするために、8 vCPU 以上のクライアントマシンをプロビジョニングして、複数のスレッドを確保することをお勧めします。
ネットワークを構成します。

ネットワーク通信はテスト結果に影響を与えます。特にクエリテストシナリオでは影響が大きくなります。ネットワークレイテンシの影響を軽減するために、以下をお勧めします。
- クライアントを Zilliz Cloud クラスタと同じクラウドプロバイダーおよびリージョンにデプロイ中。

VectorDBBench のインストールと起動

# Install VectorDBBench
$ pip install vectordb-bench

# Start VectorDBBench
$ init_bench

以下は出力例です。出力にはローカルURLが表示されますので、これを使用してVectorDBBenchのWebユーザーインターフェースを開いてください。

      👋 Welcome to Streamlit!

      If you’d like to receive helpful onboarding emails, news, offers, promotions,
      and the occasional swag, please enter your email address below. Otherwise,
      leave this field blank.

      Email:  
  You can find our privacy policy at https://streamlit.io/privacy-policy

  Summary:
  - This open source library collects usage statistics.
  - We cannot see and do not store information contained inside Streamlit apps,
    such as text, charts, images, etc.
  - Telemetry data is stored in servers in the United States.
  - If you'd like to opt out, add the following to ~/.streamlit/config.toml,
    creating that file if necessary:

    [browser]
    gatherUsageStats = false

  You can now view your Streamlit app in your browser.

  Local URL: http://localhost:8501
  Network URL: http://172.16.20.46:8501

ホームページでは、VectorDBBench が提供する事前定義されたテストデータセットを確認し、クイックパフォーマンスベンチマークに使用できます。

Web ページの下部までスクロールし、テストを実行 > をクリックして、独自のベンチマークテストを構成します。

AATGbLxqwo32yexKYzPcdYVTnph

ベンチマークテストの構成

ベンチマーク結果の表示

結果をクリックして、ベンチマーク結果を表示および分析します。以下は結果の例です。

LWa7bJGzOo9qKJx0ZNicjLXjnJh

DJBibk5puoOLxYxxnH3chlxcnAd

オプションとして、左側のナビゲーションペインで DBフィルター と ケースフィルター を設定し、事前定義されたベクトルデータベースとケースのベンチマーク結果を比較できます。

📘Notes

データベースは [databasename]-[dblabel] という形式で命名されています。

ZBqQb11SEoYbYyxxtAYcKzv9nSc

Wg3eb5C1AoEcRUxqO0Vcc4hSntd

概要​

ベンチマーク指標​

前提条件​

手順​

テスト環境のセットアップ​

VectorDBBench のインストールと起動​

ベンチマークテストの構成​

ベンチマーク結果の表示​

概要