適切なクラスタータイプの選択
Zilliz Cloud でクラスターを作成する際、適切なコンピュートユニット (CU) を選択することは重要なステップです。CU はデータの並列処理に使用されるコンピューティングリソースの基本単位であり、異なるクラスタータイプは CPU、メモリ、ストレージの組み合わせが異なります。
クラスタータイプの理解
Zilliz Cloud では、パフォーマンス最適化済み、容量最適化済み、およびティアードストレージのクラスタータイプを提供しています。
以下の表は、3 つのクラスタータイプをさまざまな側面から簡単に比較したものです。クラスタータイプ間の容量とパフォーマンスの詳細な比較については、最適なクラスタータイプの選択 に進んでください。
クラスタータイプ | 検索 QPS | 検索レイテンシー | クエリあたりの CU 容量 | 100 万ベクトルあたりのコスト |
|---|---|---|---|---|
パフォーマンス最適化済み | 500-1500 | 10 ms | 150 万個の 768 次元ベクトル | 月額$65 から |
容量最適化済み | 100-300 | 50-100 ms | 500 万個の 768 次元ベクトル | 月額$20 から |
Tiered-storage | 10-50 | 100-1000 ms | 2000 万個の 768 次元ベクトル | 月額$7 から |
パフォーマンス最適化済みクラスター
-
低レイテンシーと高スループットを重視するシナリオ向けに設計されています。
-
生成 AI、推薦システム、チャットボットなどのリアルタイムアプリケーションに最適です。
容量最適化済みクラスター
-
大規模なデータセットの処理のために作られており、検索パフォーマンスは抑えめですが、パフォーマンス最適化済みクラスターの 5 倍のデータ容量を誇ります。
-
大規模な非構造化データ検索、著作権検出、本人確認などに最適です。
Tiered-storage クラスター
-
超大规模でコストに敏感なワークロードに最適です。
-
低コストで大量のデータを保存する必要があるアプリケーションに最適です。Tiered-storage クラスターの容量は、容量最適化済みクラスターの 4 倍です。
最適なクラスタータイプの選択
クラスタータイプを選択する際は、データ量、パフォーマンスの期待値、予算を考慮してください。ベクトル数と次元数の両方におけるベクトルデータの規模は、クラスターのリソース配分を決定する上で極めて重要な役割を果たします。
容量の評価
クラスターが収容できるエンティティ数は、クラスターのクエリ CU 容量に依存します。
以下の参照表は、ベクトル次元と総ベクトル数を考慮し、1 クエリ CU を持つパフォーマンス最適化済みおよび容量最適化済みクラスターの容量を示しています。データ量に必要なクエリ CU 数の見積もりについては、計算ツール をご利用ください。
ベクトル次元 | パフォーマンス最適化済み (クエリ CU あたりの最大ベクトル数) | 容量最適化済み (クエリ CU あたりの最大ベクトル数) | Tiered-storage (クエリ CU あたりの最大ベクトル数) |
|---|---|---|---|
128 | 750 万 | 2500 万 | 1 億 |
256 | 450 万 | 1500 万 | 6000 万 |
512 | 225 万 | 750 万 | 3000 万 |
768 | 150 万 | 500 万 | 2000 万 |
1024 | 112.5 万 | 375 万 | 1500 万 |
上記の指標は、主キーとベクトルのみを考慮したテストに基づいています。データセットに追加のスカラーフィールド (例: id、ラベル、キーワード) がある場合、実際の容量は異なる可能性があります。正確な評価のためには、独自にテストを行うことをお勧めします。
パフォーマンスの評価
レイテンシーや 1 秒あたりのクエリ数 (QPS) などのパフォーマンス指標は重要です。
パフォーマンス最適化済みクラスターは、特に標準的な top-k 値 (10 から 250 の範囲) において、レイテンシーとスループットの面で容量最適化済みクラスターを明確に上回ります。
以下の表は、パフォーマンス最適化済みクラスターと容量最適化済みクラスターの QPS に関するテスト結果を示しています。
top_k | パフォーマンス最適化済みクラスターの QPS (768 次元 100 万ベクトル) | 容量最適化済みクラスターの QPS (768 次元 500 万ベクトル) |
|---|---|---|
10 | 520 | 100 |
100 | 440 | 80 |
250 | 270 | 60 |
1000 | 150 | 40 |
以下の表は、各クラスタータイプのレイテンシーに関するテスト結果を示しています。
top_k | パフォーマンス最適化済みクラスターのレイテンシー (768 次元 100 万ベクトル) | 容量最適化済みクラスターのレイテンシー (768 次元 500 万ベクトル) |
|---|---|---|
10 | < 10 ms | < 50 ms |
100 | < 10 ms | < 50 ms |
250 | < 10 ms | < 50 ms |
1000 | 10 - 20 ms | 50 - 100 ms |
シナリオの内訳
800 万枚の画像ライブラリを持つ画像推薦アプリケーションを構築していると仮定します。ライブラリ内の各画像は、768 次元の埋め込みベクトルで表現されています。目標は、1,000 QPS の推薦リクエストを迅速に処理し、30 ミリ秒未満で上位 100 件の画像推薦を提供することです。
この要件に適したクラスタータイプとクエリ CU を選択するには、以下の手順に従ってください。
-
レイテンシーの評価: 30 ミリ秒のレイテンシー要件を満たすのは、パフォーマンス最適化済みクラスターのみです。
-
容量の評価: 1 クエリ CU を持つ単一のパフォーマンス最適化済みクラスターは、150 万個の 768 次元ベクトルを収容できます。800 万個すべてのベクトルを保存するには、少なくとも 6 つのクエリ CU が必要です。
-
スループットの確認:
top-k設定を 100 にすると、パフォーマンス最適化済みクラスターは 440 QPS を達成できます。一貫して 1,000 QPS を維持するには、レプリカ数を 3 倍にする必要があります。
結論として、このシナリオではパフォーマンス最適化済みクラスターが最善の選択肢です。6 つのクエリ CU で構成される 3 つのレプリカという構成が、完璧に機能するはずです。