適切なCUを選択
Zilliz Cloudでクラスタを作成する際には、適切なコンピューティングユニット(CU)を選択することが重要なステップです。CUは、データの並列処理に使用されるコンピューティングリソースの基本単位であり、異なるCUタイプには、CPU、メモリ、ストレージのさまざまな組み合わせが含まれます。
CUタイプを理解する
Zilliz Cloudは、次のCUタイプを提供しています:Performance-optimized、容量最適化、および拡張容量。
以下の表は、異なる側面で3つのCUタイプを簡単に比較したものです。CUタイプ間の容量と性能の詳細な比較については、「最適なCUタイプを選択する」を参照してください。
CUタイプ | QPSを検索する | 検索レイテンシ | CU容量ごと | 百万ベクトルあたりのコスト |
---|---|---|---|---|
Performance-optimized | 500~1500 | サブ10ミリ秒 | 150万個の768暗ベクトル | $65/月から。 |
キャパシティ最適化 | 100~300 | 十ミリ秒 | 500万個の768-dimベクトル | $20/月から。 |
拡張キャパシティ | 5~20 | 百ミリ秒 | 20百万の768暗いベクトル | $10/月から。 |
Performance-optimized CU
-
低レイテンシーと高スループットを重視したシナリオに合わせて調整されています。
-
生成AI、推薦システム、チャットボットなどのリアルタイムアプリケーションに最適です。
容量最適化された CU
-
膨大なデータセットを処理できるように設計されており、検索性能は抑えられていますが、Performance-optimizedの相手の5倍のデータ容量を誇っています。
-
大規模な非構造化データ検索、著作権検出、身元確認に最適です。
拡張キャパシティ CU
-
レイテンシよりもコスト効率が優先される広範なデータセットのシナリオに最適です。
-
低コストで大量のデータを保存する必要があるアプリケーションに最適です。拡張容量CUの容量は、容量最適化CUの4倍です。
拡張容量のCUを選択する必要がある場合は、営業部までお問い合わせください。
最適なCUタイプを選択してください
CUタイプを選択する際には、データ量、パフォーマンスの期待値、および予算を考慮してください。ベクトルデータの大きさは、ベクトルの数と次元の両方において、クラスタリソースの割り当てを決定する上で重要な役割を果たします。
容量を評価する
クラスタが収容できるエンティティの数は、クラスタのCU容量に依存します。
以下の参照表は、ベクトルの寸法と総ベクトル数を考慮して、1つのperformance-optimizedCUと1つの容量最適化CUを持つクラスタの容量を示しています。データ量に必要なCUサイズの見積もりについては、当社の計算機を使用してください。
ベクトルの寸法 | Performance-optimized(CUあたりの最大ベクトル数) | 容量最適化(CUあたりの最大ベクトル数) | 拡張容量(CUあたりの最大ベクトル数) |
---|---|---|---|
128 | 750万ドル | 2500万ドル | 1億ドル |
256 | 450万ドル | 1500万ドル | 6,000万ドル |
512 | 225万ドル | 750万ドル | 3000万ドル |
768 | 150万ドル | 500万ドル | 2000万ドル |
1024 | 1,125万円 | 375万ドル | 1500万ドル |
上記のメトリックは、主キーとベクトルのみを考慮したテストに基づいています。データセットに余分なスカラーフィールド(例: id、label、キーワード)がある場合、実際の容量はずれる可能性があります。正確な評価のために個人的なテストを実施することが賢明です。
パフォーマンスを評価する
パフォーマンス指標、特にレイテンシと1秒あたりのクエリ数(QPS)は重要です。Performance-optimizedCUは、特に10から250までの標準的なtop-k
値において、レイテンシとスループットにおいて、容量最適化CUよりも明らかに優れています。
以下の表は、各CUタイプのQPSに関するテスト結果を示しています。
トップk | QPS forPerformance-optimizedCU(76 8-dim 1 Mベクトル) | 容量最適化CUのQPS(76 8-dim 5 Mベクトル) |
---|---|---|
10 | 520 | 100 |
100 | 440 | 80 |
250 | 270 | 60 |
1000 | 150 | 40 |
次の表は、各CUタイプのレイテンシに関するテスト結果を示しています。
トップk | CUPerformance-optimized(76 8-dim 1 Mベクトル)の遅延 | 容量最適化CU(76 8-dim 5 Mベクトル)のレイテンシ |
---|---|---|
10 | <10ミリ秒 | <50ミリ秒 |
100 | <10ミリ秒 | <50ミリ秒 |
250 | <10ミリ秒 | <50ミリ秒 |
1000 | 10-20ミリ秒 | 50-100ミリ秒 |
シナリオの内訳
800万枚の画像ライブラリを持つ画像推薦アプリケーションを構築していると仮定します。ライブラリ内の各画像は768次元の埋め込みベクトルで表されます。目標は、1,000件の推薦リクエストのQPSを迅速に処理し、トップ100の画像推薦を30ミリ秒未満で提供することです。
この要件に適したCUを選択するには、次の手順に従います。
-
レイテンシの評価:Performance-optimizedCUは、30ミリ秒のレイテンシ要件を満たす唯一のタイプです。
-
容量を評価する: 1つのPerformance-optimizedCUには150万個の768次元ベクトルが格納できます。800万個のベクトルをすべて格納するには、少なくとも6つのCUが必要です。
-
チェックスループット:
top-k
を100に設定すると、Performance-optimizedCUはQPS 440を達成できます。一貫して1,000 QPSを維持するには、レプリカの数を3倍にする必要があります。
結論として、このシナリオでは、Performance-optimizedCUが最善の選択肢です。各レプリカが6つのCUで構成される3つのレプリカの構成は、完璧に役立つはずです。