ボリューム の説明
ボリューム は、構造化テーブルまたは非構造化データファイルのコレクションのいずれかを格納するオブジェクトストアです。ボリューム から、データを直接コレクションにインポートまたは移行したり、ETL パイプラインを実行して非構造化データを埋め込み（embeddings）に変換し、コレクションにロードしたりできます。
ボリューム の種類
Zilliz Cloud は、2 種類の ボリューム をサポートしています。
-
Managed volume: データを Zilliz Cloud が管理するストレージに保存します。ローカルファイルシステムからファイルをアップロードし、それをインポート、移行、または ETL パイプラインを実行してコレクションにデータを読み込みます。独自のクラウドオブジェクトストレージを維持していないユーザーに最適です。
-
External volume (パブリックプレビュー): ユーザー自身のクラウドオブジェクトストレージバケット内のバケットにマッピングされます。データはユーザーのバケット内に残ります。データをコレクションにインポートまたは移行したり、データを直接参照する外部コレクションを作成したりできます。データを独自のストレージに保持したまま Zilliz Cloud で利用したいユーザーに最適です。
以下の表は、2 種類の ボリューム を比較したものです。
Managed ボリューム | External ボリューム | |
|---|---|---|
データ location | Zilliz Cloud-managed storage | Your own S3 or GCS bucket |
Access control |
|
|
請求 | Free trial or pay-as-you-go | Free |
支払い method required | Yes (for pay-as-you-go) | No |
Upload files to volume | Yes (via SDK or console) | No — data stays in your bucket. Manage files directly in your cloud storage. |
File operations | Read, write, delete | Read-only |
Use cases | Import, migration, data ETL | Import, migration, data ETL, and external collections |
Cloud support | AWS, GCP | AWS, GCP |
リソース階層
ボリューム は単一のクラスターではなく、プロジェクトに属します。同じプロジェクト内の任意のクラスターが ボリューム にアクセスできます。ファイルの作成、表示、削除など、ユーザーが ボリューム で実行できる操作は、プロジェクトロール によって決定されます。
Organization
└─ Project
├─ Clusters
│ └─ Databases
│ └─ Collections
├─ Volumes
│ ├─ Managed Volumes → Data files (Zilliz-hosted)
│ └─ External Volumes → Maps to your cloud storage bucket (via Storage Integration)
└─ Storage Integrations
ユースケース
ボリュームは、データ import、データ migration、および外部コレクションに使用できます。
以下の図は、Zilliz Cloud ボリュームの主要な適用シナリオを示しています。
ボリュームは データ import、データ migration、および外部コレクションで使用できます。これらはすべて外部ソースからデータを取得する必要がありますが、取得したデータの使用方法は異なります。
-
データ import
ボリューム内で準備されたデータセットをアップロードまたは参照し、Zilliz Cloud コレクションにインポートします。マネージドボリュームと外部ボリュームの両方をインポートソースとして使用できます。詳細については、データのインポート (コンソール)、データのインポート (RESTful API)、および データのインポート (SDK) を参照してください。
-
データ migration
Milvus インスタンスのバックアップファイルをボリュームにアップロードし、Zilliz Cloud クラスタとして復元します。マネージドボリュームと外部ボリュームの両方を使用できます。詳細については、バックアップファイルを介して Milvus から Zilliz Cloud へ移行する を参照してください。
-
外部コレクション (近日公開)
外部ボリューム内のデータにマップする外部コレクションを作成し、最初にインポートすることなく、バケット内のファイルを Zilliz Cloud から直接クエリできるようにします。
ボリュームの状態
状態 | 対象 | 説明 |
|---|---|---|
実行中 | マネージドおよび外部ボリューム | ボリュームはアクティブで利用可能です。 |
フリーズ済み | マネージドおよび外部ボリューム | 未払いの請求書により組織がフリーズされています。ボリュームは新しい操作に使用できません。 |
エラー | 外部ボリュームのみ | ストレージ統合の検証に失敗しました。設定を確認して再試行してください。 |
請求
マネージドボリューム
マネージドボリュームを作成する際、無料トライアル プランまたは pay-as-you-go プランのいずれかを選択できます。以下の表は、それらの典型的なユースケースと 制限 を比較したものです。
Free Trial | Pay-as-you-go | |
|---|---|---|
ユースケース | テスト環境専用。 | 本番運用用。 |
容量 | 5 GB | 無制限 |
1 回あたりのアップロードファイルサイズと数 | 各アップロードで最大 1 GB のデータ、および最大 1,000 ファイル | 各アップロードで最大 100 GB のデータ、および無制限の数のファイル |
ボリュームの最大数 | 1 | 100 |
無料トライアル volume
-
支払い方法は不要です。
-
各組織が保有できる 無料トライアル volume は 1 つのみです。
-
無料トライアル volume は 30 日間保持され、その後自動的に削除されます。
従量課金ボリューム
-
有効な支払い方法が必要です。
-
従量課金ボリューム の使用には料金が発生します。
外部ボリューム
外部ボリュームの作成と使用には、Zilliz Cloud からの課金は発生しません。支払い方法は不要です。
ただし、インポートまたは移行中に Zilliz Cloud がバケットから読み取る際、クラウドプロバイダーからデータリクエスト料金が課金される場合があります。詳細については、Amazon S3 料金 または Google Cloud Storage 料金 を参照してください。
制限事項
-
ボリュームは AWS および Google Cloud でのみ利用可能です。Azure については、サポートにお問い合わせください。
-
ボリュームは、使用する予定のクラスタと同じクラウドプロバイダーおよびリージョンにある必要があります。
-
ボリュームを作成および管理するには、プロジェクト管理者 である必要があります。
-
各組織は、最大 100 個のマネージドボリューム および 100 個の外部ボリューム を作成できます。
よくある質問
未払いの請求書により組織がフリーズされた場合、ボリュームはどうなりますか？
組織がフリーズされると、すべてのマネージド ボリューム（無料トライアル および pay-as-you-go の両方）とそこに保存されているすべてのファイルが削除され、復元できなくなります。外部ボリュームもフリーズされ、新しい操作には使用できなくなりますが、お客様自身のバケット内のデータには影響しません。
ボリュームの使用を継続するには、まず未払いの請求書をすべて精算してください。
なぜ Web コンソールで 無料トライアル volume オプションが表示されないのですか？
組織用に 無料トライアル volume が 1 つ作成されると、無料トライアル volume オプションは非表示になります。各組織が作成できる 無料トライアル volume は 1 つのみです。
外部ボリュームと外部ストレージからの直接インポートの違いは何ですか？
どちらの方法でも、お客様自身の S3 または GCS バケットからデータをインポートできます。主な違いは以下の通りです。
-
外部ボリュームでは、認証情報管理のために ストレージ統合 を使用します。認証情報は 1 回設定すれば、複数のボリュームや操作で再利用できます。データエンジニアはクラウドストレージキーに直接アクセスする必要はありません。
-
直接 外部ストレージインポート では、各インポートリクエストごとに認証情報（アクセスキー、シークレットキー）をインラインで提供する必要があります。これは 1 回限りのインポートには簡単ですが、認証情報の分離や再利用性は提供されません。
外部ボリューム作成後に、ストレージ統合またはパスを変更できますか？
いいえ。外部ボリュームが作成された後、ストレージ統合とパスは変更できません。異なるストレージ統合またはパスを使用するには、新しい外部ボリュームを作成してください。
アクティブなジョブまたは外部コレクションから参照されている外部ボリュームを削除できますか？
いいえ。下流の外部コレクションまたはアクティブなジョブがボリュームを参照している場合、削除はブロックされます。
外部ボリュームを使用すると、データ転送料金が課金されますか？
いいえ。外部ボリュームは、クラスタと同じクラウドプロバイダーおよびリージョンにある必要があります。すべてのデータアクセスが同じリージョン内で発生するため、Zilliz Cloud 上でクロスリージョンのデータ転送料金は発生しません。