メインコンテンツまでスキップ

外部ボリューム

リージョンでの提供状況

この機能はすべての AWS リージョンで利用できます。Microsoft Azure では利用できません。Azure でボリュームを使用するには、お問い合わせください。

外部ボリュームは、自身のクラウドオブジェクトストレージ（AWS S3 など）内のバケットまたはパスへの読み取り専用参照であり、Zilliz Cloud がデータをコピーまたは移動することなく、その場所のままデータにアクセスできるようにします。

このページでは、Web コンソールおよび SDK を使用して外部ボリュームを作成および削除する方法について説明します。

考慮事項​

  • ボリュームは、プロジェクトのクラウドプロバイダーとリージョンに制限されます。たとえば、プロジェクトが AWS us-west-2 にある場合、作成できるボリュームも AWS us-west-2 のみです。

  • クラスターでボリュームを使用するには、そのクラスターがボリュームと同じクラウドプロバイダーおよびリージョンに存在している必要があります。

  • ボリュームを作成および管理するには、Project Admin である必要があります。

  • ボリュームは一度作成すると、その設定を編集できません。ボリュームの設定を変更したい場合は、代わりに希望する設定で新しいボリュームを作成してください。

  • 外部ボリュームの場合、データは自身のバケット内に保持されます。そのため、データファイルは外部ボリューム上ではなく、クラウドオブジェクトストレージ上で管理する必要があります。

  • 各組織では、最大 100 個の外部ボリューム を作成できます。

開始する前に​

外部ボリュームを作成する前に、AWS S3 バケット を統合する必要があります。ストレージ統合は、作成したい外部ボリュームと同じクラウドプロバイダーおよびリージョン内にある必要がある点に注意してください。

外部ボリュームを作成する​

  • SDK 経由

    python
    # Initiate a volume manager
    from pymilvus.bulk_writer.volume_manager import VolumeManager

    volume_manager = VolumeManager(
        cloud_endpoint="https://api.cloud.zilliz.com",
        api_key="YOUR_API_KEY"
    )

    # Create a volume
    volume_manager.create_volume(
        project_id="proj-xxxxxxxxxxxxxxxxxxxxxxx", 
        region_id="aws-us-west-2", 
        volume_name="external_volume",
        volume_type="EXTERNAL",
        storage_integration_id="integ-xxxx",
        path="data/",
    )

    print(f"\nVolume external_volume created")

    # Volume external_volume created

    以下の表は、各パラメーターについて説明しています。

    パラメーター説明
    projectIdボリュームを作成したいプロジェクトの ID。
    regionId作成するボリュームのリージョンは、データをインポートまたは移行する予定の対象クラスターのクラウドプロバイダーおよびリージョンと一致している必要があります。
    volumeName作成するボリュームの名前は組織全体で一意である必要があり、64 文字以内、英字またはアンダースコアで始まり、英字、数字、ハイフン、アンダースコアのみを含める必要があります。
    type外部ボリュームを作成するには、このパラメーターを EXTERNAL に設定します。デフォルトは MANAGED です。
    storageIntegrationId参照するストレージ統合の ID。type=EXTERNAL の場合は必須です。選択するストレージ統合は、作成したい外部ボリュームと同じ組織およびリージョンに属している必要があります。
    pathストレージパス。type=EXTERNAL の場合は必須です。
    description（任意）作成するボリュームの説明。最大 255 文字です。

  • Web コンソール経由

    1

    左側のナビゲーションで Volumes をクリックします。

    2

    Volumes ページで + Volume をクリックします。

    3

    ボリュームの設定を行います。

    以下の表は、外部ボリュームの作成時に使用する各パラメーターを説明しています。

    パラメーター説明
    Nameボリューム名は組織全体で一意である必要があり、64 文字以内、英字またはアンダースコアで始まり、英字、数字、ハイフン、アンダースコアのみを含める必要があります。
    Descriptionこのパラメーターは任意です。最大 255 文字です。
    Volume Typeボリュームタイプとして "External" を選択します。
    Cloud Provider & Regionボリュームのクラウドプロバイダーとリージョンは、データをインポートまたは移行する予定の対象クラスターのクラウドプロバイダーおよびリージョンと一致している必要があります。
    Storage Integration & Pathストレージ統合（AWS S3 バケット）は、クラウドストレージへのアクセス設定をカプセル化した認証情報オブジェクトです。
    Path は、データが配置されている場所を指すポインターです。（例: folder/）
    4

    Create をクリックします。

ボリュームを一覧表示する​

プロジェクト内の既存のボリュームをすべて表示できます。

  • SDK 経由

    python
    # Initiate a volume manager
    from pymilvus.bulk_writer.volume_manager import VolumeManager

    volume_manager = VolumeManager(
        cloud_endpoint="https://api.cloud.zilliz.com",
        api_key="YOUR_API_KEY"
    )

    # View volumes
    volume_list = volume_manager.list_volumes(
        project_id="proj-xxxxxxxxxxxxxxxxxxxxxxx",
        current_page=1, 
        page_size=10
    )

    print(f"\nlistVolumes results: \n", volume_list.json()['data'])

    # listVolumes results: 
    # 
    # {
    #     "count": 1,
    #     "currentPage": 1,
    #     "pageSize": 10,
    #     "volumes": [
    #         {
    #             "volumeName": "external_volume"
    #             "type":"EXTERNAL"
    #         }        
    #     ]
    # }

  • Web コンソール経由

    PeL0wrKF1hTHvwbNAZBctTQonZf

外部ボリュームの詳細を確認する​

特定のボリュームの詳細を確認できます。

  • SDK 経由

    python
    # Initiate a volume manager
    from pymilvus.bulk_writer.volume_manager import VolumeManager

    volume_manager = VolumeManager(
        cloud_endpoint="https://api.cloud.zilliz.com",
        api_key="YOUR_API_KEY"
    )

    # View volumes
    volume_list = volume_manager.describe_volume(
            volume_name="external_volume"
    )

    print(f"\ndescVolume results: \n", volume_list.json()['data'])

    # descVolume results: 
    # 
    # {
    #    "volumeName": "external_volume",
    #    "type": "EXTERNAL",
    #    "regionId": "aws-us-west-2",
    #    "storageIntegrationId": "integ-xxxx",
    #    "path": "data/",
    #    "status": "RUNNING",
    #    "createTime": "2024-04-15T12:00:00Z",
    # }

  • Web コンソール経由

    NrgXwPhxGhq78NbBfDYcWc6Ened

外部ボリュームを削除する​

不要になった外部ボリュームはいつでも削除できます。

外部ボリュームを削除すると、Zilliz Cloud から削除されるのはボリュームのメタデータのみであり、データ自体はクラウドオブジェクトストレージ内にそのまま保持されます。

  • SDK 経由

    python
    # Initiate a volume manager
    from pymilvus.bulk_writer.volume_manager import VolumeManager

    volume_manager = VolumeManager(
        cloud_endpoint="https://api.cloud.zilliz.com",
        api_key="YOUR_API_KEY"
    )

    # Delete a volume
    volume_manager.delete_volume(
        volume_name="external_volume"
    )

    print(f"\nVolume external_volume deleted")

    # Volume external_volume deleted

  • Web コンソール経由

    1

    左側のナビゲーションで Volumes をクリックします。

    2

    Actions 列の ... をクリックし、Delete を選択します。

    3

    ボリューム名を入力し、Delete をクリックします。

FAQs​

請求書の未払いにより組織が凍結された場合、ボリュームはどうなりますか？

組織が凍結されると、無料トライアルと従量課金制の両方を含むすべての管理対象ボリュームと、そこに保存されているすべてのファイルが削除され、復元できません。外部ボリュームも凍結され、新しい操作には使用できなくなりますが、ご自身のバケット内のデータには影響ありません。

ボリュームの使用を継続するには、まず未払いの請求書をすべて精算してください。

外部ボリュームと外部ストレージからの直接インポートの違いは何ですか？

どちらも、ご自身の S3 または GCS バケットからデータをインポートできます。主な違いは次のとおりです。

  • 外部ボリュームでは、認証情報管理のために AWS S3 バケット を Zilliz Cloud と統合する必要があります。認証情報は一度設定すれば、複数のボリュームや操作で再利用できます。データエンジニアはクラウドストレージキーへ直接アクセスする必要がありません。

  • 直接の外部ストレージインポートでは、各インポートリクエストごとに認証情報（access key と secret key）を提供する必要があります。これは単発のインポートにはより簡単ですが、認証情報の分離や再利用性は提供されません。

外部ボリュームの作成後に、そのストレージ統合やパスを変更できますか？

いいえ。外部ボリュームの作成後は、ストレージ統合とパスを変更できません。別のストレージ統合またはパスを使用するには、新しい外部ボリュームを作成してください。

アクティブなジョブまたは外部コレクションから参照されている外部ボリュームを削除できますか？

いいえ。下流の外部コレクションまたはアクティブなジョブがそのボリュームを参照している場合、削除はブロックされます。

外部ボリュームを使用すると、データ転送料金は発生しますか？

いいえ。外部ボリュームは、クラスターと同じクラウドプロバイダーおよびリージョン内に存在している必要があります。すべてのデータアクセスは同じリージョン内で行われるため、Zilliz Cloud ではリージョン間のデータ転送料金は発生しません。

ボリュームのステータスは何を意味しますか？

次の表に、可能なボリュームステータスを示します。

ステータス

説明

Available

このボリュームはアクティブで、使用可能です。

Frozen

組織は未払いの請求書により凍結されています。このボリュームは新しい操作には使用できません。ボリュームの使用を継続するには、請求書をお支払いください。

Error

ストレージ統合の検証に失敗しました。設定を確認して再試行してください。

該当するストレージ統合は次のとおりです。

Ctrl I