Azure Blob Storage と統合する

Zilliz Cloud では、Azure Blob Storage と統合して、バックアップファイルや監査ログを指定したコンテナにエクスポートできます。

次の図は、Zilliz Cloud と Azure Portal で必要な手順を示しています。

EFqDwDiAIhoOPXbvLBDcO7DrnJd

事前準備

Zilliz Cloud を Azure Blob と統合するには、プロジェクトに対する Organization Owner または Project Admin のアクセス権が必要です。必要な権限がない場合は、Zilliz Cloud の管理者にお問い合わせください。
Azure Portal への管理者アクセス権を持っていること。

ステップ 1: Zilliz Cloud で統合を開始する

Zilliz Cloud コンソールにログインします。

プロジェクトページで、左側のナビゲーションペインから Integrations に移動します。

Azure Blob Storage セクションで、+ Integration をクリックします。

Pxw7bG0keosOCDxfVdmcCC1rnBg

表示されるダイアログボックスで、Basic Settings を入力します。

Integration Name: この統合の一意の名前（例: container_for_backup）。
Integration Description （任意）: この統合の説明（例: for backupfile export）。
Bucket Permission: この統合に必要なアクセスモードを選択します。
- Read only: Zilliz Cloud がコンテナからデータを読み取ることのみを許可します。統合を外部テーブルやその他の読み取り専用のシナリオで使用する場合は、このモードを選択します。
- Read write: Zilliz Cloud がコンテナの読み取りと書き込みを行うことを許可します。バックアップをエクスポートしたり、監査ログをコンテナに書き込んだりする場合は、このモードを選択します。

次に、Next をクリックして続行します。

ステップ 2: Azure Portal でコンテナを作成する

Azure Portal にログインします。

検索バーに Storage accounts と入力し、そのオプションを選択します。

integrate-with-azure-blob-1

Storage accounts ページで、既存のストレージアカウントを選択するか、+ Create をクリックして新しいアカウントを作成します。Note: ストレージアカウントは、Zilliz Cloud クラスターと同じリージョンに存在する必要があります。

integrate-with-azure-blob-2

ストレージアカウントの詳細ページで、Data Storage > Containers に移動し、+ Container をクリックします。

S3Evbdfp1o5JWnxhCkEcUZktnme

表示されるパネルで、コンテナ名を入力します。このコンテナ名は Zilliz Cloud コンソールで必要になるため、控えておいてください。

Zilliz Cloud コンソールに戻り、Create Azure Blob Storage Container ステップで設定を完了します。

Zilliz Cloud クラスター Region: Zilliz Cloud クラスターが存在するクラウドリージョンを選択します。
Storage Account Name: Azure ストレージアカウント名を入力します。
Container Name: 作成したコンテナの名前を入力します。

次に、Next をクリックして続行します。

integrate-with-azure-blob-3

ステップ 3: アプリケーションを登録して認証情報を追加する

Azure Portal に戻り、App registrations を検索して選択します。

integrate-with-azure-blob-4

Application registrations ページで、+ New registration をクリックします。

integrate-with-azure-blob-5

Register an application パネルで、アプリケーションの名前を入力し、他のフィールドはデフォルト設定のままにして、Register をクリックします。

RLaubwh94oRrLqxf8R4cd3xvnPg

アプリケーションの Overview ページで、Application (client) ID と Directory (tenant) ID をコピーします。これらの値は Zilliz Cloud コンソールで必要になります。

Dgwnbb77ToK38Vx8WHdcN2ylnSh

Zilliz Cloud コンソールに戻り、Register a New Application ステップで、コピーした Application (client) ID と Directory (tenant) ID を入力します。

また、Zilliz Cloud から提供される Cluster Issuer URL（クラスターの発行元 URL）、Service Name、Service Account Name も控えておいてください。これらの値は Azure Portal で必要になります。

Azure Portal のアプリケーションページに戻ります。Manage > Certificates & secrets > Federated credentials に移動し、Add credential をクリックします。

UGgmb9dKnoPlk9xtrFvcDl3Dnfd

Add a credential パネルで、認証情報の設定を行います。

Federated credential scenario: Kubernetes accessing Azure resources を選択します。
Cluster issuer URL: Zilliz Cloud から提供されたクラスターの発行元 URL を入力します。
Namespace: milvus-tool に設定します。
Service account name: milvus-bucket に設定します。
Name: 任意の名前を入力します（例: わかりやすくするために zilliz を含めます）。
Audience: デフォルト値を使用します。

次に、Add をクリックして認証情報を保存します。

integrate-with-azure-blob-7

Zilliz Cloud コンソールに戻り、Next をクリックして続行します。

ステップ 4: ストレージアカウントのロール割り当てを追加する

Azure Portal で、Access Control (IAM) > + Add > Add role assignment に移動します。

integrate-with-azure-blob-6

Job function roles タブで、Storage Blob Delegator ロールを選択します。

BZ2lbDBZdoGylqxA0zwcsCvNnme

Members タブで、ロールを割り当てる登録済みのアプリケーションを選択します。

SbSgbe9tzo45z3xtKLicm64ingc

Review + assign タブで、Review + assign をクリックして確認します。

ステップ 5: コンテナのロール割り当てを追加する

ステップ 1 で選択した Bucket Permission に基づいて、登録済みのアプリケーションに、対応するコンテナスコープのロールを割り当てます。

Azure Portal で、ステップ 2 で作成したコンテナを含むストレージアカウントに移動します。

Data storage の下の Containers に移動し、対象のコンテナを選択します。

左側のナビゲーションペインから Access Control (IAM) を選択し、+ Add > Add role assignment をクリックします。

Job function roles タブで、ステップ 1 で選択したアクセスモードに応じて、次のいずれかのロールを選択します。

ステップ 1 で Read only を選択した場合は、Storage Blob Data Reader を選択します。
ステップ 1 で Read write を選択した場合は、Storage Blob Data Contributor を選択します。

NsGcbvXTvojt4OxAnBGcqKNhnad

Members タブで、ロールを割り当てる登録済みのアプリケーションを選択します。

Review + assign タブで、Review + assign をクリックして確認します。

ステップ 6: 統合を検証して作成する

Zilliz Cloud コンソールで、Validate Integration をクリックし、コンテナとロール割り当ての設定が有効であることを確認します。

Notes

検証は、Azure のロール割り当ての反映に時間がかかるため、完了するまでに最大で約 10 分かかる場合があります。

検証が成功したら、Create をクリックして統合を確定します。

これで Azure Blob Storage が Zilliz Cloud と統合され、バックアップファイルをエクスポートできるようになりました。詳細については、Export Backup Files を参照してください。

プログラムでストレージ統合を作成する

Zilliz Cloud コンソールでの操作に代えて、プログラムからストレージ統合を作成することもできます。

コンテナを作成します。

詳細については、上記の Azure Portal でコンテナを作成するまたは Create Container API ドキュメントを参照してください。

認証マテリアルを生成します。

bash
export BASE_URL="https://api.cloud.zilliz.com"
export TOKEN="YOUR_API_KEY"

curl --request POST \
--url "${BASE_URL}/v2/storageIntegrations/authorizationMaterials" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Request-Timeout: 5" \
--header "Content-Type: application/json" \
-d '{
    "projectId": "proj-xxxxxxxxxxxxxxxxxxxxxx",
    "regionId": "az-eastus",
    "bucketName": "my-container"
}'

上記のリクエストは、GCP 管理コンソールで権限とロールを作成するために必要な認証情報を生成します。

レスポンスの例は以下の通りです。

bash
{
    "code": 0,
    "data": {
        "credential": {
            "clusterIssuerUrl": "https://issuer.example.com/",
            "namespace": "milvus-tool",
            "serviceAccountName": "milvus-bucket"
        }
    }
}

パラメーターの説明の詳細については、Generate Storage Integration Authorization Materials を参照してください。

返された `clusterIssuerUrl`、`namespace`、`serviceAccountName` を使用して、アプリケーションを登録し、認証情報を追加します。

詳細については、アプリケーションを登録して認証情報を追加するを参照してください。

取得した認証情報を検証します。

リクエストでは、externalCred.accountName にポータルに表示される Azure ストレージアカウント名を設定し、externalCred.clientId と externalCred.tenantId には、アプリケーションの登録時に控えた値を設定します。

bash
curl --request POST \
--url "${BASE_URL}/v2/storageIntegrations/validate" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Request-Timeout: 5" \
--header "Content-Type: application/json" \
-d '{
    "projectId": "proj-xxxxxxxxxxxxxxxxxxxxxx",
    "regionId": "gcp-us-central1",
    "bucketName": "my-bucket",
    "externalCred": {
        "accountName": "mystorageaccount",
        "clientId": "00000000-0000-0000-0000-000000000000",
        "tenantId": "11111111-1111-1111-1111-111111111111"
    }
}'

検証が成功した場合のレスポンスは以下の通りです。

bash
{
    "code": 0,
    "data": {
        "success": true,
        "message": ""
    }
}

パラメーターの説明の詳細については、Validate Storage Integration を参照してください。

ストレージ統合を作成します。

このリクエストは、description が追加されている点を除き、検証リクエストとほとんどのパラメーターを共有します。

bash
curl --request POST \
--url "${BASE_URL}/v2/storageIntegrations" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Request-Timeout: 5" \
--header "Content-Type: application/json" \
-d '{
    "projectId": "proj-xxxxxxxxxxxxxxxxxxxxxx",
    "name": "analytics-azure",
    "description": "Azure container for external tables",
    "regionId": "az-eastus",
    "bucketName": "my-bucket",
    "externalCred": {
        "accountName": "mystorageaccount",
        "clientId": "00000000-0000-0000-0000-000000000000",
        "tenantId": "11111111-1111-1111-1111-111111111111"
    }
}'

レスポンスは以下の通りです。

bash
{
    "code": 0,
    "data": {
        "integrationId": "integ-xxxxxxxxxxxxxxxxxxx",
        "name": "analytics-azure"
    }
}

パラメーターの説明の詳細については、Create Storage Integration を参照してください。

統合を管理する

統合を追加すると、必要に応じてその詳細を表示したり、統合を削除したりできます。

DN2GbaT6momqNzxZeLwc0fe2nuh

統合 ID を取得する

RESTful API を使用して、Zilliz Cloud と統合された AWS S3 バケットのいずれかにバックアップファイルをエクスポートする必要がある場合は、View Details をクリックして統合の詳細を表示し、その統合 ID をコピーします。

または、次のコマンドを実行して統合 ID を取得することもできます。

bash
export TOKEN="YOUR_API_KEY"

curl --request GET \
--url "${BASE_URL}/v2/storageIntegrations?projectId=proj-xxxxxxxxxxxxxxxxxxxxxx" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Request-Timeout: 5" \
--header "Content-Type: application/json"

レスポンスは以下の通りです。

bash
{
    "code": 0,
    "data": {
        "storageIntegrations": [
            {
                "integrationId": "integ-xxxxxxxxxxxxxxxxxxx",
                "name": "analytics-azure",
                "status": "ACTIVE",
                "message": "",
                "regionId": "az-eastus",
                "bucketName": "my-bucket"
            }
        ],
        "count": 1,
        "currentPage": 1,
        "pageSize": 10
    }
}

パラメーターの説明の詳細については、List Storage Integrations を参照してください。

統合の詳細を表示する

次のコマンドを使用して、統合の詳細を表示できます。

bash
export integrationId="integ-xxxxxxxxxxxxxxxxxxx"

curl --request GET \
--url "${BASE_URL}/v2/storageIntegrations/${integrationId}" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Request-Timeout: 5" \
--header "Content-Type: application/json"

レスポンスは以下の通りです。

bash
{
    "code": 0,
    "data": {
        "integrationId": "integ-xxxxxxxxxxxxxxxxxxx",
        "name": "analytics-azure",
        "description": "Azure container for external tables",
        "status": "ACTIVE",
        "message": "",
        "regionId": "az-eastus",
        "bucketName": "my-bucket",
        "externalCred": {
            "roleArn": "arn:aws:iam::123456789012:role/zilliz-bucket-role",
            "externalId": "zilliz-external-AbCdEf12345678"
        },
        "createTime": "2024-07-30T16:49:50Z"
    }
}

パラメーターの説明の詳細については、Describe Storage Integration を参照してください。

ストレージ統合を削除する

Zilliz Cloud コンソールで Remove をクリックする代わりに、次のコマンドを使用して不要なストレージ統合を削除できます。

bash
export integrationId="integ-xxxxxxxxxxxxxxxxxxx"

curl --request DELETE \
--url "${BASE_URL}/v2/storageIntegrations/${integrationId}" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Request-Timeout: 5" \
--header "Content-Type: application/json"

レスポンスは以下の通りです。

bash
{
    "code": 0,
    "data": {
        "integrationId": "integ-xxxxxxxxxxxxxxxxxxx",
        "name": "analytics-azure"
    }
}

パラメーターの説明の詳細については、Delete Storage Integration を参照してください。

トラブルシューティング

検証エラー:

統合の検証に失敗した場合は、次の点を確認してください。
- Azure ストレージアカウントと Zilliz Cloud クラスターのリージョンが一致していること。
- すべてのアプリケーション ID、テナント ID、および認証情報の詳細が正しいこと。
権限の問題:
- Zilliz Cloud と Azure Portal の両方で、必要な権限があることを確認してください。
- ロールを構成した直後に AuthorizationPermissionMismatch または同様の権限エラーが発生した場合は、待機して再試行してください。Azure のロール割り当ての反映には最大 10 分かかることがあり、管理グループのスコープが関与するまれなケースでは、反映に最大 12 時間かかることがあります。

事前準備​

ステップ 1: Zilliz Cloud で統合を開始する​

Zilliz Cloud コンソール にログインします。

プロジェクトページで、左側のナビゲーションペインから Integrations に移動します。

Azure Blob Storage セクションで、+ Integration をクリックします。

表示されるダイアログボックスで、Basic Settings を入力します。

ステップ 2: Azure Portal でコンテナを作成する​

Azure Portal にログインします。

検索バーに Storage accounts と入力し、そのオプションを選択します。

ストレージアカウントの詳細ページで、Data Storage > Containers に移動し、+ Container をクリックします。

表示されるパネルで、コンテナ名を入力します。このコンテナ名は Zilliz Cloud コンソールで必要になるため、控えておいてください。

Zilliz Cloud コンソール に戻り、Create Azure Blob Storage Container ステップで設定を完了します。

ステップ 3: アプリケーションを登録して認証情報を追加する​

Azure Portal に戻り、App registrations を検索して選択します。

Application registrations ページで、+ New registration をクリックします。

Register an application パネルで、アプリケーションの名前を入力し、他のフィールドはデフォルト設定のままにして、Register をクリックします。

アプリケーションの Overview ページで、Application (client) ID と Directory (tenant) ID をコピーします。これらの値は Zilliz Cloud コンソールで必要になります。

Zilliz Cloud コンソール に戻り、Register a New Application ステップで、コピーした Application (client) ID と Directory (tenant) ID を入力します。

Azure Portal のアプリケーションページに戻ります。Manage > Certificates & secrets > Federated credentials に移動し、Add credential をクリックします。

Add a credential パネルで、認証情報の設定を行います。

Zilliz Cloud コンソール に戻り、Next をクリックして続行します。

ステップ 4: ストレージアカウントのロール割り当てを追加する​

Azure Portal で、Access Control (IAM) > + Add > Add role assignment に移動します。

Job function roles タブで、Storage Blob Delegator ロールを選択します。

Members タブで、ロールを割り当てる登録済みのアプリケーションを選択します。

Review + assign タブで、Review + assign をクリックして確認します。

ステップ 5: コンテナのロール割り当てを追加する​

Azure Portal で、ステップ 2 で作成したコンテナを含むストレージアカウントに移動します。

Data storage の下の Containers に移動し、対象のコンテナを選択します。

左側のナビゲーションペインから Access Control (IAM) を選択し、+ Add > Add role assignment をクリックします。

Job function roles タブで、ステップ 1 で選択したアクセスモードに応じて、次のいずれかのロールを選択します。

Members タブで、ロールを割り当てる登録済みのアプリケーションを選択します。

Review + assign タブで、Review + assign をクリックして確認します。

ステップ 6: 統合を検証して作成する​

Zilliz Cloud コンソール で、Validate Integration をクリックし、コンテナとロール割り当ての設定が有効であることを確認します。

検証が成功したら、Create をクリックして統合を確定します。

プログラムでストレージ統合を作成する​

コンテナを作成します。

認証マテリアルを生成します。

返された clusterIssuerUrl、namespace、serviceAccountName を使用して、アプリケーションを登録し、認証情報を追加します。

取得した認証情報を検証します。

ストレージ統合を作成します。

統合を管理する​

統合 ID を取得する​

統合の詳細を表示する​

ストレージ統合を削除する​

トラブルシューティング​

事前準備

ステップ 1: Zilliz Cloud で統合を開始する

Zilliz Cloud コンソールにログインします。

ステップ 2: Azure Portal でコンテナを作成する

Zilliz Cloud コンソールに戻り、Create Azure Blob Storage Container ステップで設定を完了します。

ステップ 3: アプリケーションを登録して認証情報を追加する

Zilliz Cloud コンソールに戻り、Register a New Application ステップで、コピーした Application (client) ID と Directory (tenant) ID を入力します。

Zilliz Cloud コンソールに戻り、Next をクリックして続行します。

ステップ 4: ストレージアカウントのロール割り当てを追加する

ステップ 5: コンテナのロール割り当てを追加する

ステップ 6: 統合を検証して作成する

Zilliz Cloud コンソールで、Validate Integration をクリックし、コンテナとロール割り当ての設定が有効であることを確認します。

プログラムでストレージ統合を作成する

返された `clusterIssuerUrl`、`namespace`、`serviceAccountName` を使用して、アプリケーションを登録し、認証情報を追加します。

統合を管理する

統合 ID を取得する

統合の詳細を表示する

ストレージ統合を削除する

トラブルシューティング