メインコンテンツまでスキップ

バックアップファイルを介して Milvus から Zilliz Cloud に移行

Zilliz Cloud は、Milvus vector database を自身でインフラ管理することなく利用したいユーザー向けに、完全マネージドなクラウドホスト型ソリューションとして Milvus を提供します。このトピックでは、バックアップファイルを直接アップロードして Milvus から移行する方法について説明します。

開始前に​

次の前提条件を満たしていることを確認してください。

  • 移行方法に応じて、移行に必要な準備を行っていること。

    • From Local File: 事前にローカルのバックアップファイルを準備してください。バックアップファイルの準備方法については、移行用バックアップファイルの準備 を参照してください。

    • From Object Storage: Milvus object storage の公開 URL とアクセス認証情報。長期認証情報または一時認証情報を選択できます。object storage URL の詳細な例については、FAQ を参照してください。

      📘Notes

      低レイテンシで安定した体験を確保するため、ターゲット cluster と同じプロバイダーかつ同じリージョンの bucket または blob container を使用することを推奨します。

  • Organization Owner または Project Admin ロールが付与されていること。必要な権限がない場合は、Zilliz Cloud の Organization Owner にお問い合わせください。

  • ターゲット cluster の CU サイズがソースデータを収容できることを確認してください。必要な CU サイズを見積もるには、calculator を使用してください。

移行用バックアップファイルの準備​

Milvus 2.x の移行データを準備するには、

1

milvus-backup をダウンロードします。必ず最新リリースを使用してください。

現在、Milvus 2.2 以降のバージョンから Zilliz Cloud clusters へデータを移行できます。互換性のあるソースおよびターゲットの Milvus バージョンの詳細については、Milvus Backup Overview を参照してください。

2

ダウンロードしたバイナリと同じ階層に configs フォルダを作成し、backup.yaml を configs フォルダにダウンロードします。

この手順が完了すると、ワークスペースフォルダの構成は次のようになります。

plaintext
workspace
├── milvus-backup
└── configs
     └── backup.yaml
3

backup.yaml をカスタマイズします。

通常、このファイルをカスタマイズする必要はありません。ただし、続行する前に、次の設定項目が正しいか確認してください。

yaml
...
# milvus proxy address, compatible to milvus.yaml
milvus:
  address: localhost
  port: 19530
  ...
  
# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
  # Milvus storage configs, make them the same with milvus config
  storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent), gcpnative
  # You can use "gcpnative" for the Google Cloud Platform provider. Uses service account credentials for authentication.
  address: localhost # Address of MinIO/S3
  port: 9000   # Port of MinIO/S3
  bucketName: "a-bucket" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
  backupBucketName: "a-bucket" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
  rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
  ...
📘📘 Notes

  • Docker Compose を使用してインストールされた Milvus インスタンスでは、minio.bucketName のデフォルトは a-bucket、rootPath のデフォルトは files です。

  • Kubernetes 上にインストールされた Milvus インスタンスでは、minio.bucketName のデフォルトは milvus-bucket、rootPath のデフォルトは file です。

4

Milvus インストール環境のバックアップを作成します。

plaintext
./milvus-backup --config backup.yaml create -n my_backup
5

バックアップファイルを取得します。

plaintext
./milvus-backup --config backup.yaml get -n my_backup
6

バックアップファイルを確認します。

  • minio.address と minio.port を S3 bucket に設定した場合、バックアップファイルはすでにその S3 bucket 内にあります。

  • minio.address と minio.port を Minio bucket に設定した場合、Minio Console または mc クライアントを使用してダウンロードできます。

    • Minio Console からダウンロードするには、Minio Console にログインし、minio.address で指定した bucket を見つけ、bucket 内のファイルを選択して、Download をクリックしてダウンロードします。

    • the mc client を使用する場合は、次のようにします。

      plaintext
      # configure a Minio host
      mc alias set my_minio https://<minio_endpoint> <accessKey> <secretKey>

      # List the available buckets
      mc ls my_minio

      # Download a file from the bucket
      mc cp --recursive my_minio/<your-bucket-path> <local_dir_path>
7

ダウンロードしたアーカイブを解凍し、backup フォルダの内容のみを Zilliz Cloud にアップロードします。

データを Zilliz Cloud に移行​

バックアップファイルの準備ができたら、ローカルファイルからデータを移行できます。

📘Notes

ソース collection ですでに全文検索が有効になっている場合、Zilliz Cloud は移行後のターゲット collection にその Function 設定を保持します。これらの継承された設定は変更できません。

移行プロセスの監視​

Migrate をクリックすると、移行ジョブが生成されます。移行の進行状況は Jobs ページで確認できます。ジョブステータスが In Progress から Successful に切り替わると、移行は完了です。

📘Notes

移行後、ターゲット cluster 内の collections 数と entities 数がデータソースと一致していることを確認してください。不一致が見つかった場合は、欠落している entities を含む collections を削除して、再度移行してください。

移行後​

移行ジョブの完了後は、次の点に注意してください。

  • Index Creation: 移行プロセスでは、移行された collections に対して AUTOINDEX が自動的に作成されます。

  • Manual Loading Required: 自動 indexing が行われても、移行された collections はすぐには検索またはクエリ操作に使用できません。検索およびクエリ機能を有効にするには、Zilliz Cloud で collections を手動で load する必要があります。詳細については、Load & Release を参照してください。

移行ジョブのキャンセル​

移行プロセスで問題が発生した場合は、次の手順でトラブルシューティングを行い、移行を再開できます。

1

Jobs ページで、失敗した移行ジョブを特定してキャンセルします。

2

Actions 列の View Details をクリックして、エラーログを確認します。

FAQ​

  1. object storage bucket に保存されているバックアップファイルから移行する場合、どの URL 形式に従えばよいですか。

    次の表は、異なる object storage サービスの URL 例を示しています。バックアップファイルから移行する場合は、バックアップフォルダのみを選択できる点に注意してください。

    Cloud Object Storage

    URL 形式

    Amazon S3

    AWS Object URL, virtual-hosted–style

    https://<bucket_name>.s3.<region-code>.amazonaws.com/<folder_name>/

    AWS Object URL, path-style

    https://s3.&lt;region-code&gt;.amazonaws.com/&lt;bucket_name&gt;/&lt;folder_name&gt;/

    Amazon S3 URI

    s3://<bucket_name>/<folder_name>/

    Google Cloud Storage

    GSC public URL

    https://storage.cloud.google.com/&lt;bucket_name&gt;/&lt;folder_name&gt;/

    GSC gsutil URI

    gs://<bucket_name>/<folder_name>/

    Azure Blob Storage

    https://<storage_account>.blob.core.windows.net/<container>/<folder>/

Ctrl I