メインコンテンツまでスキップ

バックアップファイルを介して Milvus から Zilliz Cloud に移行

Zilliz Cloud は、インフラを自分で管理することなく Milvus ベクトルデータベースを利用したいユーザー向けに、Milvus をフルマネージドのクラウドホスト型ソリューションとして提供します。このトピックでは、バックアップファイルを直接アップロードして Milvus から移行する方法について説明します。

開始前に​

次の前提条件を満たしていることを確認してください。

  • 移行方法に応じて、移行に必要な準備を行っていること。

    • From Local File: 事前にローカルのバックアップファイルを準備してください。バックアップファイルの準備方法については、移行用バックアップファイルの準備 を参照してください。

    • From Object Storage: Milvus object storage の公開 URL とアクセス認証情報。長期認証情報または一時認証情報を選択できます。object storage URL の詳細な例については、FAQ を参照してください。

      Notes

      低レイテンシで安定した体験を確保するため、ターゲットクラスターと同じプロバイダーかつ同じリージョンにあるバケットまたは blob コンテナを使用することをお勧めします。

  • Organization Owner または Project Admin ロールが付与されていること。必要な権限がない場合は、Zilliz Cloud の Organization Owner にお問い合わせください。

  • ターゲットクラスターの CU サイズがソースデータを収容できること。必要な CU サイズを見積もるには、計算ツール を使用してください。

移行用バックアップファイルの準備​

Milvus 2.x の移行データを準備するには、

1

milvus-backup をダウンロードします。必ず最新リリースを使用してください。

現在、Milvus 2.2 以降のバージョンから Zilliz Cloud クラスターにデータを移行できます。互換性のあるソースおよびターゲットの Milvus バージョンの詳細については、Milvus Backup Overview を参照してください。

2

ダウンロードしたバイナリと同じ階層に configs フォルダを作成し、backup.yaml を configs フォルダにダウンロードします。

この手順が完了すると、ワークスペースフォルダの構成は次のようになります。

plaintext
workspace
├── milvus-backup
└── configs
     └── backup.yaml
3

backup.yaml をカスタマイズします。

通常、このファイルをカスタマイズする必要はありません。ただし、続行する前に、次の設定項目が正しいか確認してください。

yaml
...
# milvus proxy address, compatible to milvus.yaml
milvus:
  address: localhost
  port: 19530
  ...
  
# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
  # Milvus storage configs, make them the same with milvus config
  storageType: "minio" # support storage type: local, minio, s3, aws, gcp, ali(aliyun), azure, tc(tencent), gcpnative
  # You can use "gcpnative" for the Google Cloud Platform provider. Uses service account credentials for authentication.
  address: localhost # Address of MinIO/S3
  port: 9000   # Port of MinIO/S3
  bucketName: "a-bucket" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
  backupBucketName: "a-bucket" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
  rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance
  ...
Notes

  • Docker Compose を使用してインストールされた Milvus インスタンスでは、minio.bucketName のデフォルトは a-bucket、rootPath のデフォルトは files です。

  • Kubernetes 上にインストールされた Milvus インスタンスでは、minio.bucketName のデフォルトは milvus-bucket、rootPath のデフォルトは file です。

4

Milvus インストール環境のバックアップを作成します。

plaintext
./milvus-backup --config backup.yaml create -n my_backup
5

バックアップファイルを取得します。

plaintext
./milvus-backup --config backup.yaml get -n my_backup
6

バックアップファイルを確認します。

  • minio.address と minio.port を S3 bucket に設定した場合、バックアップファイルはすでにその S3 bucket 内にあります。

  • minio.address と minio.port を Minio bucket に設定した場合、Minio Console または mc クライアントを使用してダウンロードできます。

    • Minio Console からダウンロードするには、Minio Console にログインし、minio.address で指定した bucket を見つけ、bucket 内のファイルを選択して、Download をクリックしてダウンロードします。

    • the mc client を使用する場合は、次のようにします。

      plaintext
      # configure a Minio host
      mc alias set my_minio https://<minio_endpoint> <accessKey> <secretKey>

      # List the available buckets
      mc ls my_minio

      # Download a file from the bucket
      mc cp --recursive my_minio/<your-bucket-path> <local_dir_path>
7

ダウンロードしたアーカイブを解凍し、backup フォルダの内容のみを Zilliz Cloud にアップロードします。

データを Zilliz Cloud に移行​

バックアップファイルの準備ができたら、ローカルファイルからデータを移行できます。

Notes

ソースコレクションで全文検索がすでに有効になっている場合、Zilliz Cloud は移行後にその Function 設定をターゲットコレクションに保持します。これらの継承された設定は変更できません。

移行プロセスの監視​

Migrate をクリックすると、移行ジョブが生成されます。移行の進行状況は Jobs ページで確認できます。ジョブステータスが In Progress から Successful に切り替わると、移行は完了です。

Notes

移行後、ターゲットクラスター内のコレクションとエンティティの数がデータソースと一致していることを確認してください。不一致が見つかった場合は、エンティティが欠落しているコレクションを削除して再移行してください。

移行後​

移行ジョブの完了後は、次の点に注意してください。

  • インデックスの作成: 移行プロセスでは、移行されたコレクションに対して AUTOINDEX が自動的に作成されます。

  • 手動でのロードが必要: 自動インデックス作成が行われても、移行されたコレクションはすぐには検索またはクエリ操作に使用できません。検索およびクエリ機能を有効にするには、Zilliz Cloud でコレクションを手動でロードする必要があります。詳細については、Load & Release を参照してください。

移行ジョブのキャンセル​

移行プロセスで問題が発生した場合は、次の手順でトラブルシューティングを行い、移行を再開できます。

1

Jobs ページで、失敗した移行ジョブを特定してキャンセルします。

2

Actions 列の View Details をクリックして、エラーログを確認します。

FAQ​

  1. object storage bucket に保存されているバックアップファイルから移行する場合、どの URL 形式に従えばよいですか。

    次の表は、異なる object storage サービスの URL 例を示しています。バックアップファイルから移行する場合は、バックアップフォルダのみを選択できる点に注意してください。

    Cloud Object Storage

    URL 形式

    Amazon S3

    AWS Object URL, virtual-hosted–style

    https://<bucket_name>.s3.<region-code>.amazonaws.com/<folder_name>/

    AWS Object URL, path-style

    https://s3.&lt;region-code&gt;.amazonaws.com/&lt;bucket_name&gt;/&lt;folder_name&gt;/

    Amazon S3 URI

    s3://<bucket_name>/<folder_name>/

    Google Cloud Storage

    GSC public URL

    https://storage.cloud.google.com/&lt;bucket_name&gt;/&lt;folder_name&gt;/

    GSC gsutil URI

    gs://<bucket_name>/<folder_name>/

    Azure Blob Storage

    https://<storage_account>.blob.core.windows.net/<container>/<folder>/

Ctrl I