バックアップファイルを使用してMilvusからZilliz Cloudに移行する
Zilliz Cloudは、インフラストラクチャを自分で管理する必要がなく、Milvusベクトルデータベースを使用したいユーザー向けに、Milvusを完全に管理されたクラウドホストソリューションとして提供しています。スムーズな移行を可能にするために、データベースエンドポイントを介してソースMilvusに接続するか、バックアップファイルを直接アップロードすることができます。
このトピックでは、バックアップファイルを直接アップロードしてMilvusから移行する方法について説明します。データベースエンドポイントを介してデータを移行する方法については、「エンドポイントへ」を参照してください。
始める前に
次の前提条件が満たされていることを確認してください。
-
移行方法に基づいて、移行に必要な準備を行いました。
-
ローカルファイルから:事前にローカルバックアップファイルを準備してください。バックアップファイルの準備方法については、「移行用バックアップファイルを準備する」を参照してください。
-
オブジェクトストレージから: Milvusオブジェクトストレージの公開URLとアクセス資格情報。長期または一時的な資格情報を選択できます。
-
-
組織オーナーまたはプロジェクト管理者の役割が付与されています。必要な権限がない場合は、Zilliz Cloudの管理者にお問い合わせください。
移行のためのバックアップファイルを準備する
Milvus 2. xの移行データを準備するには、
-
ダウンロードしたバイナリとconfigsフォルダを並べて作成し、backup. yamlをconfigsフォルダにダウンロードします。
ステップが完了すると、ワークスペースフォルダの構造は次のようになります:
workspace
├── milvus-backup
└── configs
└── backup.yaml -
backup. yamlをカスタマイズする。
通常の場合、このファイルをカスタマイズする必要はありません。しかし、先に進む前に、以下の設定項目が正しいかどうかを確認してください。
-
アドレス
-
ダウンロードmivlus. port
-
minioのアドレス
-
minioのポート
-
minio. bucketName
-
minio. backupBucketName
-
ルートパス
📘ノートDocker Composeを使用してインストールされたMilvusインスタンスの場合、minio
.
bucketNameはデフォルトでa-bucket
、rootPath
はデフォルトでファイル
になります。KubernetesにインストールされたMilvusインスタンスの場合、minio
.
bucketNameのデフォルトはmilvus-bucket
で、rootPath
のデフォルトはfile
です。
-
-
Milvusインストールのバックアップを作成します。
./milvus-backup --config backup.yaml create -n my_backup
-
バックアップファイルを取得します。
./milvus-backup --config backup.yaml get -n my_backup
-
バックアップファイルを確認してください。
-
S 3バケットにminio
. address
とminio.port
を設定した場合、バックアップファイルはすでにS 3バケットにあります。 -
Minioバケットにminio
.
addressとminio
. portを設定した場合、Minioコンソールまたはmcクライアントを使用してダウンロードできます。-
Minio Consoleからダウンロードするには、Minio Consoleにログインし、minio. addressで指定されたBucketを探し、
Bucket
内のファイルを選択し、「ダウンロード」をクリックしてダウンロードします。 -
もし、mcクライアントを使いたい場合は、以下のようにしてください:
# configure a Minio host
mc alias set my_minio https://<minio_endpoint> <accessKey> <secretKey>
# List the available buckets
mc ls my_minio
# Download a file from the bucket
mc cp --recursive my_minio/<your-bucket-path> <local_dir_path>
-
-
-
ダウンロードしたアーカイブを解凍し、バックアップフォルダの内容のみをZilliz Cloudにアップロードします。
Zilliz Cloudへのデータ移行
バックアップファイルが準備できたら、ローカルファイルから直接またはオブジェクトストレージからデータを移行できます。
-
Zilliz Cloud コンソールにログインします。
-
ターゲットプロジェクトに移動し、移行>Milvus>バックアップファイル経由を選択してください。
-
Milvusからの移行ページでは、
-
データがローカルファイルにある場合:
- [ローカルファイルから]を選択し、データを含むフォルダをアップロードし、ターゲットクラスタを選択します。
-
データがオブジェクトストレージにある場合:
-
[オブジェクトストレージから]を選択し、サービス(S 3、Azure Blob、GCPなど)を選択し、データのオブジェクトURLまたはS 3 URIを入力し、必要な資格情報を入力して、ターゲットクラスターを選択します。
-
適切な資格情報タイプを指定して、必要な資格情報を提供します。
-
長期:頻繁な再認証なしでリソースに永続的にアクセスする場合は、このオプションを使用します。
-
セッション:限られた期間有効な一時的な資格情報の場合、特定のユーザーセッション中の短期間のアクセスに最適です。
-
-
-
-
[移行]をクリックします。
移行過程を監視する
「移行」をクリックすると、移行ジョブが生成されます。ジョブページで移行の進捗状況を確認できます。ジョブのステータスが「IN PROGRESS」から「SUCCESS FUL」に切り替わると、移行が完了します。
移行後、ターゲットクラスタ内のコレクションとエンティティの数がデータソースと一致していることを確認してください。不一致が見つかった場合は、エンティティが欠落しているコレクションを削除して再移行してください。
Zilliz Cloudは、最適化されたインデックス作成のためにAUTOINDEXのみをサポートしており、このアルゴリズムを使用して移行されたコレクションを自動的にインデックス化します。
コレクションがロードされたら、お好みの方法で自由に操作できます。
移行ジョブをキャンセル
移行過程で問題が発生した場合は、次の手順に従ってトラブルシューティングを行い、移行を再開できます。
-
[ジョブ]ページで、失敗した移行ジョブを特定してキャンセルします。
-
[アクション]列の[詳細を表示]をクリックして、エラーログにアクセスします。