ElasticsearchからZilliz Cloudへの移行
Elasticsearchは、大量のデータを処理するスピードと柔軟性で知られる、スケーラブルな検索および分析エンジンです。Zilliz Cloudの移行機能を活用することで、ElasticsearchインスタンスからZilliz Cloudクラスタへデータをシームレスに転送できます。
この移行過程では、既存のElasticsearchソースとの接続を確立し、そのデータインデックスをZilliz Cloudの対応するターゲットコレクションにレプリケートします。
考慮事項
-
現在、次のElasticsearchデータ型を移行できます:dence_vector、text、string、キーワード、ip、date、timestamp、long、integer、short、byte、double、float、boolean、object、配列。テーブルにサポートされていないデータ型のフィールドがある場合は、それらのフィールドを移行しないか、サポートチケットを送信することができます。Elasticsearchデータ型がZilliz Cloudにマップされる方法については、「フィールドマッピングリファレンス」を参照してください。
-
互換性を確保するため、Auto IDは無効になり、Zilliz Cloud上の各ターゲットコレクションに対して変更することはできません。
-
各移行タスクについて、各ソースインデックスから1つのベクトルフィールドのみを選択できます。
-
各移行タスクは、単一のソースElasticsearchクラスタに制限されます。複数のソースクラスタにデータがある場合は、それぞれに別々の移行ジョブを設定できます。
始める前に
次の前提条件が満たされていることを確認してください。
-
ソースのElasticsearchクラスタはバージョン7. x以降が実行されており、パブリックインターネットからアクセスできます。
-
ネットワーク環境で許可リストが設定されている場合は、Zilliz CloudのIPアドレスが追加されていることを確認してください。詳細については、「Zilliz CloudのIPアドレス」を参照してください。
-
組織オーナーまたはプロジェクト管理者の役割が付与されています。必要な権限がない場合は、Zilliz Cloudの管理者にお問い合わせください。
ElasticsearchからZilliz Cloudへの移行
ソースデータを任意のプランレベルのZilliz Cloudクラスタに移行できます(CU体格がソースデータに対応している場合)。
-
Zilliz Cloud コンソールにログインします。
-
ターゲットプロジェクトページに移動し、Migrations>Elasticsearchを選択してください。
-
「Connect to Data Source」ステップで、ソースElasticsearchクラスタとやり取りする接続方法として、「Via Endpoint」または「Via Cloud ID」を選択します。次に、「Next」をクリックします。
📘ノートクラスターに接続し、APIキー情報を取得することで、必要な接続情報を取得できます。
-
「ソースとターゲットを選択」ステップで、ソースElasticsearchクラスタとターゲットZilliz Cloudクラスタの設定を行います。次に、「次へ」をクリックします。
📘ノートElasticsearchから移行する各ソースインデックスには、ベクトルフィールドを含める必要があります。
-
「スキーマ構成」ステップでは、
-
あなたのElasticsearchデータと対応するZilliz Cloudデータタイプとのデータマッピングを確認してください。Zilliz Cloudには、Elasticsearchデータタイプを自分自身にマッピングするためのデフォルトのメカニズムがありますが、必要に応じてレビューして調整することができます。現在、フィールドの名前を変更することはできますが、基礎となるデータタイプを変更することはできません。
-
「詳細設定」で、ダイナミックフィールドとパーティションキーを設定します。詳細については、「スキーマデザインハンズオン」と「パーティションキーを使う」を参照してください。
-
[ターゲットコレクション名と説明]で、ターゲットコレクション名と説明をカスタマイズします。コレクション名は、各クラスターで一意である必要があります。名前が既存の名前と重複する場合は、コレクション名を変更します。
-
-
[移行]をクリックします。
移行過程を監視する
「移行」をクリックすると、移行ジョブが生成されます。ジョブページで移行の進捗状況を確認できます。ジョブのステータスが「IN PROGRESS」から「SUCCESS FUL」に切り替わると、移行が完了します。
移行後、ターゲットクラスタ内のコレクションとエンティティの数がデータソースと一致していることを確認してください。不一致が見つかった場合は、エンティティが欠落しているコレクションを削除して再移行してください。
移行ジョブをキャンセル
移行過程で問題が発生した場合は、次の手順に従ってトラブルシューティングを行い、移行を再開できます。
-
[ジョブ]ページで、失敗した移行ジョブを特定してキャンセルします。
-
[アクション]列の[詳細を表示]をクリックして、エラーログにアクセスします。
フィールドマッピングリファレンス
以下の表を参照して、Elasticsearchのデータ型がZilliz Cloudのフィールド型にどのようにマップされるかを理解してください。
Elasticsearchのフィールドタイプ | Zilliz Cloudフィールドタイプ | 説明する |
---|---|---|
密度ベクトル | FloatVectorの | ベクトルの寸法は変更されません。メトリックタイプとしてL 2またはIPを指定してください。 |
テキスト、文字列、キーワード、ip、日付、タイムスタンプ | VarChar | 最大長(1から65,535)を設定します。制限を超える文字列は移行エラーを引き起こす可能性があります。 |
長い | Int 64の | - |
整数 | Int 32の | - |
短い | int 16 | - |
バイト | int 8 | - |
ダブル | ダブル | - |
フロート | フロート | - |
ブール値 | Bool | - |
オブジェクト | JSON | - |
配列 | アレイ | - |