外部移行の基本
外部移行は、ベクトルデータベースや検索システムを Zilliz Cloud に移行するプロセスを簡素化します。Pinecone や Qdrant などのベクトルデータベース、または Elasticsearch や OpenSearch などのベクトル機能を備えた検索エンジンから移行する場合でも、Zilliz Cloud はデータの整合性を確保し、移行の複雑さを最小限に抑える移行ツールを提供します。
対応データソース
Zilliz Cloud は、主要なベクトルデータベースおよび検索プラットフォームからの移行をサポートしています。
| データソース | 種類 | 主な機能 |
|---|---|---|
| Pinecone | ベクトルデータベース | 類似検索を備えた Serverless インデックス |
| Qdrant | ベクトルデータベース | オープンソースエンジン、クラウドおよびセルフホストに対応 |
| Elasticsearch | 検索エンジン | 全文検索を備えた密ベクトルのサポート |
| PostgreSQL | リレーショナルデータベース | ベクトル拡張（pgvector）のサポート |
| Tencent Cloud VectorDB | マネージドサービス | マネージドベクトルデータベースサービス |
| OpenSearch | 検索プラットフォーム | ベクトル機能を備えた KNN プラグイン |
コア機能
移行ツールは、データ構造を Zilliz Cloud に最適に適合させるための豊富な設定オプションを提供します。
機能カテゴリ | 機能 | 説明 |
|---|---|---|
スキーマ制御 | フィールド名のカスタマイズ | 移行中にフィールド名を変更し、好みの命名スタイルに合わせることができます。 |
動的フィールドから固定フィールドへの変換 | 柔軟なメタデータを固定の構造化フィールドに変換し、パフォーマンスを向上させます。 メタデータにテキストが含まれている場合、それを固定フィールドに変換すると | |
追加フィールド | 変化する要件に対応するため、ソースデータ以外の新しいフィールドを追加できます。 | |
データ型マッピング | Zilliz Cloud はフィールド型を自動的に検出してマッピングし、手動で調整するオプションも提供します。 | |
コレクション設定 | スマート命名 | デフォルトでは、Zilliz Cloud はターゲットコレクションにソーステーブル名を保持します。重複する名前が検出されると、ユーザーが名前を変更できるよう、システムはエラーアラートを表示します。ソーステーブル名にハイフン（ |
シャード設定 | データのクエリ方法に合わせてデータ分散を設定します。 | |
パーティション戦略 | 自動パーティショニングまたはカスタムグルーピングを使用してデータを整理します。 | |
データ整合性 | 主キーの処理 | レコードの一意の識別子を作成、保持、または変更します。 |
フィールド属性 | フィールドで null 値を許可するかどうかを設定し、デフォルト値を定義します。 | |
検証チェック | 移行の詳細を示す詳細な移行レポートにアクセスできます。 | |
Full Text Search | 移行中に VARCHAR フィールドに対して Full Text Search を有効にします。 | Advanced settings → Function で設定し、移行中に VARCHAR フィールドに対して Full Text Search を有効にします。 ソースのメタデータにテキストが含まれている場合は、Convert to Fixed Field を使用して、テキストメタデータから VARCHAR を作成します。詳細は、Full Text Search を参照してください。 |
インデックス作成の制御: 移行後にインデックスを自動的に作成するか、インデックス作成をスキップして後でインデックスを構築できます。最終確認ステップで、移行ジョブの インデックス settings でこれを設定します。
移行プロセス
移行は、データの整合性を確保し、プロセス全体を通じて可視性を提供するように設計された 3 フェーズのアプローチに従います。
フェーズ 1: 接続と設定
-
接続の確立: ソースシステムにアクセスして接続をテストするための認証情報（API キー、接続文字列）を指定します。
-
ソースデータの選択: 移行する特定のインデックス、コレクション、またはテーブルを選択します。
-
ターゲットの設定: 移行先として Zilliz Cloud クラスターとデータベースを選択します。
フェーズ 2: 確認と設定
移行ジョブを送信する前に、スキーママッピングとシャード設定を確認し、インデックス作成の設定を選択します。
スキーママッピング
-
自動検出: システムはベクトルフィールド、スカラーフィールド、およびメタデータを識別します。
-
フィールドのカスタマイズ: 必要に応じてフィールド名と型を調整します。
-
型変換: ソースとターゲット間のデータ型マッピングを確認して確定します。
-
詳細オプション: 要件に応じて、シャード、パーティションキー、NULL 許容フィールドを設定します。
シャード設定
最適なパフォーマンスを得るには、データ量に基づいてシャードを設定します。
-
小規模データセット（≤100M 行）: 通常は単一シャードで十分です。
-
大規模データセット（>1B 行）: 最適なシャード構成については、サポートにお問い合わせください。
インデックス設定
最終確認ステップで、インデックス settings を使用して、この移行ジョブがターゲットコレクションのインデックスをどのように処理するかを選択します。
-
Create インデックス after migration はデフォルトで有効になっています。オンのままにすると、既存の移行ルールに従ってインデックスが自動的に作成されます。
-
オフにするとインデックス作成をスキップし、たとえば計画メンテナンス中に後でインデックスを構築できます。
Create インデックス after migration をオフにすると、移行ジョブではベクトルインデックスまたはスカラーインデックスは作成されません。移行されたコレクションは Unloaded のままで、手動でインデックスを作成してコレクションをロードするまで、検索やクエリを実行できません。
Migrate をクリックする前に、確認情報でインデックス設定を確認します。
フェーズ 3: 移行と検証
設定が完了したら、移行を実行して進行状況を追跡します。
-
リアルタイム監視: Jobs ページで移行ステータスを追跡します。
-
進行状況インジケーター: 移行済み行数、エラー数、推定完了時間を表示します。
-
エラー処理: 問題が発生した場合は、詳細なコードログを確認します。
-
検証: 自動行数検証によりデータの完全性を確保します。
移行後
移行が正常に完了したら、検索またはクエリを実行する前に、以下の手順に従ってください。インデックス作成をスキップした場合、ジョブの詳細に インデックス skipped と表示されます。
-
インデックスを確認します。 Create indexes after migration をオンのままにした場合は、インデックスの自動作成が成功したことを確認します。オフにした場合は、すべてのベクトルフィールドにインデックスを手動で作成します。ワークロードに応じてスカラーインデックスを作成します。インデックスの設定については、AUTOINDEX Explained を参照してください。
-
コレクションをロードします。 インデックス作成が完了したら、コレクションを手動でロードし、ロードが完了するまで待ちます。この手順は、インデックスが自動で作成された場合でも手動で作成された場合でも必要です。詳細は、Load & Release を参照してください。
-
移行したデータを検証します。 コレクションとエンティティの件数をソースと比較し、アプリケーションのトラフィックをターゲットに転送する前に、サンプルの検索またはクエリを実行します。
制限事項
移行を開始する前に、サポートされているすべてのデータソースに共通して適用される以下の一般的な制限事項を確認してください。
| 考慮事項 | 影響 | 対処方法 |
|---|---|---|
| ソースデータが空 | 空のインデックス/tables は選択できません | 移行前にソースにデータが含まれていることを確認してください |
| ベクトルフィールドの要件 | コレクションにはベクトルデータが含まれている必要があります | 移行前にソースにベクトルフィールドがあることを確認してください |
| 未対応のデータ型 | 一部の特殊なデータ型は転送されない場合があります | データ型マッピングについては、プラットフォーム固有のガイドを確認してください |
はじめに
Zilliz Cloud へのデータ移行を開始する準備はできていますか？
移行ポータルへのアクセス
テキストデータ向けに Full Text Search を設定
ソースにテキストが含まれている場合は、移行中に Full Text Search を設定してテキストの取得を改善できます。詳細は、Full Text Search を参照してください。
プラットフォーム別の移行ガイド
プラットフォーム固有の詳細な手順、前提条件、およびデータマッピング情報については、以下を参照してください。