外部移行の基本
外部移行により、ベクトルデータベースや検索システムを Zilliz Cloud へ移行するプロセスが簡素化されます。Pinecone や Qdrant などのベクトルデータベース、または Elasticsearch や OpenSearch などのベクトル機能を備えた検索エンジンから移行する場合でも、Zilliz Cloud はデータ整合性を確保しながら移行の複雑さを最小限に抑える移行ツールを提供します。
対応データソース
Zilliz Cloud は主要なベクトルデータベースおよび検索プラットフォームからの移行をサポートしています。
| データソース | 種類 | 主な機能 |
|---|---|---|
| Pinecone | ベクトルデータベース | 類似検索を備えたサーバーレスインデックス |
| Qdrant | ベクトルデータベース | オープンソースエンジン、クラウドおよびセルフホスト対応 |
| Elasticsearch | 検索エンジン | フルテキスト検索を備えた dense ベクトルのサポート |
| PostgreSQL | リレーショナルデータベース | ベクトル拡張（pgvector）のサポート |
| Tencent Cloud VectorDB | マネージドサービス | マネージドベクトルデータベースサービス |
| OpenSearch | 検索プラットフォーム | ベクトル機能を持つ KNN プラグイン |
コア機能
移行ツールには、データ構造を Zilliz Cloud に最適に適合させるための豊富な設定オプションが用意されています。
機能カテゴリ | 機能 | 説明 |
|---|---|---|
スキーマ制御 | フィールド名のカスタマイズ | 移行中にフィールド名を変更して、好みの命名スタイルに合わせる |
動的フィールドから固定フィールドへ | 柔軟なメタデータを固定の構造化フィールドに変換し、パフォーマンスを向上させます。 メタデータにテキストが含まれている場合、それを固定フィールドに変換すると | |
追加フィールド | 変化する要件に対応するため、ソースデータに含まれない新しいフィールドを追加 | |
データ型マッピング | Zilliz Cloud はフィールド型を自動検出してマッピングし、必要に応じて手動で調整することもできます | |
コレクション設定 | スマート命名 | デフォルトでは、Zilliz Cloud はターゲットコレクションに対してソーステーブル名を保持します。重複した名前が検出された場合、ユーザーが名前を変更できるようにシステムがエラー通知を出します。ソーステーブル名にハイフン（ |
シャード設定 | データのクエリ方法に合わせてデータ分散を設定 | |
パーティション戦略 | 自動パーティショニングまたはカスタムグルーピングのいずれかを使用してデータを整理 | |
データ整合性 | 主キー処理 | レコードの一意識別子を作成、保持、または変更 |
フィールド属性 | フィールドに null 値を含められるかどうかを設定し、デフォルト値を定義 | |
検証チェック | 移行の詳細を示す詳細な移行レポートにアクセス | |
Full Text Search | 移行中に VARCHAR フィールドに対して Full Text Search を有効化 | Advanced settings → Function で設定し、移行中に VARCHAR フィールドの Full Text Search を有効化します。 ソースのメタデータにテキストが含まれている場合は、Convert to Fixed Field を使用してテキストメタデータから VARCHAR を作成します。詳細は Full Text Search を参照してください。 |
移行プロセス
移行は、データ整合性を確保し、プロセス全体を通じて可視性を提供するよう設計された 3 フェーズのアプローチに従います。
フェーズ 1: 接続と設定
-
接続を確立: 認証情報（API キー、接続文字列）を指定してソースシステムへアクセスし、接続をテストします
-
ソースデータを選択: 移行する特定のインデックス、コレクション、またはテーブルを選択します
-
ターゲットを設定: 宛先として Zilliz Cloud クラスターとデータベースを選択します
フェーズ 2: マッピングを確認
このフェーズには 2 つの主要コンポーネントがあります。
スキーママッピング
-
自動検出: システムがベクトルフィールド、スカラーフィールド、およびメタデータを識別します
-
フィールドのカスタマイズ: 必要に応じてフィールド名と型を調整します
-
型変換: ソースとターゲット間のデータ型マッピングを確認して確定します
-
高度なオプション: 要件に応じてシャード、パーティションキー、および NULL 許容フィールドを設定します
シャード設定
最適なパフォーマンスのために、データ量に基づいてシャードを設定します。
-
小規模データセット（≤100M 行）: 通常は単一シャードで十分です
-
大規模データセット（>1B 行）: 最適なシャード構成については サポートにお問い合わせください
フェーズ 3: 移行と検証
設定が完了したら、移行を実行して進行状況を追跡します。
-
リアルタイム監視: Jobs ページで移行ステータスを追跡
-
進行状況インジケーター: 移行済み行数、エラー数、推定完了時間を表示
-
エラー処理: 問題が発生した場合は詳細なコードログを確認
-
検証: 自動行数検証によりデータの完全性を保証
制限事項
移行を開始する前に、サポートされているすべてのデータソースに共通して適用される以下の制限事項を確認してください。
| 考慮事項 | 影響 | 対処方法 |
|---|---|---|
| 自動インデックス作成やロードなし | コレクションはすぐにはクエリできません | 移行後に手動でインデックスを作成し、コレクションをロードしてください。詳細な手順については、AUTOINDEX Explained および Load & Release を参照してください。 |
| 空のソースデータ | 空のインデックス/テーブルは選択できません | 移行前にソースにデータが含まれていることを確認してください |
| ベクトルフィールド要件 | コレクションにはベクトルデータが含まれている必要があります | 移行前にソースにベクトルフィールドがあることを確認してください |
| 非対応のデータ型 | 一部の特殊なデータ型は転送されない場合があります | データ型マッピングについては、プラットフォーム別ガイドを確認してください |
はじめに
Zilliz Cloud へのデータ移行を始める準備はできましたか？
移行ポータルにアクセス
テキストデータ向けに Full Text Search を設定
ソースにテキストが含まれている場合、移行中に Full Text Search を設定してテキスト取得を改善できます。詳細は Full Text Search を参照してください。
プラットフォーム別移行ガイド
お使いのプラットフォームに固有の詳細手順、前提条件、およびデータマッピング情報については、以下を参照してください。