外部移行の基本
外部移行は、ベクターデータベースおよび検索システムをZilliz Cloudに移動するプロセスを簡素化します。PineconeやQdrantなどのベクターデータベースから移行する場合でも、ElasticsearchやOpenSearchなどのベクター機能付き検索エンジンから移行する場合でも、Zilliz Cloudは移行の複雑さを最小限に抑えながらデータの完全性を確保するための移行ツールを提供します。
サポートされているデータソース
Zilliz Cloudは、主要なベクターデータベースおよび検索プラットフォームからの移行をサポートしています：
データソース | タイプ | 主要機能 |
|---|---|---|
ベクターデータベース | 類似検索機能付きサーバーレスインデックス | |
ベクターデータベース | オープンソースエンジン、クラウドおよびセルフホスト | |
検索エンジン | 全文検索機能付き密ベクター対応 | |
リレーショナルデータベース | ベクター拡張機能（pgvector）対応 | |
管理サービス | 管理されたベクターデータベースサービス | |
検索プラットフォーム | KNNプラグイン、ベクター機能対応 |
主要機能
移行ツールは、データ構造がZilliz Cloudに完全に適合するように幅広い構成オプションを提供します：
機能カテゴリ | 機能 | 説明 |
|---|---|---|
スキーマ管理 | フィールド名のカスタマイズ | 移行中に好ましい命名スタイルに合わせてフィールド名を変更する |
動的から固定フィールド | <p>柔軟なメタデータを固定された構造化フィールドに変換してパフォーマンスを向上。 メタデータにテキストが含まれている場合、それを固定フィールドに変換すると | |
追加フィールド | ソースデータを超える新しいフィールドを追加して、進化する要件に対応する | |
データ型マッピング | Zilliz Cloudはフィールド型を自動的に検出およびマッピングし、手動で調整するオプションもあります | |
コレクション設定 | スマートネーミング | デフォルトでは、Zilliz Cloudはソーステーブル名をターゲットコレクション用に保持します。重複する名前が検出された場合、システムはエラーアラートを発行してユーザーが名前を変更できるようにします。ハイフン（ |
シャード構成 | データクエリ計画に合わせてデータ分散を設定 | |
パーティション戦略 | 自動パーティショニングまたはカスタムグループ化を使用してデータを整理 | |
データ完全性 | 主キー処理 | レコードの固有識別子を作成、保持、または変更する |
フィールド属性 | フィールドがNULL値を含む可能性があるかどうかを設定し、デフォルト値を定義する | |
検証チェック | 移行詳細を表示する詳細な移行レポートにアクセスする | |
全文検索 | 移行中にVARCHARフィールドの全文検索を有効化 | 詳細設定 → 機能で構成して、移行中にVARCHARフィールドの全文検索を有効化。 ソースにメタデータにテキストが含まれている場合、固定フィールドに変換を使用してテキストメタデータからVARCHARを作成します。詳細については、全文検索を参照してください。 |
移行プロセス
移行は、データの完全性を確保し、プロセス全体を可視化するように設計された3段階アプローチに従います：
フェーズ1: 接続と構成
-
接続確立: 認証資格情報（APIキー、接続文字列）を提供してソースシステムにアクセスし、接続をテスト
-
ソースデータ選択: 移行する特定のインデックス、コレクション、またはテーブルを選択
-
ターゲット構成: Zilliz Cloudクラスターとデータベースを宛先として選択
フェーズ2: マッピングの確認
このフェーズには2つのキーコンポーネントが含まれます：
スキーママッピング
-
自動検出: システムがベクター filed、スカラー filed、およびメタデータを識別
-
フィールドカスタマイズ: 必要に応じてフィールド名と型を調整
-
型変換: ソースとターゲット間のデータ型マッピングを確認して確定
-
高度なオプション: 要件に応じてシャード、パーティションキー、および NULL 許容フィールドを構成
シャード設定
パフォーマンスを最適化するには、データ量に応じてシャードを構成してください：
-
小型データセット（≤1億件の行）：通常は単一シャードで十分
-
大規模データセット（>10億件の行）：最適なシャード構成についてはサポートに連絡してください
フェーズ3: 移行と検証
構成が完了すると、移行を実行し進行状況を追跡します：
-
リアルタイムモニタリング: ジョブページで移行状況を追跡
-
進行状況表示: 移行された行数、エラー数、推定完了時間の表示
-
エラー処理: 問題が発生した場合は詳細なコードログを確認
-
検証: 自動行数検証によりデータの完全性を確保
制限
移行を始める前に、サポートされているすべてのデータソースに共通するこれらの一般的な制限を認識しておく必要があります：
考慮事項 | 影響 | 解決策 |
|---|---|---|
自動インデックス作成またはロードなし | コレクションは即座にクエリ可能にならない | 移行後に手動でインデックスを作成し、コレクションをロードします。詳細手順については、ベクター検索のインデックス作成およびロードとリリースを参照してください。 |
空のソースデータ | 空のインデックス/テーブルは選択できません | 移行前にソースにデータが含まれていることを確認してください |
ベクターフール要件 | コレクションにはベクターのデータが含まれている必要があります | 移行前にソースにベクターフールが含まれていることを確認してください |
サポートされていないデータ型 | 一部の特殊なデータ型は転送できない場合があります | データ型マッピングについては、プラットフォーム固有のガイドを確認してください |
はじめに
Zilliz Cloudにデータを移行する準備ができましたか？
移行ポータルへのアクセス
-
Zilliz Cloudコンソールにログイン
-
移行に移動し、ソースプラットフォームを選択
-
ガイド付きワークフローに従って移行を完了
テキストデータに対して全文検索を構成
ソースにテキストが含まれている場合、移行中に全文検索を構成してテキスト検索を改善できます。詳細については、全文検索を参照してください。
プラットフォーム固有の移行ガイド
プラットフォームに固有の詳細な指示、前提条件、およびデータマッピング情報については：