データインポート (コンソール)
このページでは、Zilliz Cloud コンソールで準備されたデータをインポートする方法について説明します。
Web UI でデータをインポートする
データファイルが準備できたら、ローカルドライブから直接インポートするか、AWS S3 や Google Cloud GCS、Azure Blob Storage などのオブジェクトストレージバケットにアップロードしてデータをインポートできます。
1つのコレクションで、最大10,000件の実行中または保留中のインポートジョブを持つことができます。
Web コンソールは、最大1GBのローカルJSONまたはParquetファイルのアップロードをサポートしています。より大きなファイルの場合は、オブジェクトストレージからのアップロードをお勧めします。データインポートで問題が発生した場合は、サポートチケットを作成してください。
ローカルファイル
Zilliz Cloud は、ローカルの JSON または Parquet ファイルからのデータインポートをサポートしています。データが NumPy 形式で準備されている場合は、オブジェクトストレージバケットからインポートしてください。
ローカルファイルからデータをインポートするには、ファイルをアップロードエリアにドラッグアンドドロップし、Import をクリックします。
オブジェクトストレージバケットからのリモートファイル
リモートファイルをインポートするには、まずそれらをリモートバケットにアップロードする必要があります。BulkWriter ツールを使用して、生のデータをサポートされている形式に簡単に変換し、結果ファイルをアップロードできます。
準備されたファイルをリモートバケットにアップロードしたら、オブジェクトストレージサービスを選択し、リモートバケット内のファイルへのパスと、Zilliz Cloud がバケットからデータをプルするためのバケット認証情報を入力します。
データのセキュリティ要件に基づいて、データインポート中に長期認証情報または短期トークンのいずれかを使用できます。
認証情報の取得に関する詳細については、以下を参照してください。
-
Amazon S3: 長期認証情報を使用した認証
-
Google Cloud Storage: サービスアカウントの HMAC キーの管理
-
Azure Blob Storage: アカウントアクセスキーの表示
短期トークンの使用に関する詳細については、この FAQ を参照してください。
Zilliz Cloud では、クラウドプロバイダーがクラスターをホストしているかどうかにかかわらず、任意のオブジェクトストレージサービスから任意の Zilliz Cloud クラスターにデータをインポートできるようになりました。たとえば、AWS S3 バケットから GCP にデプロイされた Zilliz Cloud クラスターにデータをインポートできます。
ボリュームにアップロードされたファイル
ローカルファイルが非常に大きい場合 (> 1GB)、まずファイルをボリュームにアップロードしてから、ボリュームからインポートできます。
準備されたファイルをボリュームにアップロードしたら、ファイルパスをコピーし、コレクションにファイルをインポートし続けます。
結果の確認
インポートジョブの進行状況とステータスは、ジョブ ページで確認できます。
サポートされているオブジェクトパス
適用可能なオブジェクトパスについては、ストレージオプションとフォーマットオプションを参照してください。