データのインポート(コンソール)
このページでは、Zilliz Cloudコンソールで準備したデータをインポートする方法を紹介します。
Web UIでのデータインポート
データファイルの準備ができたら、ローカルドライブから直接インポートするか、AWS S3やGoogle Cloud GCS、Azure Blob Storageなどのオブジェクトストレージバケットにアップロードしてデータインポートを行うことができます。
コレクションには最大で10,000件の実行中または保留中のインポートジョブを持つことができます。
Webコンソールでは、最大1 GBのローカルJSONファイルまたはParquetファイルのアップロードをサポートしています。より大きなファイルの場合は、代わりにオブジェクトストレージからのアップロードを推奨します。データインポートに関する問題が発生した場合は、サポートチケットを作成してください。
ローカルファイル
Zilliz Cloudは、ローカルJSONファイルまたはParquetファイルからのデータインポートをサポートしています。データがNumPy形式で準備されている場合は、オブジェクトストレージバケットからのインポートを行ってください。
ローカルファイルからデータをインポートするには、ファイルをアップロード領域にドラッグ&ドロップして、インポートをクリックしてください。
オブジェクトストレージバケットからのリモートファイル
リモートファイルをインポートするには、まずリモートバケットにアップロードする必要があります。生データをサポートされている形式に変換し、BulkWriterツールを使用して結果のファイルをアップロードできます。
準備したファイルをリモートバケットにアップロードしたら、オブジェクトストレージサービスを選択し、リモートバケット内のファイルパスとバケットの認証情報を入力して、Zilliz Cloudがバケットからデータをプルできるようにします。
データセキュリティ要件に応じて、データインポート中に長期認証情報または短期トークンのいずれかを使用できます。
認証情報の取得方法の詳細については、以下を参照してください:
-
Amazon S3: 長期認証情報を使用した認証
-
Google Cloud Storage: サービスアカウントのHMACキーの管理
-
Azure Blob Storage: アカウントアクセスキーの表示
短期トークンの使用方法の詳細については、このFAQを参照してください。
Zilliz Cloudでは、クラスターをホストしているクラウドプロバイダに関係なく、任意のオブジェクトストレージサービスから任意のZilliz Cloudクラスターにデータをインポートできます。たとえば、AWS S3バケットからGCPに展開されたZilliz Cloudクラスターにデータをインポートできます。
結果の確認
インポートジョブの進行状況とステータスは、ジョブページで確認できます。
サポートされているオブジェクトパス
対応するオブジェクトパスについては、ストレージオプションおよびフォーマットオプションを参照してください。