メインコンテンツまでスキップ

データのインポート（Console）

このページでは、準備したデータを Zilliz Cloud コンソールでインポートする方法を紹介します。

Web UI でデータをインポートする​

データファイルの準備ができたら、ローカルドライブから直接インポートするか、AWS S3、Google Cloud GCS、Azure Blob Storage などのオブジェクトストレージバケットにアップロードしてデータをインポートできます。

Notes

  • コレクション内では、最大 10,000 件の実行中または保留中のインポートジョブを保持できます。

  • Web コンソールでは、最大 1 GB のローカル JSON または Parquet ファイルのアップロードをサポートしています。より大きいファイルについては、代わりにオブジェクトストレージからアップロードすることを推奨します。データのインポートで問題が発生した場合は、サポートチケットを作成してください。

ローカルファイル​

Zilliz Cloud は、ローカルの JSON または Parquet ファイルからのデータインポートをサポートしています。データが NumPy 形式で準備されている場合は、オブジェクトストレージバケットからインポートしてください。

ローカルファイルからデータをインポートするには、アップロード領域にファイルをドラッグ＆ドロップして、Import をクリックします。

オブジェクトストレージバケット内のリモートファイル​

リモートファイルをインポートするには、まずそれらをリモートバケットにアップロードする必要があります。生データをサポートされている形式に簡単に変換し、結果ファイルを BulkWriter ツールを使用してアップロードできます。

準備したファイルをリモートバケットにアップロードしたら、オブジェクトストレージサービスを選択し、リモートバケット内のファイルパスと、Zilliz Cloud がバケットからデータを取得するためのバケット認証情報を入力します。

データセキュリティ要件に応じて、データインポート時に長期認証情報または短期トークンのいずれかを使用できます。

認証情報の取得方法の詳細については、次を参照してください。

短期トークンの使用に関する詳細については、この FAQ を参照してください。

Notes

Zilliz Cloud では、クラスターをホストしているクラウドプロバイダーに関係なく、任意のオブジェクトストレージサービスから任意の Zilliz Cloud クラスターにデータをインポートできるようになりました。たとえば、AWS S3 バケットから GCP にデプロイされた Zilliz Cloud クラスターにデータをインポートできます。

低レイテンシで安定したエクスペリエンスを確保するには、ターゲットクラスターと同じプロバイダーおよび同じリージョンのバケットまたは BLOB コンテナーを使用することをお勧めします。

volume から​

  • Managed volume: ローカルファイルが非常に大きい場合（1 GB 超）、まずファイルを managed volume にアップロードしてから、その volume からインポートできます。準備したファイルを volume にアップロードしたら、ファイルパスをコピーし、コレクションへのファイルのインポートを続行します。

  • External volume: データファイルがクラウドオブジェクトストレージバケット内にある場合は、そのバケットにマッピングされる external volume を作成できます。その後、毎回認証情報を指定することなく、external volume から直接データをインポートできます。

次のデモは、managed volume からデータをインポートする方法を示しています。

結果を確認する​

インポートジョブの進行状況とステータスは、Jobs ページで確認できます。

サポートされているオブジェクトパス​

適用可能なオブジェクトパスについては、Storage Options および Format Options を参照してください。

FAQ​

external volume と external storage からの直接インポートの違いは何ですか？

どちらも、自分の S3 または GCS バケットからデータをインポートできます。主な違いは次のとおりです。

  • external volume では、認証情報管理のために AWS S3 bucket、Google Cloud Storage bucket、または Microsoft Azure blob storage container を Zilliz Cloud と統合する必要があります。認証情報は一度設定すれば、複数の volume や操作で再利用できます。データエンジニアはクラウドストレージキーに直接アクセスする必要がありません。

  • 直接の external storage import では、インポート要求ごとに認証情報（access key と secret key）を指定する必要があります。これは一度きりのインポートには簡単ですが、認証情報の分離や再利用性は提供されません。

Ctrl I