メインコンテンツまでスキップ
バージョン: User Guides (Cloud)

データのインポート (コンソール)

このページでは、Zilliz Cloud コンソールで準備済みのデータをインポートする方法について説明します。

Web UI でのデータのインポート​

データファイルの準備が整ったら、ローカルドライブから直接インポートするか、AWS S3、Google Cloud GCS、Azure Blob Storage などのオブジェクトストレージバケットにアップロードして データインポート に使用できます。

📘Notes

  • コレクション内で実行中または保留中のインポートジョブは最大 10,000 件まで可能です。

  • Web コンソールでは、最大 1 GB のローカル JSON または Parquet ファイルをアップロードできます。より大きなファイルの場合は、オブジェクトストレージからアップロードすることをお勧めします。データのインポートに関して問題がある場合は、サポートチケットを作成してください。

ローカルファイル​

Zilliz Cloud は、ローカルの JSON または Parquet ファイルからのデータのインポートをサポートしています。データが NumPy 形式で準備されている場合は、オブジェクトストレージバケット からインポートしてください。

ローカルファイルからデータをインポートするには、ファイルをアップロードエリアにドラッグ＆ドロップし、Import をクリックします。

オブジェクトストレージバケットからのリモートファイル​

リモートファイルをインポートするには、まずそれらをリモートバケットにアップロードする必要があります。生データをサポートされている形式に簡単に変換し、BulkWriter ツールを使用して 結果のファイルをアップロードできます。

準備したファイルをリモートバケットにアップロードしたら、オブジェクトストレージサービスを選択し、Zilliz Cloud がバケットからデータを取得できるように、リモートバケット内のファイルへのパスとバケットの認証情報を入力します。

データのセキュリティ要件に基づき、データのインポート時に長期認証情報または短期トークンのいずれかを使用できます。

認証情報の取得方法の詳細については、以下を参照してください：

短期トークンの使用方法の詳細については、こちらの FAQ を参照してください。

📘Notes

Zilliz Cloud では、クラスターをホストするクラウドプロバイダーに関係なく、任意のオブジェクトストレージサービスから任意の Zilliz Cloud クラスターへデータをインポートできるようになりました。たとえば、GCP にデプロイされた Zilliz Cloud クラスターに AWS S3 バケットからデータをインポートできます。

ボリュームから​

  • マネージドボリューム: ローカルファイルが非常に大きい (> 1GB) 場合、まず ファイルをマネージドボリュームにアップロード し、その後ボリュームからインポートできます。準備したファイルをボリュームにアップロードしたら、ファイルパスをコピーして、コレクションへのファイルのインポートを続行します。

  • 外部ボリューム: データファイルがクラウドオブジェクトストレージバケットにある場合、そのバケットにマップする 外部ボリューム を作成できます。その後、毎回認証情報を提供することなく、外部ボリュームから直接データをインポートできます。

以下のデモでは、マネージドボリュームからデータをインポートする方法を示しています。

結果の確認​

ジョブ ページで、インポートジョブの進捗状況とステータスを確認できます。

サポートされるオブジェクトパス​

適用可能なオブジェクトパスについては、ストレージオプション および フォーマットオプション を参照してください。

FAQ​

外部ボリュームと外部ストレージからの直接インポートの違いは何ですか？

どちらも独自の S3 または GCS バケットからデータをインポートできます。主な違いは以下の通りです：

  • 外部ボリュームは、認証情報管理のために ストレージ統合 を使用します。認証情報は一度設定すれば、複数のボリュームおよび操作で再利用できます。データエンジニアはクラウドストレージキーに直接アクセスする必要がありません。

  • 直接 外部ストレージインポート では、各インポートリクエストとともに認証情報（アクセスキー、シークレットキー）をインラインで提供する必要があります。これはワンタイムのインポートにはシンプルですが、認証情報の分離や再利用性は提供されません。