データのインポート (RESTful API)
このページでは、Zilliz Cloud RESTful API を使用して準備済みのデータをインポートする方法について説明します。
開始前に
以下の条件が満たされていることを確認してください:
-
クラスターの API キーを取得済みであること。詳細については、API キー を参照してください。
-
サポートされている形式のいずれかでデータを準備済みであること。
データの準備方法の詳細については、ストレージオプション および フォーマットオプション を参照してください。また、エンドツーエンドのノートブック データインポートハンズオン も参考にして、さらに詳しく学ぶことができます。
-
サンプルデータセットに一致するスキーマを持つコレクションを作成済みであること。
コレクションの作成方法の詳細については、コレクションの管理 (コンソール) を参照してください。
データのインポート
外部ストレージからファイルをインポートするには、まずファイルをオブジェクトストレージバケットにアップロードする必要があります。アップロード後、リモートバケット内のファイルへのパスと、Zilliz Cloud がバケットからデータを取得するためのバケット認証情報を取得してください。サポートされているオブジェクトパスの詳細については、ストレージオプション を参照してください。
データのセキュリティ要件に基づき、データインポート時に長期認証情報または短期認証情報のいずれかを使用できます。
認証情報の取得方法の詳細については、以下を参照してください:
-
Amazon S3: 長期認証情報を使用した認証
-
Google Cloud Storage: サービスアカウントの HMAC キーの管理
-
Azure Blob Storage: アカウントアクセスキーの表示
セッショントークンの使用方法の詳細については、こちらの FAQ を参照してください。
データのインポートを成功させるには、対象コレクションで実行中または保留中のインポートジョブが 10,000 未満であることを確認してください。
オブジェクトパスとバケット認証情報を取得したら、以下のように API を呼び出します:
# replace url and token with your own
curl --request POST \
--url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Accept: application/json" \
--header "Content-Type: application/json" \
-d '{
"clusterId": "inxx-xxxxxxxxxxxxxxx",
"collectionName": "medium_articles",
"partitionName": "",
"objectUrl": "https://assets.zilliz.com/docs/example-data-import.json",
"accessKey": "",
"secretKey": ""
}'
特定のパーティションにデータをインポートするには、リクエストに partitionName を含める必要があります。
Zilliz Cloud が上記のリクエストを処理した後、ジョブ ID が返されます。このジョブ ID を使用して、次のコマンドでインポートの進捗状況を監視できます。
curl --request POST \
--url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/getProgress" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Accept: application/json" \
--header "Content-Type: application/json" \
-d '{
"clusterId": "inxx-xxxxxxxxxxxxxxx",
"jobId": "job-xxxxxxxxxxxxxxxxxxxxx"
}'
詳細については、インポート および インポート進捗の取得 を参照してください。
結果の確認
コマンドの出力が以下と同様の場合、インポートジョブは正常に送信されています:
{
"code": 0,
"data": {
"jobId": "job-xxxxxxxxxxxxxxxxxxxxx"
}
}
RESTful API を呼び出して、現在のインポートジョブの進捗を取得したり、すべてのインポートジョブを一覧表示して詳細情報を取得することもできます。別の方法として、Zilliz Cloud コンソールの ジョブセンター にアクセスして、結果やジョブの詳細を確認することも可能です。