データインポート(RESTful API)
このページでは、Zilliz CloudのRESTful APIを介して準備したデータをインポートする方法を紹介します。
事前準備
以下の条件が満たされていることを確認してください。
-
クラスターのAPIキーを取得しています。詳細については、APIキーを参照してください。
-
サポートされている形式のいずれかでデータを準備しています。
データの準備方法の詳細については、ストレージオプションおよびフォーマットオプションを参照してください。また、エンドツーエンドのノートブックであるデータインポートハンズオンも参照できます。
-
サンプルデータセットに一致するスキーマを持つコレクションを作成しています。
コレクション作成の詳細については、コレクションの管理(コンソール)を参照してください。
データのインポート
外部ストレージからファイルのデータをインポートするには、最初にファイルをオブジェクトストレージバケットにアップロードする必要があります。アップロード後、リモートバケット内のファイルへのパスとバケットの認証情報を取得し、Zilliz Cloudがバケットからデータを取得できるようにします。サポートされているオブジェクトパスの詳細については、ストレージオプションを参照してください。
データセキュリティ要件に基づき、データインポート中に長期または短期の認証情報のいずれかを使用できます。
認証情報の取得方法については、以下を参照してください。
-
Amazon S3: 長期認証情報を使用した認証
-
Google Cloud Storage: サービスアカウントのHMACキーの管理
-
Azure Blob Storage: アカウントアクセスキーの表示
セッショントークンの使用方法については、このFAQを参照してください。
データインポートが成功するように、ターゲットコレクションに実行中または保留中のインポートジョブが10,000個未満であることを確認してください。
オブジェクトパスとバケットの認証情報を取得したら、以下のようにAPIを呼び出します。
# urlとtokenを自分のものに置き換えてください
curl --request POST \
--url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Accept: application/json" \
--header "Content-Type: application/json" \
-d '{
"clusterId": "inxx-xxxxxxxxxxxxxxx",
"collectionName": "medium_articles",
"partitionName": "",
"objectUrl": "https://assets.zilliz.com/docs/example-data-import.json",
"accessKey": "",
"secretKey": ""
}'
特定のパーティションにデータをインポートするには、リクエストにpartitionNameを含める必要があります。
上記のリクエストをZilliz Cloudが処理すると、ジョブIDが返されます。以下のコマンドでこのジョブIDを使用してインポートの進行状況を監視できます。
curl --request POST \
--url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/getProgress" \
--header "Authorization: Bearer ${TOKEN}" \
--header "Accept: application/json" \
--header "Content-Type: application/json" \
-d '{
"clusterId": "inxx-xxxxxxxxxxxxxxx",
"jobId": "job-xxxxxxxxxxxxxxxxxxxxx"
}'
詳細については、インポートおよびインポートジョブの進行状況の取得を参照してください。
結果の確認
コマンド出力が以下に似ている場合、インポートジョブは正常に送信されています。
{
"code": 0,
"data": {
"jobId": "job-xxxxxxxxxxxxxxxxxxxxx"
}
}
RESTful APIを呼び出して現在のインポートジョブの進行状況を取得したり、すべてのインポートジョブを一覧表示することもできます。または、Zilliz Cloudコンソールのジョブセンターに移動して結果とジョブの詳細を表示することもできます。