メインコンテンツまでスキップ

JSON/JSON Lines ファイルからのインポート

JSON (JavaScript Object Notation) は、機械が容易に解析・生成できる軽量で人間が読みやすいデータ形式です。言語に依存せず、C 系言語のプログラマーに馴染みのある規則に従っているため、データ交換形式として最適です。

JSON Line は、各行が完全かつ有効な JSON オブジェクトであるテキスト形式です。標準的なテキストツールを使用してデータストリームを逐次的に処理できます。

次の表に、JSON または JSON Line ファイルのデータ例を示します。

ファイル形式

例

JSON (.json)

 [     {"primary_key":89,"vector":[0.7857309327639853,0.6185684289533679]},     {"primary_key":-22,"vector":[0.7227987733802379,0.6910585598920134]},     {"primary_key":85,"vector":[0.7948503430666686,0.6068055142521362]} ]

JSON Lines (.ndjson, .jsonl)

 {"primary_key":89,"vector":[0.7857309327639853,0.6185684289533679]} {"primary_key":-22,"vector":[0.7227987733802379,0.6910585598920134]} {"primary_key":85,"vector":[0.7948503430666686,0.6068055142521362]}

生データを JSON ファイルとして準備するには、BulkWriter ツールの使用を推奨します。次の図は、生データを JSON ファイルにマッピングする方法を示しています。

json_data_structure

📘Notes

  • AutoID の有効化

    id フィールドはコレクションのプライマリフィールドとして機能します。プライマリフィールドを自動インクリメントにするには、スキーマで AutoID を有効にします。この場合、ソースデータの各行から id フィールドを除外する必要があります。

  • 動的フィールドの有効化

    対象のコレクションで動的フィールドが有効になっている場合、事前定義されたスキーマに含まれないフィールドを保存するには、書き込み時に $meta 列を指定し、対応するキーと値のデータを提供します。

  • 大文字と小文字の区別

    辞書キーとコレクションのフィールド名は大文字と小文字が区別されます。データ内の辞書キーが、対象コレクションのフィールド名と完全に一致していることを確認してください。例えば、対象コレクションに id というフィールドがある場合、各エンティティの辞書には id というキーが必要です。ID や Id を使用するとエラーになります。

ディレクトリ構造​

データを JSON または JSON Lines ファイルとして準備する場合は、以下のツリー図に示すように、すべてのファイルをソースデータフォルダー直下に配置します。

plaintext
├── json-folder
│       ├── 1.json
│       └── 2.json

データのインポート​

データの準備ができたら、以下のいずれかの方法で Zilliz Cloud コレクションにインポートできます。

📘Notes

ファイルサイズが比較的小さい場合は、フォルダーまたは複数パスの方法を使用して一括でインポートすることを推奨します。これによりインポート処理中の内部最適化が働き、その後のリソース消費を抑えられます。

Zilliz Cloud コンソールや Milvus SDK を使用してデータをインポートすることもできます。詳細については、データのインポート（コンソール） および データのインポート（SDK） を参照してください。

複数のパスからファイルをインポートする場合は、各 JSON ファイルのパスを個別のリストに含め、以下のコード例のようにそれらのリストを上位のリストにまとめます。

bash
curl --request POST \
     --url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
     --header "Authorization: Bearer ${TOKEN}" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     -d '{
        "clusterId": "inxx-xxxxxxxxxxxxxxx",
        "collectionName": "medium_articles",
        "partitionName": "",
        "objectUrls": [
            ["s3://bucket-name/json-folder-1/1.json"],
            ["s3://bucket-name/json-folder-2/1.json"],
            ["s3://bucket-name/json-folder-3/"]
         ],
        "accessKey": "",
        "secretKey": ""
    }'

フォルダーからファイルをインポート​

ソースフォルダーにインポート対象のファイルが含まれている場合は、以下のようにリクエストにソースフォルダーを指定できます。

bash
curl --request POST \
     --url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
     --header "Authorization: Bearer ${TOKEN}" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     -d '{
        "clusterId": "inxx-xxxxxxxxxxxxxxx",
        "collectionName": "medium_articles",
        "partitionName": "",
        "objectUrls": [
            ["s3://bucket-name/json-folder/"]
         ],
        "accessKey": "",
        "secretKey": ""
    }'
📘Notes

フォルダー内に複数の形式のファイルが含まれている場合、リクエストは失敗します。

単一ファイルをインポート​

準備したデータが単一の JSON ファイルである場合は、以下のコード例のようにインポートします。

bash
curl --request POST \
     --url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
     --header "Authorization: Bearer ${TOKEN}" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     -d '{
        "clusterId": "inxx-xxxxxxxxxxxxxxx",
        "collectionName": "medium_articles",
        "partitionName": "",
        "objectUrls": [
            ["s3://bucket-name/json-folder/1.json"]
         ],
        "accessKey": "",
        "secretKey": ""
    }'

ストレージパス​

Zilliz Cloud はクラウドストレージからのデータインポートをサポートしています。データファイルに使用可能なストレージパスを下表に示します。

クラウドクイック例
AWS S3s3://bucket-name/json-folder/
s3://bucket-name/json-folder/data.json
Google Cloud Storagegs://bucket-name/json-folder/
gs://bucket-name/json-folder/data.json
Azure Bolbhttps://myaccount.blob.core.windows.net/bucket-name/json-folder/
https://myaccount.blob.core.windows.net/bucket-name/json-folder/data.json

制限事項​

ローカルの JSON ファイルやクラウドストレージ上の JSON ファイルをインポートする際は、以下の制限事項に従ってください。

📘Notes

有効な JSON ファイルには rows というルートキーが必要であり、その値は辞書のリストでなければなりません。各辞書は、対象コレクションのスキーマに適合するエンティティを表します。

インポート方法1回のインポートあたりの最大ファイル数最大ファイルサイズ最大合計インポートサイズ
ローカルファイルから1 ファイル1 GB1 GB
オブジェクトストレージから1,000 ファイル10 GB1 TB

データファイルの準備を参照して手動でデータを作成するか、BulkWriter ツールを使用してソースデータファイルを生成できます。上記の図のスキーマに基づいたサンプルデータはこちらからダウンロードできます。

Ctrl I