[説明] このページは機械翻訳された日本語版です。内容に誤りがございましたら、報告していただけると助かります。

Parquetファイルからのインポート

Contact Sales to Enable BYOC

Apache Parquetは、効率的なデータストレージと取得を目的としたオープンソースの列指向データファイル形式です。複雑なデータを一括して管理するための高性能な圧縮およびエンコーディング方式を提供し、さまざまなプログラミング言語およびアナリティクスツールでサポートされています。

バッチライターツールを使用して、生データをParquetファイルに変換することをお勧めします。以下の図は、生データをParquetファイルにどのようにマッピングできるかを示しています。

📘注意

• AutoIDを有効にするかどうか

idフィールドはコレクションの主フィールドとして機能します。主フィールドを自動的にインクリメントするには、スキーマでAutoIDを有効にできます。この場合、ソースデータの各行からidフィールドを除外する必要があります。

• 動的フィールドを有効にするかどうか

ターゲットコレクションで動的フィールドが有効になっている場合、事前定義されたスキーマに含まれていないフィールドを保存する必要がある場合は、書き込み操作中に$meta列を指定し、対応するキーと値のデータを提供できます。

• 大文字と小文字の区別

辞書キーとコレクションフィールド名は大文字と小文字を区別します。データ内の辞書キーがターゲットコレクションのフィールド名と正確に一致していることを確認してください。ターゲットコレクションにidという名前のフィールドがある場合、各エンティティ辞書にはidという名前のキーが含まれている必要があります。IDやIdを使用するとエラーになります。

ディレクトリ構造

データをParquetファイルに変換することを選択した場合、以下のツリー図に示すように、すべてのParquetファイルをソースデータフォルダに直接配置します。

├── parquet-folder
│       ├── 1.parquet
│       └── 2.parquet

データのインポート

データの準備ができたら、以下のいずれかの方法を使用してZilliz Cloudコレクションにインポートできます。

• 複数のパスからのファイルインポート（推奨）

• ソースフォルダからのファイルインポート

• 単一ファイルのインポート

📘注意

ファイルが比較的小さな場合は、フォルダまたは複数パスの方法を使用して一度にすべてをインポートすることをお勧めします。この方法により、インポートプロセス中に内部的な最適化が可能になり、後のリソース消費を減らすのに役立ちます。

Zilliz CloudコンソールまたはMilvus SDKを使用してデータをインポートすることもできます。詳細については、データのインポート（コンソール） および データのインポート（SDK） を参照してください。

複数のパスからのファイルインポート（推奨）

複数のパスからファイルをインポートする場合は、各Parquetファイルパスを別々のリストに含め、その後ですべてのリストをより上位のリストにグループ化します。以下のコード例を参照してください。

curl --request POST \
     --url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
     --header "Authorization: Bearer ${TOKEN}" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     -d '{
        "clusterId": "inxx-xxxxxxxxxxxxxxx",
        "collectionName": "medium_articles",
        "partitionName": "",
        "objectUrls": [
            ["s3://bucket-name/parquet-folder-1/1.parquet"],
            ["s3://bucket-name/parquet-folder-2/1.parquet"],
            ["s3://bucket-name/parquet-folder-3/"]
         ],
        "accessKey": "",
        "secretKey": ""
    }'

フォルダからのファイルインポート

ソースフォルダにインポートするParquetファイルのみが含まれている場合は、以下のようにリクエストにソースフォルダを単純に含めることができます。

curl --request POST \
     --url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
     --header "Authorization: Bearer ${TOKEN}" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     -d '{
        "clusterId": "inxx-xxxxxxxxxxxxxxx",
        "collectionName": "medium_articles",
        "partitionName": "",
        "objectUrls": [
            ["s3://bucket-name/parquet-folder/"]
         ],
        "accessKey": "",
        "secretKey": ""
    }'

単一ファイルのインポート

準備したデータファイルが単一のParquetファイルの場合は、以下のコード例に示すようにインポートします。

curl --request POST \
     --url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
     --header "Authorization: Bearer ${TOKEN}" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     -d '{
        "clusterId": "inxx-xxxxxxxxxxxxxxx",
        "collectionName": "medium_articles",
        "partitionName": "",
        "objectUrls": [
            ["s3://bucket-name/parquet-folder/1.parquet"]
         ],
        "accessKey": "",
        "secretKey": ""
    }'

ストレージパス

Zilliz Cloudはクラウドストレージからのデータインポートをサポートしています。以下の表は、データファイルの可能性のあるストレージパスを示しています。

クラウド	クイック例
AWS S3	s3://bucket-name/parquet-folder/ s3://bucket-name/parquet-folder/data.parquet
Google Cloud Storage	gs://bucket-name/parquet-folder/ gs://bucket-name/parquet-folder/data.parquet
Azure Blob	https://myaccount.blob.core.windows.net/bucket-name/parquet-folder/ https://myaccount.blob.core.windows.net/bucket-name/parquet-folder/data.parquet

制限事項

ローカルParquetファイルまたはクラウドストレージからParquetファイルでデータをインポートする際には、いくつかの制限事項に注意する必要があります。

インポート方法	1回のインポートあたりの最大ファイル数	最大ファイルサイズ	最大合計インポートサイズ
ローカルファイルから	1ファイル	1 GB	1 GB
オブジェクトストレージから	1,000ファイル	10 GB	1 TB

バッチライターツールを使用して、生データをparquetファイルに変換することをお勧めします。上記図のスキーマに基づいて準備されたサンプルデータをダウンロードするにはこちらをクリックしてください。