NumPyファイルからインポート

NPY形式は、NumPyの標準バイナリ形式であり、形状とdtype情報を含む単一の配列を保存し、異なるマシンで正しく再構築できるようにします。生データをParquetファイルに準備するには、BulkWriterツールを使用することをお勧めします。次の図は、生データを. npyファイルのセットにマップする方法を示しています。

data_import-preparetion_en

📘ノート

AutoIDを有効にするかどうか

「id」フィールドは、コレクションのプライマリフィールドとして機能します。プライマリフィールドを自動的にインクリメントするには、スキーマで「AutoID」を有効にします。この場合、ソースデータの各行から「id」フィールドを除外する必要があります。

動的フィールドを有効にするかどうか

ターゲットコレクションで動的フィールドが有効になっている場合、定義済みスキーマに含まれていないフィールドを格納する必要がある場合は、書き込み操作中に$meta列を指定し、対応するキー値データを指定できます。

大文字と小文字を区別する

ディクショナリのキーとコレクションのフィールド名は大文字と小文字を区別します。データ内のディクショナリのキーがターゲットコレクションのフィールド名と完全に一致するようにしてください。ターゲットコレクションにidという名前のフィールドがある場合、各エンティティディクショナリにはidという名前のキーが必要です。IDまたはIdを使用するとエラーが発生します。

ディレクトリ構造

NumPyファイルとしてデータを準備するには、以下のツリー図に示すように、同じサブセットのすべてのファイルをフォルダに置くし、これらのフォルダをソースフォルダ内にグループ化します。

├── numpy-folders
│       ├── 1
│       │   ├── id.npy
│       │   ├── vector.npy
│       │   ├── scalar_1.npy
│       │   ├── scalar_2.npy
│       │   └── $meta.npy 
│       └── 2
│           ├── id.npy
│           ├── vector.npy
│           ├── scalar_1.npy
│           ├── scalar_2.npy
│           └── $meta.npy  

データのインポート

データの準備ができたら、次のいずれかの方法を使用して、Zilliz Cloudコレクションにデータをインポートできます。

📘ノート

ファイルが比較的小さい場合は、フォルダまたは複数パスの方法を使用して一度にすべてをインポートすることをお勧めします。このアプローチにより、インポート過程で内部最適化が可能になり、後でリソースの消費を減らすことができます。

Milvus SDKを使用して、Zilliz Cloudコンソールからデータをインポートすることもできます。詳細については、「データのインポート(コンソール)」および「データのインポート(SDK)」を参照してください。

NumPyファイルフォルダのリストからファイルをインポートする（推奨）

複数のパスからファイルをインポートする場合は、各NumPyファイルフォルダーパスを個別のリストに含め、次のコード例のようにすべてのリストを上位レベルのリストにグループ化します。

curl --request POST \
     --url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
     --header "Authorization: Bearer ${TOKEN}" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     -d '{
        "clusterId": "inxx-xxxxxxxxxxxxxxx",
        "collectionName": "medium_articles",
        "partitionName": "",
        "objectUrls": [
            ["s3://bucket-name/numpy-folder-1/1/"],
            ["s3://bucket-name/numpy-folder-2/1/"],
            ["s3://bucket-name/numpy-folder-3/1/"]
         ],
        "accessKey": "",
        "secretKey": ""
    }'

NumPyファイルフォルダからファイルをインポートする

ソースフォルダにインポートするNumPyファイルフォルダのみが含まれている場合は、次のようにソースフォルダを要求に含めることができます。

curl --request POST \
     --url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
     --header "Authorization: Bearer ${TOKEN}" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     -d '{
        "clusterId": "inxx-xxxxxxxxxxxxxxx",
        "collectionName": "medium_articles",
        "partitionName": "",
        "objectUrls": [
            ["s3://bucket-name/numpy-folder/1/"]
         ],
        "accessKey": "",
        "secretKey": ""
    }'

ストレージパス

Zilliz Cloudは、クラウドストレージからのデータインポートをサポートしています。以下の表は、データファイルの可能なストレージパスを示しています。

クラウド	クイックな例
AWS S3	`s3://bucket-name/numpy-folder/`
Google Cloud Storage	`gs://bucket-name/numpy-folder/`
Azure Bolb	`https://myaccount.blob.core.windows.net/bucket-name/numpy-folder/`

限界

有効なNumPyファイルのセットは、ターゲットコレクションのスキーマ内のフィールドにちなんで名前が付けられ、それらのデータは対応するフィールド定義と一致する必要があります。

アイテム	説明する
一度に複数のファイルをインポートする	はい
第1レベルのサブフォルダからのデータインポート	はい
第1レベルのサブフォルダの最大数	100
インポートごとの最大ファイル体格	クラスタの空き容量:合計512 MB サーバーレス&専用クラスター: 各第1レベルのサブフォルダのファイル体格の合計: 10 GB ファイルの体格: 100 GB
使用可能なデータファイルの場所	リモートファイルのみ

「データファイルの準備」を参照して、自分でデータを再構築するか、BulkWriterツールを使用してソースデータファイルを生成できます。上の図のスキーマに基づいて準備されたサンプルデータをダウンロードするには、ここをクリックしてください。

ディレクトリ構造​

データのインポート​

NumPyファイルフォルダのリストからファイルをインポートする（推奨）​

NumPyファイルフォルダからファイルをインポートする​

ストレージパス​

限界​

ディレクトリ構造

データのインポート

NumPyファイルフォルダのリストからファイルをインポートする（推奨）

NumPyファイルフォルダからファイルをインポートする

ストレージパス

限界