メインコンテンツまでスキップ

NumPy ファイルからのインポート

.npy 形式は、単一の配列を保存するための NumPy の標準バイナリ形式 です。配列の shape と dtype 情報が含まれているため、異なるマシンでも正しく再構築できることが保証されます。生データを Parquet ファイルとして準備するには、BulkWriter ツール の使用をお勧めします。以下の図は、生データを一連の .npy ファイルにマッピングする方法を示しています。

Caution

この機能は非推奨になりました。本番環境での使用はお勧めしません。

numpy_file_structure

Notes

  • AutoID を有効にするかどうか

    id フィールドはコレクションの主フィールドとして機能します。主フィールドを自動インクリメントにするには、スキーマで AutoID を有効にできます。この場合、ソースデータの各行から id フィールドを除外する必要があります。

  • 動的フィールドを有効にするかどうか

    ターゲットコレクションが動的フィールドを有効にしている場合、事前定義されたスキーマに含まれていないフィールドを保存する必要があるときは、書き込み操作中に $meta 列を指定し、対応するキーと値のデータを提供できます。

  • 大文字と小文字の区別

    辞書のキーとコレクションのフィールド名は大文字と小文字が区別されます。データ内の辞書のキーが、ターゲットコレクションのフィールド名と完全に一致していることを確認してください。ターゲットコレクションに id という名前のフィールドがある場合、各エンティティの辞書には id という名前のキーが必要です。ID や Id を使用するとエラーになります。

ディレクトリ構造​

データを NumPy ファイルとして準備するには、同じサブセットのすべてのファイルを 1 つのフォルダーにまとめ、以下のツリー図に示すように、これらのフォルダーをソースフォルダー内にグループ化します。

bash
├── numpy-folders
│       ├── 1
│       │   ├── id.npy
│       │   ├── vector.npy
│       │   ├── scalar_1.npy
│       │   ├── scalar_2.npy
│       │   └── $meta.npy 
│       └── 2
│           ├── id.npy
│           ├── vector.npy
│           ├── scalar_1.npy
│           ├── scalar_2.npy
│           └── $meta.npy

データのインポート​

データの準備ができたら、次のいずれかの方法で Zilliz Cloud コレクションにインポートできます。

Notes

ファイルが比較的小さい場合は、フォルダーまたは複数パスの方法を使用して、それらを一度にまとめてインポートすることをお勧めします。このアプローチにより、インポートプロセス中に内部的な最適化が可能になり、後続のリソース消費を抑えることができます。

Milvus SDK を使用して、Zilliz Cloud コンソールでもデータをインポートできます。詳細については、データのインポート（コンソール） および データのインポート（SDK） を参照してください。

複数のパスからファイルをインポートする場合は、各 NumPy ファイルフォルダーのパスを個別のリストに含め、次のコード例のように、すべてのリストを上位レベルのリストにまとめます。

bash
export TOKEN="YOUR_API_KEY"

curl --request POST \
     --url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
     --header "Authorization: Bearer ${TOKEN}" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     -d '{
        "clusterId": "inxx-xxxxxxxxxxxxxxx",
        "collectionName": "medium_articles",
        "partitionName": "",
        "objectUrls": [
            ["s3://bucket-name/numpy-folder-1/1/"],
            ["s3://bucket-name/numpy-folder-2/1/"],
            ["s3://bucket-name/numpy-folder-3/1/"]
         ],
        "accessKey": "YOUR_ACCESS_KEY",
        "secretKey": "YOUR_SECRET_KEY"
    }'

NumPy ファイルフォルダーからファイルをインポートする​

ソースフォルダーに、インポートする NumPy ファイルフォルダーのみが含まれている場合は、次のようにソースフォルダーをリクエストに含めるだけで済みます。

bash
export TOKEN="YOUR_API_KEY"

curl --request POST \
     --url "https://api.cloud.zilliz.com/v2/vectordb/jobs/import/create" \
     --header "Authorization: Bearer ${TOKEN}" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
     -d '{
        "clusterId": "inxx-xxxxxxxxxxxxxxx",
        "collectionName": "medium_articles",
        "partitionName": "",
        "objectUrls": [
            ["s3://bucket-name/numpy-folder/1/"]
         ],
        "accessKey": "YOUR_ACCESS_KEY",
        "secretKey": "YOUR_SECRET_KEY"
    }'
Notes

フォルダーに複数の形式のファイルが含まれている場合、リクエストは失敗します。

ストレージパス​

Zilliz Cloud は、お使いのクラウドストレージからのデータインポートをサポートしています。以下の表に、データファイルに使用できるストレージパスを示します。

クラウド簡単な例
AWS S3s3://bucket-name/numpy-folder/
Google Cloud Storagegs://bucket-name/numpy-folder/
Azure Bolbhttps://myaccount.blob.core.windows.net/bucket-name/numpy-folder/

制限事項​

クラウドストレージから NumPy ファイルでデータをインポートする際には、遵守すべきいくつかの制限があります。

Notes

有効な NumPy ファイルのセットは、ターゲットコレクションのスキーマ内のフィールドにちなんで命名する必要があり、そのデータは対応するフィールド定義と一致している必要があります。

インポート方法

インポートあたりの最大サブディレクトリ数

サブディレクトリあたりの最大サイズ

インポートの最大合計サイズ

ローカルファイルから

サポートされていません

オブジェクトストレージから

1,000 サブディレクトリ

10 GB

1 TB

データを自身で再構築するには Prepare the data file を参照するか、BulkWriter ツール を使用してソースデータファイルを生成してください。ここをクリックすると、上記の図のスキーマに基づいて準備されたサンプルデータをダウンロードできます。

このページは役に立ちましたか？
Ctrl I