メインコンテンツまでスキップ

コレクションを作成する

スキーマ、インデックスパラメーター、メトリクスタイプ、および作成時のロード有無を定義することで、コレクションを作成できます。このページでは、コレクションをゼロから作成する方法を紹介します。

Notes

強力なデータ分離が必要で、管理するテナント数が少ない場合は、テナントごとに個別のコレクションを作成できます。

ただし、プロジェクトプランとクラスターのデプロイオプション に応じて、作成できるコレクションは最大 16,384 個までです。そのため、大規模なマルチテナンシーでは、ユースケースに応じて、パーティションベースまたはパーティションキーベースのマルチテナンシーなどの代替戦略を検討してください。詳細は、マルチテナンシーの実装 を参照してください。

概要​

コレクションは、固定された列と可変の行を持つ二次元テーブルです。各列はフィールドを表し、各行はエンティティを表します。このような構造化データ管理を実装するには、スキーマが必要です。挿入するすべてのエンティティは、スキーマで定義された制約を満たす必要があります。

スキーマ、インデックスパラメーター、メトリクスタイプ、作成時のロード有無など、コレクションのあらゆる側面を決定し、コレクションが要件を完全に満たすようにできます。

コレクションを作成するには、次の手順を実行します。

スキーマを作成する​

スキーマはコレクションのデータ構造を定義します。コレクションを作成する際は、要件に基づいてスキーマを設計する必要があります。詳細は、スキーマの説明 を参照してください。

次のコードスニペットでは、動的フィールドを有効にし、my_id、my_vector、my_varchar という 3 つの必須フィールドを持つスキーマを作成します。

Notes

任意のスカラーフィールドにデフォルト値を設定し、null 許容にできます。詳細は、Null 許容とデフォルト値 を参照してください。

python
# 3. Create a collection in customized setup mode
from pymilvus import MilvusClient, DataType

client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

# 3.1. Create schema
schema = MilvusClient.create_schema(
    auto_id=False,
    enable_dynamic_field=True,
)

# 3.2. Add fields to schema
schema.add_field(field_name="my_id", datatype=DataType.INT64, is_primary=True)
schema.add_field(field_name="my_vector", datatype=DataType.FLOAT_VECTOR, dim=5)
schema.add_field(field_name="my_varchar", datatype=DataType.VARCHAR, max_length=512)
Notes

データプレーン RESTful API エンドポイントを呼び出す際は、username:password のように、対象クラスターのユーザー名とパスワードをコロンで区切ったものを認証トークンとして使用します。

（オプション）インデックスパラメーターを設定する​

特定のフィールドにインデックスを作成すると、そのフィールドに対する検索が高速化されます。インデックスは、コレクション内のエンティティの順序を記録します。以下のコードスニペットに示すように、metric_type と index_type を使用して、Zilliz Cloud がフィールドにインデックスを作成し、ベクトル埋め込み間の類似性を測定するための適切な方法を選択できます。

Zilliz Cloud では、すべてのベクトルフィールドのインデックスタイプとして AUTOINDEX を使用でき、ニーズに応じて COSINE、L2、IP のいずれかをメトリクスタイプとして使用できます。

上記のコードスニペットに示すように、ベクトルフィールドにはインデックスタイプとメトリクスタイプの両方を設定し、スカラーフィールドにはインデックスタイプのみを設定する必要があります。ベクトルフィールドのインデックスは必須です。また、フィルタリング条件で頻繁に使用するスカラーフィールドには、インデックスを作成することをおすすめします。

詳細は、インデックス を参照してください。

python
# 3.3. Prepare index parameters
index_params = client.prepare_index_params()

# 3.4. Add indexes
index_params.add_index(
    field_name="my_id",
    index_type="AUTOINDEX"
)

index_params.add_index(
    field_name="my_vector", 
    index_type="AUTOINDEX",
    metric_type="COSINE"
)

コレクションを作成する​

インデックスパラメーターを指定してコレクションを作成した場合、Zilliz Cloud はコレクションの作成時に自動的にロードします。この場合、インデックスパラメーターで指定されたすべてのフィールドにインデックスが作成されます。

以下のコードスニペットでは、インデックスパラメーターを指定してコレクションを作成し、そのロードステータスを確認する方法を示します。

python
# 3.5. Create a collection with the index loaded simultaneously
client.create_collection(
    collection_name="customized_setup_1",
    schema=schema,
    index_params=index_params
)

res = client.get_load_state(
    collection_name="customized_setup_1"
)

print(res)

# Output
#
# {
#     "state": "<LoadState: Loaded>"
# }

インデックスパラメーターを指定せずにコレクションを作成し、後で追加することもできます。この場合、Zilliz Cloud は作成時にコレクションをロードしません。既存のコレクションにインデックスを作成する方法の詳細は、AUTOINDEX の説明 を参照してください。

以下のコードスニペットでは、インデックスを指定せずにコレクションを作成する方法を示します。作成時点で、コレクションのロードステータスは未ロードのままです。

python
# 3.6. Create a collection and index it separately
client.create_collection(
    collection_name="customized_setup_2",
    schema=schema,
)

res = client.get_load_state(
    collection_name="customized_setup_2"
)

print(res)

# Output
#
# {
#     "state": "<LoadState: NotLoad>"
# }

コレクションのプロパティを設定する​

作成するコレクションにプロパティを設定して、サービスに適合させることができます。適用可能なプロパティは以下の通りです。

シャード数を設定する​

シャードはコレクションを水平方向に分割したもので、各シャードはデータ入力チャネルに対応します。デフォルトでは、すべてのコレクションに 1 つのシャードがあります。データ量とワークロードに合わせて、コレクションの作成時にシャード数を指定できます。

シャード数を設定する際の一般的なガイドラインは以下の通りです。

  • データサイズ: 2 億エンティティごとに 1 つのシャードを用意するのが一般的です。総データサイズに基づいて見積もることもできます。たとえば、挿入予定のデータ 100 GB ごとに 1 つのシャードを追加します。

以下のコードスニペットでは、コレクションの作成時にシャード数を設定する方法を示します。

python
# With shard number
client.create_collection(
    collection_name="customized_setup_3",
    schema=schema,
    num_shards=1
)

mmap を有効にする​

Zilliz Cloud はデフォルトですべてのコレクションで mmap を有効にし、Zilliz Cloud が生のフィールドデータを完全にロードするのではなくメモリにマップできるようにします。これにより、メモリフットプリントが削減され、コレクションの容量が増加します。mmap の詳細は、mmap の使用 を参照してください。

python
# With mmap
client.create_collection(
    collection_name="customized_setup_4",
    schema=schema,
    enable_mmap=False
)

コレクションの TTL を設定する​

コレクション内のデータを特定の期間だけ保持する必要がある場合は、Time-To-Live（TTL）を秒単位で設定することを検討してください。TTL が期限切れになると、Zilliz Cloud はコレクション内のエンティティを削除します。削除は非同期で行われるため、削除が完了する前でも検索やクエリを実行できます。

以下のコードスニペットでは、TTL を 1 日（86400 秒）に設定します。TTL は最低でも 2 日間に設定することをおすすめします。

python
# With TTL
client.create_collection(
    collection_name="customized_setup_5",
    schema=schema,
    properties={
        "collection.ttl.seconds": 86400
    }
)

整合性レベルを設定する​

コレクションを作成する際に、コレクション内の検索とクエリの整合性レベルを設定できます。特定の検索またはクエリの実行時に、コレクションの整合性レベルを変更することもできます。

python
# With consistency level
client.create_collection(
    collection_name="customized_setup_6",
    schema=schema,
    consistency_level="Bounded",
)

整合性レベルの詳細は、整合性レベル を参照してください。

動的フィールドを有効にする​

コレクションの動的フィールドは、&#36;meta という名前の予約済みの JavaScript Object Notation（JSON）フィールドです。このフィールドを有効にすると、Zilliz Cloud は各エンティティに含まれるスキーマで定義されていないすべてのフィールドとその値を、キーと値のペアとして予約フィールドに保存します。

動的フィールドの使用方法の詳細は、動的フィールド を参照してください。

このページは役に立ちましたか？
Ctrl I