メインコンテンツまでスキップ

StructArray フィールドを作成する

1 つのエンティティに構造化要素の順序付きリストを格納する必要がある場合は、StructArray フィールドを作成します。StructArray フィールドは、要素タイプが Struct の Array フィールドです。各 Struct 要素は同じスキーマに従い、スカラーサブフィールド、ベクトルサブフィールド、またはその両方を含めることができます。

このページでは、Struct スキーマを定義し、それを StructArray フィールドとして追加し、後で検索やフィルタリングに使用するサブフィールドを選択する方法と、データを挿入またはインデックス作成する前に適用されるスキーマルールについて説明します。

事前準備​

このページでは、tech_articles という名前のコレクションを使用します。各エンティティは 1 つの技術記事を表し、chunks フィールドにはチャンクレベルのデータが Struct 要素として格納されます。

フィールド型用途
doc_idINT64記事のプライマリキー。
titleVARCHAR記事のタイトル。
categoryVARCHAR記事レベルのカテゴリ。
title_vectorFLOAT_VECTOR記事レベルのベクトルフィールド。後のハイブリッド検索の例で使用します。
chunksARRAY<STRUCT>チャンクレベルのテキスト、メタデータ、埋め込みを格納する StructArray フィールド。

chunks StructArray フィールドには、次のサブフィールドが含まれます。

サブフィールド型用途
textVARCHARチャンクのテキスト。
sectionVARCHARindex、search、filter などのセクション名。
pageINT64チャンクのページ番号または論理位置。
quality_scoreFLOATスカラーフィルタリングと範囲の例で使用するチャンクレベルのスコア。
has_codeBOOLチャンクにコードが含まれているかどうか。
emb_list_vectorFLOAT_VECTORMAX_SIM* メトリクスを使用した EmbeddingList 検索用のベクトルサブフィールド。
embFLOAT_VECTOR通常のベクトルメトリクスを使用した要素レベルの検索用のベクトルサブフィールド。
Notes

ベクトルフィールドまたはベクトルサブフィールドで使用できるインデックスは 1 つだけです。EmbeddingList 検索と要素レベルの検索の両方が必要な場合は、2 つの独立したベクトルサブフィールドを定義します。この例では、chunks[emb_list_vector] は EmbeddingList 検索用で、chunks[emb] は要素レベルの検索用です。

サポートされるサブフィールドのデータ型​

StructArray フィールドは、Struct の各サブフィールドに対して 1 つの配列値を格納します。Struct スキーマを定義する場合は、サポートされているスカラーおよびベクトルの型ファミリーからサブフィールドの型を選択します。

Struct サブフィールドの物理型サポート注記
Array<Bool>サポート対象サブフィールドを DataType.BOOL として定義します。
Array<Int8/Int16/Int32/Int64>サポート対象サブフィールドを DataType.INT8、DataType.INT16、DataType.INT32、または DataType.INT64 として定義します。
Array<Float/Double>サポート対象サブフィールドを DataType.FLOAT または DataType.DOUBLE として定義します。
Array<VarChar>サポート対象サブフィールドを DataType.VARCHAR として定義し、max_length を設定します。
ArrayOfVector<FloatVector>サポート対象サブフィールドを DataType.FLOAT_VECTOR として定義し、dim を設定します。
ArrayOfVector<Float16Vector>サポート対象サブフィールドを DataType.FLOAT16_VECTOR として定義し、dim を設定します。
ArrayOfVector<BFloat16Vector>サポート対象サブフィールドを DataType.BFLOAT16_VECTOR として定義し、dim を設定します。
ArrayOfVector<Int8Vector>サポート対象サブフィールドを DataType.INT8_VECTOR として定義し、dim を設定します。
ArrayOfVector<BinaryVector>サポート対象サブフィールドを DataType.BINARY_VECTOR として定義し、dim を設定します。
ArrayOfVector<SparseFloatVector>サポート対象外StructArray フィールドでは、スパースベクトルサブフィールドはサポートされていません。
Array<String>サポート対象外String ではなく VARCHAR を使用します。
Array<JSON>サポート対象外StructArray フィールドでは、JSON サブフィールドはサポートされていません。
Array<Geometry>サポート対象外StructArray フィールドでは、Geometry サブフィールドと GIS 関数はサポートされていません。
Array<Text>サポート対象外StructArray フィールドでは、テキストサブフィールドはサポートされていません。
Array<Timestamptz>サポート対象外StructArray フィールドでは、Timestamptz サブフィールドと時間固有の式はサポートされていません。
Nested Array, ArrayOfVector, Struct, or ArrayOfStructサポート対象外StructArray フィールドには、ネストされた配列、ネストされたベクトル配列、ネストされた Struct フィールド、またはネストされた Array-of-Struct フィールドを含めることはできません。

バージョン固有のサポート、nullable の動作、その他の制限については、StructArray の制限 を参照してください。

StructArray フィールドを含むコレクションを作成する​

StructArray フィールドを作成するには、まず各要素で使用する Struct スキーマを定義します。次に、Array フィールドを追加し、その要素タイプを Struct に設定します。

  1. コレクションスキーマを作成します。

  2. プライマリキーや記事レベルのフィールドなど、コレクションレベルのフィールドを追加します。

  3. StructArray フィールド内に格納する要素の Struct スキーマを作成します。

  4. Struct スキーマにスカラーサブフィールドとベクトルサブフィールドを追加します。

  5. element_type=DataType.STRUCT を指定して Array フィールドを追加します。

  6. struct_schema に Struct スキーマを設定します。

  7. max_capacity を設定して、各エンティティがフィールドに格納できる Struct 要素の数を制限します。

python
from pymilvus import MilvusClient, DataType

client = MilvusClient(
uri="YOUR_CLUSTER_ENDPOINT",
token="YOUR_CLUSTER_TOKEN",
)

schema = client.create_schema(
auto_id=False,
enable_dynamic_field=False,
)

# Collection-level fields.
schema.add_field(
field_name="doc_id",
datatype=DataType.INT64,
is_primary=True,
)
schema.add_field(
field_name="title",
datatype=DataType.VARCHAR,
max_length=512,
)
schema.add_field(
field_name="category",
datatype=DataType.VARCHAR,
max_length=128,
)
schema.add_field(
field_name="title_vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

# Struct schema used by each element in the StructArray field.
chunk_schema = client.create_struct_field_schema()
chunk_schema.add_field(
field_name="text",
datatype=DataType.VARCHAR,
max_length=65535,
)
chunk_schema.add_field(
field_name="section",
datatype=DataType.VARCHAR,
max_length=128,
)
chunk_schema.add_field(
field_name="page",
datatype=DataType.INT64,
)
chunk_schema.add_field(
field_name="quality_score",
datatype=DataType.FLOAT,
)
chunk_schema.add_field(
field_name="has_code",
datatype=DataType.BOOL,
)

# Vector subfield for EmbeddingList search.
chunk_schema.add_field(
field_name="emb_list_vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

# Vector subfield for element-level search.
chunk_schema.add_field(
field_name="emb",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

# Add the StructArray field.
schema.add_field(
field_name="chunks",
datatype=DataType.ARRAY,
element_type=DataType.STRUCT,
struct_schema=chunk_schema,
max_capacity=1000,
)

client.create_collection(
collection_name="tech_articles",
schema=schema,
)

StructArray フィールドのパスを理解する​

StructArray フィールドを作成した後は、structArray[subfield] パス構文を使用してそのサブフィールドを参照します。この構文は、インデックスを作成するとき、ベクトルサブフィールドを検索するとき、サブフィールドを出力するとき、またはスカラーフィルターを構築するときに使用します。

パス意味一般的な用途
chunks[text]各 Struct 要素内の text サブフィールド。出力フィールドまたはスカラーフィルタリング。
chunks[section]各チャンクのセクションラベル。スカラーフィルタリング。
chunks[quality_score]チャンクレベルの品質スコア。スカラーフィルタリングまたはスカラーインデックス。
chunks[emb_list_vector]埋め込みリストとして使用されるベクトルサブフィールド。MAX_SIM* を使用した EmbeddingList 検索。
chunks[emb]各 Struct 要素が個別に使用するベクトルサブフィールド。要素レベルのベクトル検索。

StructArray フィールドを null 許容にする​

Milvus v3.0.x と互換性のあるクラスターは、null 許容の StructArray フィールドをサポートしています。null 許容の StructArray フィールドでは、エンティティが StructArray フィールド全体に null を格納できます。

python
schema.add_field(
field_name="chunks",
datatype=DataType.ARRAY,
element_type=DataType.STRUCT,
struct_schema=chunk_schema,
max_capacity=1000,
nullable=True,
)
Warning

null 許容の StructArray フィールドは、Milvus v3.0.x と互換性のあるクラスターでのみ使用できます。null 許容の StructArray フィールドでは、エンティティは有効な StructArray 値を指定するか、フィールド全体を null に設定できます。有効な StructArray 値を挿入する場合、すべてのサブフィールドを null にするか、有効な値を持たせる必要があります。一部のサブフィールドを null に設定し、それ以外を有効な値に設定したエンティティを挿入すると、エラーになります。詳細については、StructArray の制限 を参照してください。

既存のコレクションに StructArray フィールドを追加する​

Milvus v3.0.x と互換性のあるクラスターは、既存のコレクションへの StructArray フィールドの追加をサポートしています。コレクションにすでに存在するエンティティには新しいフィールドの値がないため、追加する StructArray フィールドは null 許容である必要があります。

既存のコレクションに StructArray フィールドを追加するには、まず Struct スキーマを定義します。次に、add_collection_struct_field() を呼び出し、nullable=True を設定します。

python
chunk_schema = client.create_struct_field_schema()
chunk_schema.add_field(
field_name="text",
datatype=DataType.VARCHAR,
max_length=65535,
)
chunk_schema.add_field(
field_name="section",
datatype=DataType.VARCHAR,
max_length=128,
)
chunk_schema.add_field(
field_name="page",
datatype=DataType.INT64,
)
chunk_schema.add_field(
field_name="quality_score",
datatype=DataType.FLOAT,
)
chunk_schema.add_field(
field_name="has_code",
datatype=DataType.BOOL,
)
chunk_schema.add_field(
field_name="emb_list_vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)
chunk_schema.add_field(
field_name="emb",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

client.add_collection_struct_field(
collection_name="tech_articles",
field_name="chunks",
struct_schema=chunk_schema,
max_capacity=1000,
nullable=True,
)

StructArray フィールドを追加すると、既存のエンティティは、そのすべてのサブフィールドにわたる新しいフィールドに対して null を返します。

StructArray フィールドを作成した後は、その既存の StructArray フィールドに新しいサブフィールドを追加できません。後で要素の属性を追加する必要がある場合は、drop_collection_field() を呼び出して StructArray フィールドを削除し、更新した Struct スキーマで新しい StructArray フィールドを追加します。

python
updated_chunk_schema = client.create_struct_field_schema()
updated_chunk_schema.add_field(
field_name="text",
datatype=DataType.VARCHAR,
max_length=65535,
)
updated_chunk_schema.add_field(
field_name="section",
datatype=DataType.VARCHAR,
max_length=128,
)
updated_chunk_schema.add_field(
field_name="page",
datatype=DataType.INT64,
)
updated_chunk_schema.add_field(
field_name="quality_score",
datatype=DataType.FLOAT,
)
updated_chunk_schema.add_field(
field_name="has_code",
datatype=DataType.BOOL,
)
updated_chunk_schema.add_field(
field_name="emb_list_vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)
updated_chunk_schema.add_field(
field_name="emb",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

client.drop_collection_field(
collection_name="tech_articles",
field_name="chunks",
)

client.add_collection_struct_field(
collection_name="tech_articles",
field_name="chunks",
struct_schema=updated_chunk_schema,
max_capacity=1000,
nullable=True,
)

スキーマルール​

ルール説明
Struct は Array の要素タイプとして使用します。StructArray フィールドは、element_type=STRUCT を指定した Array フィールドとして作成します。Struct をトップレベルのコレクションフィールドとして作成しないでください。
すべての要素が 1 つのスキーマを共有します。同じ StructArray フィールド内のすべての Struct 要素は、そのフィールドに定義された Struct スキーマに従います。
max_capacity は必須です。各エンティティが StructArray フィールドに格納できる Struct 要素の数を制限します。
サポートされているサブフィールド型のみ使用できます。StructArray でサポートされているスカラーおよびベクトルのサブフィールド型を使用します。JSON、Geometry、Text、Timestamptz、SparseFloatVector、またはネストされた Struct / Array サブフィールドを定義しないでください。
ベクトルサブフィールドには検索前のインデックスが必要です。ベクトル検索を実行する前に、chunks[emb_list_vector] や chunks[emb] などのパスにインデックスを作成します。
1 つのベクトルサブフィールドには 1 つのインデックスがあります。EmbeddingList 検索と要素レベルの検索の両方が必要な場合は、2 つの独立したベクトルサブフィールドを作成します。
既存の StructArray サブフィールドは固定です。StructArray フィールドを作成した後は、同じ StructArray フィールドにさらにサブフィールドを追加できると想定しないでください。
Struct 内では関数はサポートされません。StructArray フィールド内のフィールドまたはサブフィールドに関数を定義しないでください。
スカラーサブフィールドはフィルターのニーズに合わせます。section、quality_score、has_code などのフィールドは、後でフィルタリング、グループ化、または出力する必要がある場合にのみ追加します。

よくある間違い​

  • DataType.STRUCT を Array フィールドの要素タイプとして使用せず、トップレベルのコレクションフィールドとして作成する。

  • StructArray フィールドで max_capacity の設定を忘れる。

  • JSON、Geometry、Text、Timestamptz、SparseFloatVector、ネストされた Array、ネストされた Struct、または Array-of-Struct など、サポートされていないサブフィールド型を定義する。

  • サブフィールド型として String を使用する。VARCHAR を使用し、max_length を設定してください。

  • EmbeddingList 検索と要素レベルの検索の両方に 1 つのベクトルサブフィールドを使用する。

  • ベクトルサブフィールドのみを追加し、section、quality_score、has_code など、フィルタリングに必要なスカラーサブフィールドを忘れる。

  • ベクトルサブフィールドを $[...] スカラー述語の入力として扱う。ベクトル検索にはベクトルサブフィールドを、スカラー述語にはスカラーサブフィールドを使用してください。

  • フィールドの作成後に、既存の StructArray フィールドに新しいサブフィールドを追加できると想定する。

  • 必須のパス構文 chunks[emb] または chunks[emb_list_vector] の代わりに、chunks.emb または chunks.emb_list_vector を使用する。

  • null 許容の StructArray の動作がすべてのターゲットバージョンで使用できるとみなす。

次のステップ​

  1. StructArray フィールドにネストされたデータを挿入するには、StructArray フィールドへのデータの挿入 をお読みください。

  2. ベクトルインデックスとスカラーインデックスを作成するには、StructArray フィールドのインデックス作成 をお読みください。

  3. StructArray のベクトルサブフィールドを検索するには、StructArray を使用した基本的なベクトル検索 をお読みください。

  4. サポートされているデータ型、null 許容の動作、バージョン固有の制限を確認するには、StructArray の制限 をお読みください。