メインコンテンツまでスキップ

StructArray フィールドを作成する

1 つのエンティティに構造化要素の順序付きリストを格納する必要がある場合は、StructArray フィールドを作成します。StructArray フィールドは、要素タイプが Struct の Array フィールドです。各 Struct 要素は同じスキーマに従い、スカラーサブフィールド、ベクトルサブフィールド、またはその両方を含めることができます。

このページでは、Struct スキーマを定義し、それを StructArray フィールドとして追加し、後で検索やフィルタリングに使用するサブフィールドを選択し、データを挿入またはインデックス作成する前に適用されるスキーマルールを理解する方法を説明します。

事前準備​

このページでは、tech_articles という名前のコレクションを使用します。各エンティティは 1 つの技術記事を表し、chunks フィールドにはチャンクレベルのデータが Struct 要素として格納されます。

フィールドタイプ用途
doc_idINT64記事の主キーです。
titleVARCHAR記事のタイトルです。
categoryVARCHAR記事レベルのカテゴリです。
title_vectorFLOAT_VECTOR記事レベルのベクトルフィールドです。後のハイブリッド検索の例で使用します。
chunksARRAY<STRUCT>チャンクレベルのテキスト、メタデータ、埋め込みを格納する StructArray フィールドです。

chunks StructArray フィールドには、以下のサブフィールドが含まれます。

サブフィールドタイプ用途
textVARCHARチャンクのテキストです。
sectionVARCHARセクション名です。index、search、filter などがあります。
pageINT64チャンクのページ番号または論理位置です。
quality_scoreFLOATスカラーフィルタリングおよび範囲の例で使用されるチャンクレベルのスコアです。
has_codeBOOLチャンクにコードが含まれているかどうかです。
emb_list_vectorFLOAT_VECTORMAX_SIM* メトリクスを使用する EmbeddingList 検索用のベクトルサブフィールドです。
embFLOAT_VECTOR通常のベクトルメトリクスを使用する要素レベルの検索用のベクトルサブフィールドです。
Notes

ベクトルフィールドまたはベクトルサブフィールドが受け入れるインデックスは 1 つだけです。EmbeddingList 検索と要素レベルの検索の両方が必要な場合は、2 つの個別のベクトルサブフィールドを定義してください。この例では、chunks[emb_list_vector] は EmbeddingList 検索用で、chunks[emb] は要素レベルの検索用です。

サポートされているサブフィールドのデータタイプ​

StructArray フィールドは、Struct の各サブフィールドに対して 1 つの配列値を格納します。Struct スキーマを定義するときは、サポートされているスカラー型およびベクトル型のファミリーからサブフィールドのタイプを選択します。

Struct サブフィールドの物理型サポート注記
Array<Bool>サポート対象サブフィールドを DataType.BOOL として定義します。
Array<Int8/Int16/Int32/Int64>サポート対象サブフィールドを DataType.INT8、DataType.INT16、DataType.INT32、または DataType.INT64 として定義します。
Array<Float/Double>サポート対象サブフィールドを DataType.FLOAT または DataType.DOUBLE として定義します。
Array<VarChar>サポート対象サブフィールドを DataType.VARCHAR として定義し、max_length を設定します。
ArrayOfVector<FloatVector>サポート対象サブフィールドを DataType.FLOAT_VECTOR として定義し、dim を設定します。
ArrayOfVector<Float16Vector>サポート対象サブフィールドを DataType.FLOAT16_VECTOR として定義し、dim を設定します。
ArrayOfVector<BFloat16Vector>サポート対象サブフィールドを DataType.BFLOAT16_VECTOR として定義し、dim を設定します。
ArrayOfVector<Int8Vector>サポート対象サブフィールドを DataType.INT8_VECTOR として定義し、dim を設定します。
ArrayOfVector<BinaryVector>サポート対象サブフィールドを DataType.BINARY_VECTOR として定義し、dim を設定します。
ArrayOfVector<SparseFloatVector>非サポートStructArray フィールドでは、スパースベクトルサブフィールドはサポートされていません。
Array<String>非サポートString ではなく VARCHAR を使用してください。
Array<JSON>非サポートStructArray フィールドでは、JSON サブフィールドはサポートされていません。
Array<Geometry>非サポートStructArray フィールドでは、Geometry サブフィールドおよび GIS 関数はサポートされていません。
Array<Text>非サポートStructArray フィールドでは、Text サブフィールドはサポートされていません。
Array<Timestamptz>非サポートStructArray フィールドでは、Timestamptz サブフィールドおよび時間固有の式はサポートされていません。
ネストされた Array、ArrayOfVector、Struct、または ArrayOfStruct非サポートStructArray フィールドには、ネストされた配列、ネストされたベクトル配列、ネストされた Struct フィールド、またはネストされた Array-of-Struct フィールドを含めることはできません。

バージョン固有のサポート、nullable の動作、その他の制限については、StructArray Limits を参照してください。

StructArray フィールドを持つコレクションを作成する​

StructArray フィールドを作成するには、まず各要素で使用する Struct スキーマを定義します。次に、Array フィールドを追加し、その要素タイプを Struct に設定します。

  1. コレクションスキーマを作成します。

  2. 主キーや記事レベルのフィールドなど、コレクションレベルのフィールドを追加します。

  3. StructArray フィールド内に格納する要素の Struct スキーマを作成します。

  4. Struct スキーマにスカラーサブフィールドとベクトルサブフィールドを追加します。

  5. element_type=DataType.STRUCT を指定して Array フィールドを追加します。

  6. struct_schema に Struct スキーマを設定します。

  7. max_capacity を設定して、各エンティティがこのフィールドに格納できる Struct 要素の数を制限します。

python
from pymilvus import MilvusClient, DataType

client = MilvusClient(
uri="YOUR_CLUSTER_ENDPOINT",
token="YOUR_CLUSTER_TOKEN",
)

schema = client.create_schema(
auto_id=False,
enable_dynamic_field=False,
)

# Collection-level fields.
schema.add_field(
field_name="doc_id",
datatype=DataType.INT64,
is_primary=True,
)
schema.add_field(
field_name="title",
datatype=DataType.VARCHAR,
max_length=512,
)
schema.add_field(
field_name="category",
datatype=DataType.VARCHAR,
max_length=128,
)
schema.add_field(
field_name="title_vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

# Struct schema used by each element in the StructArray field.
chunk_schema = client.create_struct_field_schema()
chunk_schema.add_field(
field_name="text",
datatype=DataType.VARCHAR,
max_length=65535,
)
chunk_schema.add_field(
field_name="section",
datatype=DataType.VARCHAR,
max_length=128,
)
chunk_schema.add_field(
field_name="page",
datatype=DataType.INT64,
)
chunk_schema.add_field(
field_name="quality_score",
datatype=DataType.FLOAT,
)
chunk_schema.add_field(
field_name="has_code",
datatype=DataType.BOOL,
)

# Vector subfield for EmbeddingList search.
chunk_schema.add_field(
field_name="emb_list_vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

# Vector subfield for element-level search.
chunk_schema.add_field(
field_name="emb",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

# Add the StructArray field.
schema.add_field(
field_name="chunks",
datatype=DataType.ARRAY,
element_type=DataType.STRUCT,
struct_schema=chunk_schema,
max_capacity=1000,
)

client.create_collection(
collection_name="tech_articles",
schema=schema,
)

StructArray フィールドのパスを理解する​

StructArray フィールドを作成した後は、structArray[subfield] パス構文を使用してそのサブフィールドを参照します。この構文は、インデックスを作成するとき、ベクトルサブフィールドを検索するとき、サブフィールドを出力するとき、またはスカラーフィルターを構築するときに使用します。

パス意味一般的な用途
chunks[text]各 Struct 要素内の text サブフィールドです。出力フィールドまたはスカラーフィルタリングです。
chunks[section]各チャンクのセクションラベルです。スカラーフィルタリングです。
chunks[quality_score]チャンクレベルの品質スコアです。スカラーフィルタリングまたはスカラーインデックスです。
chunks[emb_list_vector]埋め込みリストとして使用されるベクトルサブフィールドです。MAX_SIM* を使用する EmbeddingList 検索です。
chunks[emb]各 Struct 要素が個別に使用するベクトルサブフィールドです。要素レベルのベクトル検索です。

StructArray フィールドを nullable にする​

Milvus v3.0.x と互換性のあるクラスターは、nullable な StructArray フィールドをサポートしています。nullable な StructArray フィールドでは、エンティティが StructArray フィールド全体に null を格納できます。

python
schema.add_field(
field_name="chunks",
datatype=DataType.ARRAY,
element_type=DataType.STRUCT,
struct_schema=chunk_schema,
max_capacity=1000,
nullable=True,
)
Warning

nullable な StructArray フィールドは、Milvus v3.0.x と互換性のあるクラスターでのみ使用できます。nullable な StructArray フィールドでは、エンティティは有効な StructArray 値を指定するか、フィールド全体を null に設定できます。有効な StructArray 値を挿入する場合、すべてのサブフィールドが null であるか、有効な値を持っている必要があります。一部のサブフィールドを null に設定し、他のサブフィールドを有効な値に設定したエンティティを挿入すると、エラーになります。詳細については、StructArray Limits を参照してください。

既存のコレクションに StructArray フィールドを追加する​

Milvus v3.0.x と互換性のあるクラスターは、既存のコレクションへの StructArray フィールドの追加をサポートしています。追加する StructArray フィールドは nullable である必要があります。これは、コレクションに既に存在するエンティティが新しいフィールドの値を持っていないためです。

既存のコレクションに StructArray フィールドを追加するには、まず Struct スキーマを定義します。次に、add_collection_struct_field() を呼び出し、nullable=True を設定します。

python
chunk_schema = client.create_struct_field_schema()
chunk_schema.add_field(
field_name="text",
datatype=DataType.VARCHAR,
max_length=65535,
)
chunk_schema.add_field(
field_name="section",
datatype=DataType.VARCHAR,
max_length=128,
)
chunk_schema.add_field(
field_name="page",
datatype=DataType.INT64,
)
chunk_schema.add_field(
field_name="quality_score",
datatype=DataType.FLOAT,
)
chunk_schema.add_field(
field_name="has_code",
datatype=DataType.BOOL,
)
chunk_schema.add_field(
field_name="emb_list_vector",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)
chunk_schema.add_field(
field_name="emb",
datatype=DataType.FLOAT_VECTOR,
dim=4,
)

client.add_collection_struct_field(
collection_name="tech_articles",
field_name="chunks",
struct_schema=chunk_schema,
max_capacity=1000,
nullable=True,
)

StructArray フィールドを追加した後、既存のエンティティは、新しいフィールドのすべてのサブフィールドに対して null を返します。

StructArray フィールドを作成した後は、その既存の StructArray フィールドに新しいサブフィールドを追加することはできません。後で要素の属性を追加する必要がある場合は、drop_collection_field() を呼び出して StructArray フィールドを削除し、更新された Struct スキーマを使用して新しい StructArray フィールドを追加します。

python
client.drop_collection_field(
collection_name="tech_articles",
field_name="chunks",
)

client.add_collection_struct_field(
collection_name="tech_articles",
field_name="chunks",
struct_schema=updated_chunk_schema,
max_capacity=1000,
nullable=True,
)

スキーマルール​

ルール説明
Struct は Array の要素タイプとして使用します。StructArray フィールドは、element_type=STRUCT を指定した Array フィールドとして作成します。Struct をトップレベルのコレクションフィールドとして作成しないでください。
すべての要素が 1 つのスキーマを共有します。同じ StructArray フィールド内のすべての Struct 要素は、そのフィールドに定義された Struct スキーマに従います。
max_capacity は必須です。各エンティティが StructArray フィールドに格納できる Struct 要素の数を制限します。
サポートされているサブフィールドタイプのみを使用できます。StructArray でサポートされているスカラーおよびベクトルのサブフィールドタイプを使用します。JSON、Geometry、Text、Timestamptz、SparseFloatVector、またはネストされた Struct / Array サブフィールドを定義しないでください。
ベクトルサブフィールドは検索前にインデックスが必要です。ベクトル検索を実行する前に、chunks[emb_list_vector] や chunks[emb] などのパスにインデックスを作成します。
1 つのベクトルサブフィールドには 1 つのインデックスがあります。EmbeddingList 検索と要素レベルの検索の両方が必要な場合は、2 つの個別のベクトルサブフィールドを作成します。
既存の StructArray サブフィールドは固定です。StructArray フィールドを作成した後、同じ StructArray フィールドにさらにサブフィールドを追加することはできません。
Struct 内では関数はサポートされていません。StructArray フィールド内のフィールドまたはサブフィールドに関数を定義しないでください。
スカラーサブフィールドはフィルターのニーズに合わせる必要があります。section、quality_score、has_code などのフィールドは、後でフィルタリング、グループ化、または出力する必要がある場合にのみ追加してください。

よくある間違い​

  • DataType.STRUCT を Array フィールドの要素タイプとして使用せず、トップレベルのコレクションフィールドとして作成する。

  • StructArray フィールドで max_capacity の設定を忘れる。

  • JSON、Geometry、Text、Timestamptz、SparseFloatVector、ネストされた Array、ネストされた Struct、または Array-of-Struct など、サポートされていないサブフィールドタイプを定義する。

  • サブフィールドタイプとして String を使用する。VARCHAR を使用し、max_length を設定してください。

  • EmbeddingList 検索と要素レベルの検索の両方に 1 つのベクトルサブフィールドを使用する。

  • ベクトルサブフィールドのみを追加し、フィルタリングに必要な section、quality_score、has_code などのスカラーサブフィールドを忘れる。

  • ベクトルサブフィールドを $[...] スカラー述語の入力として扱う。ベクトル検索にはベクトルサブフィールドを使用し、スカラー述語にはスカラーサブフィールドを使用してください。

  • フィールドの作成後、既存の StructArray フィールドに新しいサブフィールドを追加できると想定する。

  • 必要なパス構文 chunks[emb] または chunks[emb_list_vector] の代わりに、chunks.emb または chunks.emb_list_vector を使用する。

  • nullable な StructArray の動作がすべてのターゲットバージョンで利用できると想定する。

次のステップ​

  1. StructArray フィールドにネストされたデータを挿入するには、Insert Data into StructArray Fields を参照してください。

  2. ベクトルインデックスとスカラーインデックスを作成するには、Index StructArray Fields を参照してください。

  3. StructArray のベクトルサブフィールドを検索するには、Basic ベクトル Search with StructArray を参照してください。

  4. サポートされているデータタイプ、nullable の動作、バージョン固有の制限を確認するには、StructArray Limits を参照してください。