[説明] このページは機械翻訳された日本語版です。内容に誤りがございましたら、報告していただけると助かります。

ベクトルフィールドのインデックス

Contact Sales to Enable BYOC

このガイドでは、コレクション内のベクトルフィールドにインデックスを作成および管理するための基本操作について説明します。

概要

Zilliz Cloudはインデックスファイルに保存されたメタデータを活用し、検索やクエリ時に要求された情報を迅速に取得できるように、データを特殊な構造で整理します。

Zilliz Cloudは、効率的な類似性検索を可能にするためにAUTOINDEXを採用しています。また、ベクトル埋め込み間の距離を測定するために、以下のメトリックタイプも提供しています：コサイン類似度 (COSINE)、ユークリッド距離 (L2)、内積 (IP)、JACCARD、HAMMING。ベクトルフィールドタイプとメトリックの詳細については、メトリックタイプとスキーマの説明を参照してください。

頻繁にアクセスされるベクトルフィールドとスカラーフィールドの両方にインデックスを作成することを推奨します。コレクションに2つ以上のベクトルフィールドが含まれている場合、それぞれのベクトルフィールドに個別にインデックスを作成できます。

事前準備

コレクションの作成で説明されているように、以下の条件のいずれかがコレクション作成要求で指定されている場合、Zilliz Cloudはコレクションを作成する際に自動的にインデックスを生成し、メモリにロードします。

• ベクトルフィールドの次元数とメトリックタイプ、または

• スキーマとインデックスパラメータ。

以下のコードスニペットは、Zilliz Cloudへの接続を確立し、インデックスパラメータを指定せずにコレクションを作成するために既存のコードを再利用しています。この場合、コレクションにはインデックスがなく、ロードされていません。

Python

from pymilvus import MilvusClient, DataType

CLUSTER_ENDPOINT = "YOUR_CLUSTER_ENDPOINT"
TOKEN = "YOUR_CLUSTER_TOKEN"

# 1. Milvusクライアントを設定
client = MilvusClient(
    uri=CLUSTER_ENDPOINT,
    token=TOKEN
)

# 2. スキーマを作成
# 2.1. スキーマを作成
schema = MilvusClient.create_schema(
    auto_id=False,
    enable_dynamic_field=True,
)

# 2.2. スキーマにフィールドを追加
schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True)
# dim値は1より大きい整数でなければなりません
schema.add_field(field_name="vector", datatype=DataType.FLOAT_VECTOR, dim=5)

# 3. コレクションを作成
client.create_collection(
    collection_name="customized_setup",
    schema=schema,
)

Java

import io.milvus.v2.client.ConnectConfig;
import io.milvus.v2.client.MilvusClientV2;
import io.milvus.v2.common.DataType;
import io.milvus.v2.service.collection.request.CreateCollectionReq;

String CLUSTER_ENDPOINT = "YOUR_CLUSTER_ENDPOINT";
String TOKEN = "YOUR_TOKEN";

// 1. Milvusサーバーに接続
ConnectConfig connectConfig = ConnectConfig.builder()
    .uri(CLUSTER_ENDPOINT)
    .token(TOKEN)
    .build();

MilvusClientV2 client = new MilvusClientV2(connectConfig);

// 2. コレクションを作成

// 2.1 スキーマを作成
CreateCollectionReq.CollectionSchema schema = client.createSchema();

// 2.2 スキーマにフィールドを追加
schema.addField(AddFieldReq.builder().fieldName("id").dataType(DataType.Int64).isPrimaryKey(true).autoID(false).build());
// 次元数は1より大きい整数でなければなりません。
schema.addField(AddFieldReq.builder().fieldName("vector").dataType(DataType.FloatVector).dimension(5).build());

// 3 スキーマとインデックスパラメータなしでコレクションを作成
CreateCollectionReq customizedSetupReq = CreateCollectionReq.builder()
.collectionName("customized_setup")
.collectionSchema(schema)
.build();

client.createCollection(customizedSetupReq);

NodeJS

// 1. Milvusクライアントを設定
client = new MilvusClient({address, token});

// 2. コレクションのフィールドを定義
const fields = [
    {
        name: "id",
        data_type: DataType.Int64,
        is_primary_key: true,
        auto_id: false
    },
    {
        name: "vector",
        data_type: DataType.FloatVector,
        dim: 5 // dim値は1より大きくなければなりません。
    },
]

// 3. コレクションを作成
res = await client.createCollection({
    collection_name: "customized_setup",
    fields: fields,
})

console.log(res.error_code)

// 出力
//
// Success
//

コレクションにインデックスをかける

コレクションにインデックスを作成またはコレクションをインデックス化するには、インデックスパラメータを設定し、create_index()を呼び出す必要があります。

Python

# 4. インデックスを設定
# 4.1. インデックスパラメータを設定
index_params = MilvusClient.prepare_index_params()

# 4.2. ベクトルフィールドにインデックスを追加
index_params.add_index(
    field_name="vector",
    metric_type="COSINE",
    index_type="AUTOINDEX",
    index_name="vector_index"
)

# 4.4. インデックスファイルを作成
client.create_index(
    collection_name="customized_setup",
    index_params=index_params
)

# 5. インデックスを説明
res = client.list_indexes(
    collection_name="customized_setup"
)

Java

import io.milvus.v2.common.IndexParam;
import io.milvus.v2.service.index.request.CreateIndexReq;

// 4 インデックスパラメータを準備

// 4.2 ベクトルフィールド"vector"のインデックスを追加
IndexParam indexParamForVectorField = IndexParam.builder()
    .fieldName("vector")
    .indexName("vector_index")
    .indexType(IndexParam.IndexType.AUTOINDEX)
    .metricType(IndexParam.MetricType.COSINE)
    .build();

List<IndexParam> indexParams = new ArrayList<>();
indexParams.add(indexParamForVectorField);

// 4.3 インデックスファイルを作成
CreateIndexReq createIndexReq = CreateIndexReq.builder()
    .collectionName("customized_setup")
    .indexParams(indexParams)
    .build();

client.createIndex(createIndexReq);

NodeJS

// 4. コレクションのインデックスを設定
// 4.1. インデックスパラメータを設定
res = await client.createIndex({
    collection_name: "customized_setup",
    field_name: "vector",
    index_type: "AUTOINDEX",
    metric_type: "COSINE",
    index_name: "vector_index"
})

console.log(res.error_code)

// 出力
//
// Success
//

提供されたコードスニペットでは、ベクトルフィールドにインデックスを確立し、インデックスタイプをAUTOINDEX、メトリックタイプをCOSINEに設定しています。さらに、スカラーフィールドのインデックスもインデックスタイプAUTOINDEXで作成されています。インデックスタイプとメトリックタイプの詳細については、AUTOINDEXの説明とメトリックタイプを参照してください。

📘備考

現在、コレクション内の各フィールドにつき1つのみのインデックスファイルを作成できます。

インデックスの詳細を確認

インデックスを作成した後、その詳細を確認できます。

Python

# 5. インデックスを説明
res = client.list_indexes(
    collection_name="customized_setup"
)

print(res)

# 出力
#
# [
#     "vector_index"
# ]

res = client.describe_index(
    collection_name="customized_setup",
    index_name="vector_index"
)

print(res)

# 出力
#
# {
#     "index_type": "AUTOINDEX",
#     "metric_type": "COSINE",
#     "field_name": "vector",
#     "index_name": "vector_index"
# }

Java

import io.milvus.v2.service.index.request.DescribeIndexReq;
import io.milvus.v2.service.index.response.DescribeIndexResp;

// 5. インデックスを説明
// 5.1 インデックス名をリスト
ListIndexesReq listIndexesReq = ListIndexesReq.builder()
    .collectionName("customized_setup")
    .build();

List<String> indexNames = client.listIndexes(listIndexesReq);

System.out.println(indexNames);

// 出力:
// [
//     "vector_index"
// ]

// 5.2 インデックスを説明
DescribeIndexReq describeIndexReq = DescribeIndexReq.builder()
    .collectionName("customized_setup")
    .indexName("vector_index")
    .build();

DescribeIndexResp describeIndexResp = client.describeIndex(describeIndexReq);

System.out.println(JSONObject.toJSON(describeIndexResp));

// 出力:
// {
//     "metricType": "COSINE",
//     "indexType": "AUTOINDEX",
//     "fieldName": "vector",
//     "indexName": "vector_index"
// }

NodeJS

// 5. インデックスを説明
res = await client.describeIndex({
    collection_name: "customized_setup",
    index_name: "vector_index"
})

console.log(JSON.stringify(res.index_descriptions, null, 2))

// 出力
//
// [
//   {
//     "params": [
//       {
//         "key": "index_type",
//         "value": "AUTOINDEX"
//       },
//       {
//         "key": "metric_type",
//         "value": "COSINE"
//       }
//     ],
//     "index_name": "vector_index",
//     "indexID": "449007919953063141",
//     "field_name": "vector",
//     "indexed_rows": "0",
//     "total_rows": "0",
//     "state": "Finished",
//     "index_state_fail_reason": "",
//     "pending_index_rows": "0"
//   }
// ]
//

特定のフィールドに作成されたインデックスファイルを確認し、このインデックスファイルを使用してインデックス化された行数の統計情報を収集できます。

インデックスを削除

不要になった場合、単純にインデックスを削除できます。

📘備考

インデックスを削除する前に、最初に解放されていることを確認してください。

Python

# 6. インデックスを削除
client.drop_index(
    collection_name="customized_setup",
    index_name="vector_index"
)

Java

// 6. インデックスを削除

DropIndexReq dropIndexReq = DropIndexReq.builder()
    .collectionName("customized_setup")
    .indexName("vector_index")
    .build();

client.dropIndex(dropIndexReq);

NodeJS

// 6. インデックスを削除
res = await client.dropIndex({
    collection_name: "customized_setup",
    index_name: "vector_index"
})

console.log(res.error_code)

// 出力
//
// Success
//

高度な機能

ベクトルインデックスに関するいくつかの高度な機能も存在します。

インデックス構築レベルの調整 [READ MORE]

Zilliz Cloudは`build_level`と呼ばれるパラメータを導入し、ターゲットコレクションのストレージ容量と検索再現率のバランスを取れるようにします。使用頻度が低いまたは追加のストレージ領域が必要なコレクションでは、再現率のわずかな低下と引き換えにストレージ容量を大幅に増やすことができます。逆もまた然りです。このガイドでは利用可能なオプションとコレクション用のインデックス構築方法について説明します。

MINHASH_LSH [READ MORE]

大規模な機械学習データセットでは、効率的な重複排除と類似性検索が重要です。特に、大規模言語モデル（LLM）の学習コーパスのクリーニングなどのタスクにおいては、数百万または数十億のドキュメントを扱う場合、従来の正確一致は遅くコストが高くなります。