メインコンテンツまでスキップ

Cohere

このトピックでは、Milvus で Cohere 埋め込み関数を設定して使用する方法について説明します。

Model choices​

Milvus は Cohere が提供する埋め込みモデルをサポートしています。以下は、すぐに参照できるよう現在利用可能な埋め込みモデルです。

Model NameDimensionsMax TokensDescription
embed-english-v3.01,024512テキストを分類したり埋め込みに変換したりできるモデルです。英語のみ対応です。
embed-multilingual-v3.01,024512多言語の分類および埋め込みをサポートします。サポートされている言語はこちら。
embed-english-light-v3.0384512embed-english-v3.0 のより小さく高速なバージョンです。機能はほぼ同等ですが、はるかに高速です。英語のみ対応です。
embed-multilingual-light-v3.0384512embed-multilingual-v3.0 のより小さく高速なバージョンです。機能はほぼ同等ですが、はるかに高速です。複数言語をサポートします。
embed-english-v2.04,096512テキストを分類したり埋め込みに変換したりできる旧版の埋め込みモデルです。英語のみ対応です。
embed-english-light-v2.01,024512embed-english-v2.0 のより小さく高速なバージョンです。機能はほぼ同等ですが、はるかに高速です。英語のみ対応です。
embed-multilingual-v2.0768256多言語の分類および埋め込みをサポートします。サポートされている言語はこちら。

詳細については、Cohere の Embed Models を参照してください。

Before you start​

テキスト埋め込み関数を使用する前に、次の前提条件を満たしていることを確認してください。

  • 埋め込みモデルを選択する

    使用する埋め込みモデルを決定してください。この選択によって、埋め込みの動作と出力形式が決まります。詳細は 埋め込みモデルを選択する を参照してください。

  • Cohere と統合し、integration ID を取得する

    Cohere を使用する前に、その埋め込みモデルを利用するための model provider integration を作成し、integration ID を取得する必要があります。詳細は Integrate with Model Providers を参照してください。

  • 互換性のある collection schema を設計する

    collection schema には以下を含めるように計画してください。

    • 生の入力テキスト用のテキストフィールド（VARCHAR）

    • 選択した埋め込みモデルに一致するデータ型と次元を持つ dense vector フィールド

  • 挿入時および検索時に生テキストを扱う準備をする

    テキスト埋め込み関数を有効にすると、生テキストを直接挿入およびクエリできます。埋め込みはシステムによって自動的に生成されます。

Step 1: Create a collection with a text embedding function​

Define schema fields​

埋め込み関数を使用するには、特定の schema を持つ collection を作成します。この schema には、少なくとも次の 3 つの必須フィールドを含める必要があります。

  • collection 内の各 entity を一意に識別する primary field。

  • 埋め込む生データを格納する VARCHAR フィールド。

  • テキスト埋め込み関数が VARCHAR フィールドに対して生成する dense vector 埋め込みを格納するために確保された vector フィールド。

次の例では、テキストデータを格納する 1 つの scalar field "document" と、Function モジュールによって生成される埋め込みを格納する 1 つの vector field "dense" を持つ schema を定義しています。vector dimension (dim) は、選択した埋め込みモデルの出力に一致するように設定してください。

python
from pymilvus import MilvusClient, DataType, Function, FunctionType

# Initialize Milvus client
client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

# Create a new schema for the collection
schema = client.create_schema()

# Add primary field "id"
schema.add_field("id", DataType.INT64, is_primary=True, auto_id=False)

# Add scalar field "document" for storing textual data
schema.add_field("document", DataType.VARCHAR, max_length=9000)

# Add vector field "dense" for storing embeddings.
# IMPORTANT: Set dim to match the exact output dimension of the embedding model.
schema.add_field("dense", DataType.FLOAT_VECTOR, dim=1024)

Define the text embedding function​

Milvus の Function モジュールは、scalar field に格納された生データを自動的に埋め込みへ変換し、明示的に定義された vector field に保存します。

以下の例では、scalar field "document" を埋め込みに変換し、その結果の vector を先ほど定義した "dense" vector field に格納する Function モジュール（cohere_func）を追加しています。

埋め込み関数を定義したら、それを collection schema に追加します。これにより、Milvus は指定した埋め込み関数を使用して、テキストデータから埋め込みを処理および保存するようになります。

python
# Define embedding function specifically for embedding model provider
text_embedding_function = Function(
    name="cohere_func",                                 # Unique identifier for this embedding function
    function_type=FunctionType.TEXTEMBEDDING,           # Indicates a text embedding function
    input_field_names=["document"],                     # Scalar field(s) containing text data to embed
    output_field_names=["dense"],                       # Vector field(s) for storing embeddings
    params={                                            # Provider-specific embedding parameters (function-level)
        "provider": "cohere",                           # Must be set to "cohere"
        "model_name": "embed-english-v3.0",             # Specifies the embedding model to use
        "integration_id": "YOUR_INTEGRATION_ID",    # Integration ID generated in the Zilliz Cloud console for the selected model provider
        # "url": "https://api.cohere.com/v2/embed",     # Defaults to the official endpoint if omitted
        # "truncate": "NONE",                           # Specifies how the API will handle inputs longer than the maximum token length.
    }
)

# Add the configured embedding function to your existing collection schema
schema.add_function(text_embedding_function)

Configure the index​

必要なフィールドと組み込み関数を含む schema を定義した後、collection の index を設定します。このプロセスを簡素化するには、index_type として AUTOINDEX を使用します。これは、データ構造に基づいて Zilliz Cloud が最適な index type を選択し、設定するオプションです。

python
# Prepare index parameters
index_params = client.prepare_index_params()

# Add AUTOINDEX to automatically select optimal indexing method
index_params.add_index(
    field_name="dense",
    index_type="AUTOINDEX",
    metric_type="COSINE" 
)

Create the collection​

それでは、定義した schema と index parameter を使用して collection を作成します。

python
# Create collection named "demo"
client.create_collection(
    collection_name='demo', 
    schema=schema, 
    index_params=index_params
)

Step 2: Insert data​

collection と index の設定が完了したら、生データを挿入する準備が整いました。このプロセスでは、生テキストを提供するだけで済みます。先ほど定義した Function モジュールが、各テキストエントリに対応する sparse vector を自動的に生成します。

python
# Insert sample documents
client.insert('demo', [
    {'id': 1, 'document': 'Milvus simplifies semantic search through embeddings.'},
    {'id': 2, 'document': 'Vector embeddings convert text into searchable numeric data.'},
    {'id': 3, 'document': 'Semantic search helps users find relevant information quickly.'},
])

Step 3: Search with text​

データ挿入後、生のクエリテキストを使用してセマンティック検索を実行します。Milvus はクエリを自動的に埋め込み vector に変換し、類似度に基づいて関連ドキュメントを取得し、最も一致する上位の結果を返します。

python
# Perform semantic search
results = client.search(
    collection_name='demo', 
    data=['How does Milvus handle semantic search?'], # Use text query rather than query vector
    anns_field='dense',   # Use the vector field that stores embeddings
    limit=1,
    output_fields=['document'],
)

print(results)
Ctrl I