Hugging Face Ranker

ベクトル検索はベクトル距離で結果を並べますが、初期の順序は各候補のテキストがクエリにどれだけ適切に答えているかを反映しない場合があります。Hugging Face モデルプロバイダー統合を使用すると、Hugging Face Ranker は Hugging Face の sentence-similarity タスクのスコアを使用して、ベクトル検索で返された候補を再順位付けします。

仕組み

Hugging Face Ranker は、ベクトル検索後に候補エンティティを再順位付けします。次の図は、アプリケーション、Zilliz Cloud、Hugging Face 間の一般的なワークフローを示しています。

KDOBw9YpBhRHkJbwjL3cmZfWnvf

一般的なワークフローは 4 つのステップで構成されます。

候補エンティティを取得します。 Zilliz Cloud は設定されたベクトルフィールドに対してベクトル検索を実行し、候補エンティティを返します。
再順位付け用のテキストを準備します。 Ranker は、params.queries からクエリテキストを読み取り、input_field_names で指定された null 非許容の VARCHAR フィールドから候補テキストを読み取ります。
再順位付けスコアをリクエストします。 Zilliz Cloud はクエリと候補テキストを Hugging Face に送信し、各候補に対して新たに計算された類似度スコアを受け取ります。
再順位付けして結果を返します。 Zilliz Cloud はスコアを候補エンティティにマッピングし、スコアの高い順に並べて、再順位付けされた結果を返します。

再順位付けスコアの計算方法

上記の一般的なワークフローは、再順位付けがどこで行われるかを示しています。次のプロセスでは、Hugging Face が各候補に対して新しい類似度スコアをどのように計算するかを説明します。

L1jQwyef6hP51bb9EYjc6pV6nTd

テキスト入力を準備します。 Ranker は、params.queries からクエリテキストを読み取り、input_field_names で指定された VARCHAR フィールドから空でない候補テキストを読み取ります。
embedding を作成します。 Zilliz Cloud は、クエリテキストを source_sentence として、候補テキストを sentences として、Sentence Similarity タスク向けに hf-inference を通じて Hugging Face に送信します。モデルは概念的に、クエリ embedding と候補テキストごとの個別の embedding を作成します。
スコアを計算して返します。 モデルはクエリ embedding を各候補 embedding と比較し、候補ごとに 1 つの類似度スコアを返します。

図に示されている embedding はモデル内部の中間処理であり、Hugging Face API が返すのは類似度スコアのみです。ベクトル検索と再順位付けでは、別々の表現とスコアが使用されます。Hugging Face Ranker は候補ベクトルや検索スコアを再利用しません。検索ベクトルの作成に使用する embedding モデルと、再順位付けに使用する Hugging Face モデルは独立しており、異なっていても構いません。

事前計算済みベクトルを挿入する場合は、Hugging Face Ranker が再順位付け時に読み取れるよう、元の候補テキストも VARCHAR フィールドに保存してください。

事前準備

Hugging Face Ranker を使用する前に、以下を確認してください。

Notes

Zilliz Cloud は hf-inference を通じて Hugging Face に接続し、Hugging Face Ranker には sentence-similarity タスクを使用します。特定のモデルが現在 hf-inference で提供されているかどうか、引き続き利用可能かどうか、あるいは安定性、レイテンシ、出力品質に関する要件を満たすかどうかは、Zilliz Cloud では制御できません。本番環境で使用する前に、選択したモデルを Hugging Face 上で確認し、ワークロードに対して評価してください。

Hugging Face モデルプロバイダー統合を作成し、その統合 ID をコピーします。手順については、モデルプロバイダーとの統合を参照してください。
モデルの Hugging Face ページを開き、Inference Providers セクションを確認します。hf-inference が現在そのモデルを sentence-similarity タスク用に提供していることを確認してください。
コレクションに候補テキストが null 非許容の VARCHAR フィールドとして保存されていることを確認します。rerank 関数は、input_field_names でそのようなフィールドをちょうど 1 つ参照する必要があります。コレクションには、他のテキストフィールドを含めることもできます。

Hugging Face Ranker を使用する

Hugging Face Ranker は、検索時に定義して適用します。コレクションスキーマを変更することなく、検索リクエストごとに ranker を有効化、無効化、または変更できます。

準備

次のセットアップでは、3 つのフィールドを持つコレクションを作成します。id は主キー、document は再順位付けに使用する候補テキストを保存する VARCHAR フィールド、dense は初期検索に使用するベクトルフィールドです。また、検索および再順位付けの例で使用するサンプルデータも挿入します。

サンプルデータを含むコレクションを準備する

python
from pymilvus import DataType, MilvusClient

client = MilvusClient(
    uri="YOUR_ZILLIZ_CLOUD_URI",
    token="YOUR_ZILLIZ_CLOUD_TOKEN",
)

collection_name = "hugging_face_rerank_demo"

schema = client.create_schema()

schema.add_field("id", DataType.INT64, is_primary=True, auto_id=False)
schema.add_field("document", DataType.VARCHAR, max_length=1000)
schema.add_field("dense", DataType.FLOAT_VECTOR, dim=4)

index_params = client.prepare_index_params()

index_params.add_index(
    field_name="dense",
    index_type="AUTOINDEX",
    metric_type="COSINE",
)

client.create_collection(
    collection_name=collection_name,
    schema=schema,
    index_params=index_params,
)

data = [
    {
        "id": 1,
        "document": "Recent renewable energy developments include improved solar efficiency.",
        "dense": [0.10, 0.20, 0.30, 0.40],
    },
    {
        "id": 2,
        "document": "Climate policy and carbon markets have evolved rapidly in recent years.",
        "dense": [0.11, 0.19, 0.28, 0.39],
    },
    {
        "id": 3,
        "document": "New battery technology helps stabilize wind and solar power generation.",
        "dense": [0.90, 0.10, 0.05, 0.02],
    },
    {
        "id": 4,
        "document": "Vector databases support similarity search for machine learning applications.",
        "dense": [0.01, 0.02, 0.03, 0.04],
    },
]

client.insert(collection_name=collection_name, data=data)

rerank 関数を定義する

ベクトル検索で返された候補を、document に保存されたテキストを使って再順位付けする RERANK 関数を定義します。この関数では、クエリテキスト、Hugging Face モデル、およびモデルプロバイダー統合も指定します。

python
from pymilvus import Function, FunctionType

hugging_face_ranker = Function(
    name="hugging_face_semantic_ranker",
    # Use the text stored in the "document" VARCHAR field for reranking.
    input_field_names=["document"],
    function_type=FunctionType.RERANK,
    params={
        "reranker": "model",
        "provider": "huggingface",
        "model_name": "sentence-transformers/all-MiniLM-L6-v2",
        "queries": ["renewable energy developments"],
        "integration_id": "YOUR_INTEGRATION_ID",
        "max_client_batch_size": 32,
    },
)

この例では、設定方法を示すためだけに sentence-transformers/all-MiniLM-L6-v2 を使用しています。このモデルは、Zilliz Cloud による推奨や認定を意味するものではありません。

次の表は、Hugging Face Ranker についてユーザーが設定できる params のすべての項目を説明しています。

Parameter	Required	Description
`reranker`	Yes	再順位付けの実装です。この値は `model` に設定します。
`provider`	Yes	Zilliz Cloud のモデルプロバイダーです。この値は `huggingface` に設定します。
`model_name`	Yes	`sentence-similarity` タスク用に `hf-inference` を通じて現在提供されているモデルの Hugging Face モデル ID です。
`queries`	Yes	再順位付けに使用するクエリテキストのリストです。初期検索でクエリベクトルを使用する場合でも、検索クエリごと（`nq`）に 1 つの文字列を指定してください。
`integration_id`	Yes	Hugging Face モデルプロバイダー統合の ID です。手順については、モデルプロバイダーとの統合を参照してください。
`max_client_batch_size`	No	1 回のリクエストで Hugging Face に送信する候補テキストの最大数です。デフォルト値は `32` です。値は `0` より大きい必要があります。

関数定義に Hugging Face の認証情報を含めないでください。

rerank 関数で検索する

ranker パラメータを通じて、rerank 関数を search() に渡します。

python
query_vector = [0.12, 0.21, 0.29, 0.41]

results = client.search(
    collection_name=collection_name,
    data=[query_vector],
    anns_field="dense",
    limit=3,
    output_fields=["document"],
    ranker=hugging_face_ranker,
)

print(results)

検索では、まず dense ベクトルフィールドから候補エンティティを取得します。次に、Hugging Face Ranker は queries 内のクエリテキストと各候補の document テキストを使用して、sentence-similarity タスクを通じて類似度スコアを計算します。Zilliz Cloud は、スコアの降順で候補を返します。

トラブルシューティング

モデルが sentence-similarity タスクで利用できない場合

Hugging Face でモデルページを開き、Inference Providers セクションを確認してください。hf-inference が現在そのモデルを提供しており、そのモデルが sentence-similarity をサポートしていることを確認します。いずれかの要件が満たされていない場合は、別のモデルを選択し、そのモデルページで確認してください。Zilliz Cloud は、Hugging Face モデル向けのサポート対象モデルカタログを管理していません。

クエリテキストの数が検索リクエストと一致しない場合

queries 内の文字列の数は、検索クエリの数（nq）と等しくなければなりません。1 つのクエリベクトルで検索する場合は、クエリ文字列をちょうど 1 つ指定してください。

次のステップ

Hugging Face Ranker はハイブリッド検索でも使用できます。検索とハイブリッド検索では、同じ方法で ranker を適用します。つまり、検索時に ranker パラメータを通じて rerank 関数を渡します。

詳細については、Multi-ベクトル Hybrid Search を参照してください。

仕組み​

事前準備​

Hugging Face Ranker を使用する​

準備​

rerank 関数を定義する​

rerank 関数で検索する​

トラブルシューティング​

モデルが sentence-similarity タスクで利用できない場合​

クエリテキストの数が検索リクエストと一致しない場合​

次のステップ​

仕組み