メインコンテンツまでスキップ

Hugging Face Ranker

ベクトル検索は結果をベクトル距離で並べ替えますが、初期の順序は各候補のテキストがクエリにどの程度適合しているかを反映していない場合があります。Hugging Face モデルプロバイダー統合を使用すると、Hugging Face Ranker は Hugging Face の sentence-similarity タスクのスコアを使用して、ベクトル検索で返された候補を並べ替えます。

仕組み​

Hugging Face Ranker は、ベクトル検索後に候補エンティティをリランクします。次の図は、アプリケーション、Zilliz Cloud、Hugging Face 間の一般的なワークフローを示しています。

KDOBw9YpBhRHkJbwjL3cmZfWnvf

一般的なワークフローは4つのステップで構成されます。

  1. 候補エンティティを取得します。 Zilliz Cloud は、構成されたベクトルフィールドに対してベクトル検索を実行し、候補エンティティを返します。

  2. リランク用のテキストを準備します。 ランカーは、クエリテキストを params.queries から、候補テキストを input_field_names で指定された null 非許容の VARCHAR フィールドから読み取ります。

  3. リランクスコアをリクエストします。 Zilliz Cloud はクエリと候補テキストを Hugging Face に送信し、各候補について新たに計算された類似度スコアを受信します。

  4. リランクして結果を返します。 Zilliz Cloud はスコアを候補エンティティにマッピングし、スコアの高い順から低い順に並べ替えて、リランクされた結果を返します。

リランクスコアの計算方法

上記の一般的なワークフローは、リランクが行われる場所を示しています。次のプロセスは、Hugging Face が各候補の新しい類似度スコアを計算する方法を説明します。

L1jQwyef6hP51bb9EYjc6pV6nTd

  1. テキスト入力を準備します。 ランカーは、クエリテキストを params.queries から、空でない候補テキストを input_field_names で指定された VARCHAR フィールドから読み取ります。

  2. 埋め込みを作成します。 Zilliz Cloud は、クエリテキストを source_sentence として、候補テキストを sentences として、hf-inference を介して Hugging Face に送信し、Sentence Similarity タスクを実行します。モデルは、概念的にはクエリ埋め込みと候補テキスト用の個別の埋め込みを作成します。

  3. スコアを計算して返します。 モデルはクエリ埋め込みを各候補埋め込みと比較し、候補ごとに1つの類似度スコアを返します。

図に示されている埋め込みはモデル処理の中間結果であり、Hugging Face API は類似度スコアのみを返します。ベクトル取得とリランクでは、別々の表現とスコアが使用されます。Hugging Face Ranker は、候補ベクトルや取得スコアを再利用しません。検索ベクトルの作成に使用される埋め込みモデルと、リランクに使用される Hugging Face モデルは独立しており、異なる場合があります。

事前計算されたベクトルを挿入する場合は、Hugging Face Ranker がリランク時に読み取れるよう、元の候補テキストも VARCHAR フィールドに保存してください。

事前準備​

Hugging Face Ranker を使用する前に、次の点を確認してください。

Notes

Zilliz Cloud は、hf-inference を介して Hugging Face に接続し、Hugging Face Ranker に sentence-similarity タスクを使用します。Zilliz Cloud は、特定のモデルが現在 hf-inference によって提供されているか、引き続き利用可能か、または安定性、レイテンシ、出力品質に関する要件を満たしているかを制御しません。実稼働環境で使用する前に、Hugging Face で選択したモデルを確認し、ワークロードに対して評価してください。

  • Hugging Face モデルプロバイダー統合を作成し、その統合 ID をコピーすること。手順については、Integrate with Model Providers を参照してください。

  • モデルの Hugging Face ページを開き、Inference Providers セクションを確認すること。hf-inference が現在 sentence-similarity タスク用にこのモデルを提供していることを確認してください。

  • コレクションが候補テキストを null 非許容の VARCHAR フィールドに保存していることを確認すること。リランク関数は、input_field_names でそのようなフィールドを正確に1つ参照する必要があります。コレクションには他のテキストフィールドを含めることができます。

Hugging Face Ranker を使用する​

Hugging Face Ranker は検索時に定義および適用されます。コレクションスキーマを変更せずに、検索リクエストごとにランカーを有効化、無効化、または変更できます。

準備​

次の設定では、id を主キー、document をリランクに使用する候補テキストを保存する VARCHAR フィールド、dense を初期検索に使用するベクトルフィールドとする3つのフィールドを持つコレクションを作成します。また、検索とリランクの例で使用するサンプルデータを挿入します。

サンプルデータを含むコレクションを準備する
python
from pymilvus import DataType, MilvusClient

client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN",
)

collection_name = "hugging_face_rerank_demo"

schema = client.create_schema()

schema.add_field("id", DataType.INT64, is_primary=True, auto_id=False)
schema.add_field("document", DataType.VARCHAR, max_length=1000)
schema.add_field("dense", DataType.FLOAT_VECTOR, dim=4)

index_params = client.prepare_index_params()

index_params.add_index(
    field_name="dense",
    index_type="AUTOINDEX",
    metric_type="COSINE",
)

client.create_collection(
    collection_name=collection_name,
    schema=schema,
    index_params=index_params,
)

data = [
    {
        "id": 1,
        "document": "Recent renewable energy developments include improved solar efficiency.",
        "dense": [0.10, 0.20, 0.30, 0.40],
    },
    {
        "id": 2,
        "document": "Climate policy and carbon markets have evolved rapidly in recent years.",
        "dense": [0.11, 0.19, 0.28, 0.39],
    },
    {
        "id": 3,
        "document": "New battery technology helps stabilize wind and solar power generation.",
        "dense": [0.90, 0.10, 0.05, 0.02],
    },
    {
        "id": 4,
        "document": "Vector databases support similarity search for machine learning applications.",
        "dense": [0.01, 0.02, 0.03, 0.04],
    },
]

client.insert(collection_name=collection_name, data=data)

リランク関数を定義する​

ベクトル検索で返された候補をリランクするために、document に保存されたテキストを使用する RERANK 関数を定義します。この関数では、クエリテキスト、Hugging Face モデル、モデルプロバイダー統合も指定します。

python
from pymilvus import Function, FunctionType

hugging_face_ranker = Function(
    name="hugging_face_semantic_ranker",
    # Use the text stored in the "document" VARCHAR field for reranking.
    input_field_names=["document"],
    function_type=FunctionType.RERANK,
    params={
        "reranker": "model",
        "provider": "huggingface",
        "model_name": "sentence-transformers/all-MiniLM-L6-v2",
        "queries": ["renewable energy developments"],
        "integration_id": "YOUR_INTEGRATION_ID",
        "max_client_batch_size": 32,
    },
)

この例では、構成をデモンストレーションする目的でのみ sentence-transformers/all-MiniLM-L6-v2 を使用しています。このモデルは、Zilliz Cloud による推奨または認定を意味するものではありません。

次の表では、Hugging Face Ranker の params でユーザーが設定できるすべてのエントリについて説明します。

パラメーター必須説明
rerankerはいリランクの実装です。この値は model に設定します。
providerはいZilliz Cloud のモデルプロバイダーです。この値は huggingface に設定します。
model_nameはいsentence-similarity タスク用に hf-inference を介して現在提供されているモデルの Hugging Face モデル ID です。
queriesはいリランクに使用するクエリテキストのリストです。初期検索でクエリベクトルを使用する場合でも、検索クエリ（nq）ごとに1つの文字列を指定します。
integration_idはいHugging Face モデルプロバイダー統合の ID です。手順については、Integrate with Model Providers を参照してください。
max_client_batch_sizeいいえ1回のリクエストで Hugging Face に送信する候補テキストの最大数です。デフォルト値は 32 です。値は 0 より大きい必要があります。

Hugging Face の認証情報を関数定義に含めないでください。

リランク関数を使用して検索する​

ranker パラメーターを介して関数を search() に渡します。

python
query_vector = [0.12, 0.21, 0.29, 0.41]

results = client.search(
    collection_name=collection_name,
    data=[query_vector],
    anns_field="dense",
    limit=3,
    output_fields=["document"],
    ranker=hugging_face_ranker,
)

print(results)

検索では、まず dense ベクトルフィールドから候補エンティティを取得します。次に、Hugging Face Ranker は queries のクエリテキストと各候補の document テキストを使用して、sentence-similarity タスクを通じて類似度スコアを計算します。Zilliz Cloud は候補をスコアの降順で返します。

トラブルシューティング​

sentence-similarity タスクでモデルを利用できない​

Hugging Face でモデルページを開き、Inference Providers セクションを確認します。hf-inference が現在このモデルを提供しており、モデルが sentence-similarity をサポートしていることを確認してください。いずれかの要件が満たされていない場合は、別のモデルを選択し、そのモデルページで確認してください。Zilliz Cloud は、Hugging Face モデル用のサポート対象モデルカタログを維持していません。

クエリテキストの数が検索リクエストと一致しない​

queries 内の文字列の数は、検索クエリ（nq）の数と等しい必要があります。1つのクエリベクトルを使用する検索では、クエリ文字列を正確に1つ指定してください。

次のステップ​

Hugging Face Ranker はハイブリッド検索でも使用できます。検索とハイブリッド検索では、同じ方法でランカーが適用されます。検索時に ranker パラメーターを介してリランク関数を渡します。

詳細については、Multi-ベクトル Hybrid Search を参照してください。

このページは役に立ちましたか？
Ctrl I