Boost Ranker

ベクトル距離に基づいて計算される意味的類似性のみに依存する代わりに、Boost Ranker を使用すると、意味のある形で検索結果に影響を与えることができます。メタデータフィルタリングを使用して検索結果をすばやく調整するのに最適です。

検索リクエストに Boost Ranker 関数が含まれている場合、Milvus は関数内のオプションのフィルタリング条件を使用して検索結果候補の中から一致を見つけ、指定された重みを適用してそれらの一致のスコアをブーストします。これにより、最終結果における一致したエンティティの順位を上げたり下げたりするのに役立ちます。

Boost Ranker を使用する場合

クロスエンコーダーモデルやフュージョンアルゴリズムに依存する他の ranker とは異なり、Boost Ranker はオプションのメタデータ駆動ルールをランキングプロセスに直接注入します。そのため、以下のようなシナリオにより適しています。

ユースケース	例	Boost Ranker が効果的に機能する理由
ビジネス主導のコンテンツ優先順位付け	E コマースの検索結果でプレミアム商品を目立たせる ユーザーエンゲージメント指標（閲覧数、いいね、シェアなど）が高いコンテンツの可視性を高める 時間に敏感な検索アプリケーションで最近のコンテンツを上位にする 検証済みまたは信頼できるソースからのコンテンツを優先する 完全一致のフレーズや関連性の高いキーワードに一致する結果をブーストする	インデックスの再構築やベクトル埋め込みモデルの変更といった時間のかかる操作を行う必要なく、リアルタイムでオプションのメタデータフィルタを適用することで、検索結果内の特定の項目を即座に昇格または降格できます。この仕組みにより、進化するビジネス要件に容易に適応できる、柔軟で動的な検索ランキングが可能になります。
戦略的なコンテンツのダウンランキング	在庫の少ない商品を完全に削除することなく目立ちにくくする 検閲することなく、問題となる可能性のある用語を含むコンテンツの順位を下げる 技術検索では引き続きアクセス可能にしつつ、古いドキュメントの順位を下げる マーケットプレイス検索で競合製品の可視性をさりげなく下げる 品質が低いことを示す特徴（フォーマットの問題、短い長さなど）を持つコンテンツの関連性を下げる

複数の Boost Ranker を組み合わせて、より動的で堅牢な重みベースのランキング戦略を実装することもできます。

Boost Ranker の仕組み

次の図は、Boost Ranker の主なワークフローを示しています。

データを挿入すると、Zilliz Cloud はそれを複数のセグメントに分散します。検索時には、各セグメントが候補のセットを返し、Zilliz Cloud はすべてのセグメントからの候補をランク付けして最終結果を生成します。検索リクエストに Boost Ranker が含まれている場合、Zilliz Cloud は精度低下の可能性を防ぎ、リコールを改善するために、各セグメントからの候補結果にそれを適用します。

結果を確定する前に、Milvus はこれらの候補を次のように Boost Ranker で処理します。

1. Boost Ranker で指定されたオプションのフィルタ式を適用し、式に一致するエンティティを特定します。

2. Boost Ranker で指定された重みを適用し、特定されたエンティティのスコアをブーストします。

📘Notes

Boost Ranker はマルチベクトルハイブリッド検索では使用できません。

Boost Ranker の例

次の例は、上位 5 件の最も関連性の高いエンティティを返し、doctype が abstract のエンティティのスコアに重みを追加する必要がある単一ベクトル検索での Boost Ranker の使用方法を示しています。

1. セグメント内で検索結果候補を収集します。

   次の表では、Milvus がエンティティを 2 つのセグメント（0001 と 0002）に分散し、各セグメントが 5 件の候補を返すものと仮定しています。

   ID	DocType	Score	Rank	segment
   117	abstract	0.344	1	0001
   89	abstract	0.456	2	0001
   257	body	0.578	3	0001
   358	title	0.788	4	0001
   168	body	0.899	5	0001
   46	body	0.189	1	0002
   48	body	0265	2	0002
   561	abstract	0.366	3	0002
   344	abstract	0.444	4	0002
   276	abstract	0.845	5	0002

2. Boost Ranker で指定されたフィルタ式を適用します (doctype='abstract')。

   次の表の DocType フィールドが示すように、Milvus は doctype が abstract に設定されているすべてのエンティティを以降の処理対象としてマークします。

   ID	DocType	Score	Rank	segment
   117	abstract	0.344	1	0001
   89	abstract	0.456	2	0001
   257	body	0.578	3	0001
   358	title	0.788	4	0001
   168	body	0.899	5	0001
   46	body	0.189	1	0002
   48	body	0265	2	0002
   561	abstract	0.366	3	0002
   344	abstract	0.444	4	0002
   276	abstract	0.845	5	0002

3. Boost Ranker で指定された重みを適用します (weight=0.5)。

   前のステップで特定されたすべてのエンティティに、Boost Ranker で指定された重みが掛けられ、その結果、順位に変化が生じます。

   ID	DocType	Score	Weighted Score (= score x weight)	Rank	segment
   117	abstract	0.344	0.172	1	0001
   89	abstract	0.456	0.228	2	0001
   257	body	0.578	0.578	3	0001
   358	title	0.788	0.788	4	0001
   168	body	0.899	0.899	5	0001
   561	abstract	0.366	0.183	1	0002
   46	body	0.189	0.189	2	0002
   344	abstract	0.444	0.222	3	0002
   48	body	0.265	0.265	4	0002
   276	abstract	0.845	0.423	5	0002

   📘Notes

   重みは、選択した浮動小数点数である必要があります。上記の例のように、スコアが小さいほど関連性が高い場合は、1 未満の重みを使用してください。そうでない場合は、1 より大きい重みを使用してください。

4. 重み付けされたスコアに基づいてすべてのセグメントから候補を集約し、結果を確定します。

   ID	DocType	Score	Weighted Score	Rank	segment
   117	abstract	0.344	0.172	1	0001
   561	abstract	0.366	0.183	2	0002
   46	body	0.189	0.189	3	0002
   344	abstract	0.444	0.222	4	0002
   89	abstract	0.456	0.228	5	0001

Boost Ranker の使用方法

このセクションでは、単一ベクトル検索の結果に影響を与えるために Boost Ranker を使用する方法の例を示します。

Boost Ranker を作成する

検索リクエストの reranker として Boost Ranker を渡す前に、次のように reranking 関数として Boost Ranker を適切に定義する必要があります。

Python

python

from pymilvus import Function, FunctionType

rerank = Function(
    name="boost",
    input_field_names=[], # Must be an empty list
    function_type=FunctionType.RERANK,
    params={
        "reranker": "boost",
        "filter": "doctype == 'abstract'",
        "random_score": { 
            "seed": 126,
            "field": "id"
        },
        "weight": 0.5
    }
)

Java

java

import io.milvus.v2.service.vector.request.ranker.BoostRanker;

BoostRanker rerank = BoostRanker.builder()
        .name("boost")
        .filter("doctype == \"abstract\"")
        .weight(5.0f)
        .randomScoreField("id")
        .randomScoreSeed(126)
        .build();

Go

go

// go

NodeJS

javascript

import {FunctionType} from '@zilliz/milvus2-sdk-node';

const rerank = {
  name: "boost",
  input_field_names: [],
  type: FunctionType.RERANK,
  params: {
    reranker: "boost",
    filter: "doctype == 'abstract'",
    random_score: {
      seed: 126,
      field: "id",
    },
    weight: 0.5,
  },
};

cURL

bash

# restful

C++

c++

auto rerank = std::make_shared<milvus::BoostRerank>("boost");
rerank->SetFilter("doctype == 'abstract'");
rerank->SetWeight(0.5);
rerank->SetRandomScoreField("id");
rerank->SetRandomScoreSeed(126);

パラメータ	必須?	説明	値/例
name	はい	この Function の一意の識別子	"boost"
input_field_names	はい	関数を適用するベクトルフィールドのリスト（Boost Ranker では空である必要があります）	[]
function_type	はい	呼び出す Function の種類。reranking 戦略を指定するには RERANK を使用します	FunctionType.RERANK
params.reranker	はい	reranker の種類を指定します。 Boost Ranker を使用するには boost に設定する必要があります。	"boost"
params.weight	はい	生の検索結果内の一致したエンティティのスコアに掛けられる重みを指定します。 値は浮動小数点数である必要があります。 一致したエンティティの重要度を強調するには、スコアをブーストする値に設定します。 一致したエンティティを降格させるには、このパラメータにスコアを下げる値を割り当てます。	1
params.filter	いいえ	検索結果エンティティの中からエンティティを照合するために使用されるフィルタ式を指定します。Filtering Explained で説明されている任意の有効な基本フィルタ式を使用できます。 Note: ==、>、< などの基本演算子のみを使用してください。text_match や phrase_match などの高度な演算子を使用すると、検索パフォーマンスが低下します。	"doctype == 'abstract'"
params.random_score	いいえ	0 から 1 までの値をランダムに生成する random 関数を指定します。これには次の 2 つのオプション引数があります。 seed (number) 疑似乱数生成器（PRNG）を開始するために使用される初期値を指定します。 field (string) 乱数生成時のランダム要因として使用されるフィールドの名前を指定します。一意の値を持つフィールドであれば十分です。 同じ seed と field の値を使用して生成間の一貫性を確保するため、seed と field の両方を設定することを推奨します。	{"seed": 126, "field": "id"}

単一の Boost Ranker で検索する

Boost Ranker 関数の準備ができたら、検索リクエストでそれを参照できます。次の例では、id、vector、doctype の各フィールドを持つ collection をすでに作成済みであると仮定しています。

Python

python

from pymilvus import MilvusClient

# Connect to the Milvus server
client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

# Assume you have a collection set up

# Conduct a similarity search using the created ranker
client.search(
    collection_name="my_collection",
    data=[[-0.619954382375778, 0.4479436794798608, -0.17493894838751745, -0.4248030059917294, -0.8648452746018911]],
    anns_field="vector",
    params={},
    output_field=["doctype"],
    ranker=rerank
)

Java

java

import io.milvus.v2.client.ConnectConfig;
import io.milvus.v2.client.MilvusClientV2;
import io.milvus.v2.service.vector.request.SearchReq;
import io.milvus.v2.service.vector.response.SearchResp;
import io.milvus.v2.service.vector.request.data.FloatVec;

MilvusClientV2 client = new MilvusClientV2(ConnectConfig.builder()
        .uri("YOUR_CLUSTER_ENDPOINT")
        .token("YOUR_CLUSTER_TOKEN")
        .build());
        
SearchResp searchReq = client.search(SearchReq.builder()
        .collectionName("my_collection")
        .data(Collections.singletonList(new FloatVec(new float[]{-0.619954f, 0.447943f, -0.174938f, -0.424803f, -0.864845f})))
        .annsField("vector")
        .outputFields(Collections.singletonList("doctype"))
        .functionScore(FunctionScore.builder()
                .addFunction(rerank)
                .build())
        .build());
SearchResp searchResp = client.search(searchReq);

Go

go

// go

NodeJS

javascript

import { MilvusClient } from '@zilliz/milvus2-sdk-node';

// Connect to the Milvus server
const client = new MilvusClient({
  address: 'YOUR_CLUSTER_ENDPOINT',
  token: 'YOUR_CLUSTER_TOKEN'
});

// Assume you have a collection set up

// Conduct a similarity search
const searchResults = await client.search({
  collection_name: 'my_collection',
  data: [-0.619954382375778, 0.4479436794798608, -0.17493894838751745, -0.4248030059917294, -0.8648452746018911],
  anns_field: 'vector',
  output_fields: ['doctype'],
  rerank: rerank,
});

console.log('Search results:', searchResults);

cURL

bash

# restful

C++

c++

#include "milvus/MilvusClientV2.h"

auto client = milvus::MilvusClientV2::Create();

milvus::ConnectParam connect_param{"YOUR_CLUSTER_ENDPOINT", "YOUR_CLUSTER_TOKEN"};
auto status = client->Connect(connect_param);
if (!status.IsOk()) {
    std::cout << status.Message() << std::endl;
}

auto function_score = std::make_shared<milvus::FunctionScore>();
function_score->AddFunction(rerank);

std::vector<float> query_vector = {-0.619954382375778, 0.4479436794798608, -0.17493894838751745, -0.4248030059917294, -0.8648452746018911};
auto request = milvus::SearchRequest()
                   .WithCollectionName("my_collection")
                   .WithAnnsField("vector")
                   .WithRerank(function_score)
                   .AddOutputField("doctype")
                   .AddFloatVector(query_vector);

milvus::SearchResponse response;
status = client->Search(request, response);
if (!status.IsOk()) {
    std::cout << status.Message() << std::endl;
}

複数の Boost Ranker で検索する

複数の Boost Ranker を 1 回の検索で組み合わせて検索結果に影響を与えることができます。これを行うには、複数の Boost Ranker を作成し、それらを FunctionScore インスタンスで参照し、検索リクエストの ranker として FunctionScore インスタンスを使用します。

次の例は、0.8 から 1.2 の間の重みを適用して、特定されたすべてのエンティティのスコアを変更する方法を示しています。

Python

python

from pymilvus import MilvusClient, Function, FunctionType, FunctionScore

# Create a Boost Ranker with a fixed weight
fix_weight_ranker = Function(
    name="boost",
    input_field_names=[], # Must be an empty list
    function_type=FunctionType.RERANK,
    params={
        "reranker": "boost",
        "weight": 0.8
    }
)

# Create a Boost Ranker with a randomly generated weight between 0 and 0.4
random_weight_ranker = Function(
    name="boost",
    input_field_names=[], # Must be an empty list
    function_type=FunctionType.RERANK,
    params={
        "reranker": "boost",
        "random_score": {
            "seed": 126,
        },
        "weight": 0.4
    }
)

# Create a Function Score
ranker = FunctionScore(
    functions=[
        fix_weight_ranker, 
        random_weight_ranker
    ],
    params={
        "boost_mode": "Multiply",
        "function_mode": "Sum"
    }
)

# Conduct a similarity search using the created Function Score
client.search(
    collection_name="my_collection",
    data=[[-0.619954382375778, 0.4479436794798608, -0.17493894838751745, -0.4248030059917294, -0.8648452746018911]],
    anns_field="vector",
    params={},
    output_field=["doctype"],
    ranker=ranker
)

Java

java

import io.milvus.common.clientenum.FunctionType;
import io.milvus.v2.service.collection.request.CreateCollectionReq;

CreateCollectionReq.Function fixWeightRanker = CreateCollectionReq.Function.builder()
                 .functionType(FunctionType.RERANK)
                 .name("boost")
                 .param("reranker", "boost")
                 .param("weight", "0.8")
                 .build();
                 
CreateCollectionReq.Function randomWeightRanker = CreateCollectionReq.Function.builder()
                 .functionType(FunctionType.RERANK)
                 .name("boost")
                 .param("reranker", "boost")
                 .param("weight", "0.4")
                 .param("random_score", "{\"seed\": 126}")
                 .build();

Map<String, String> params = new HashMap<>();
params.put("boost_mode","Multiply");
params.put("function_mode","Sum");     
FunctionScore ranker = FunctionScore.builder()
                 .addFunction(fixWeightRanker)
                 .addFunction(randomWeightRanker)
                 .params(params)
                 .build()

SearchResp searchReq = client.search(SearchReq.builder()
                 .collectionName("my_collection")
                 .data(Collections.singletonList(new FloatVec(new float[]{-0.619954f, 0.447943f, -0.174938f, -0.424803f, -0.864845f})))
                 .annsField("vector")
                 .outputFields(Collections.singletonList("doctype"))
                 .addFunction(ranker)
                 .build());
SearchResp searchResp = client.search(searchReq);

Go

go

// go

NodeJS

javascript

import {FunctionType} from '@zilliz/milvus2-sdk-node';

const fix_weight_ranker = {
  name: "boost",
  input_field_names: [],
  type: FunctionType.RERANK,
  params: {
    reranker: "boost",
    weight: 0.8,
  },
};

const random_weight_ranker = {
  name: "boost",
  input_field_names: [],
  type: FunctionType.RERANK,
  params: {
    reranker: "boost",
    random_score: {
      seed: 126,
    },
    weight: 0.4,
  },
};

const ranker = {
  functions: [fix_weight_ranker, random_weight_ranker],
  params: {
    boost_mode: "Multiply",
    function_mode: "Sum",
  },
};

await client.search({
  collection_name: "my_collection",
  data: [[-0.619954382375778, 0.4479436794798608, -0.17493894838751745, -0.4248030059917294, -0.8648452746018911]],
  anns_field: "vector",
  params: {},
  output_field: ["doctype"],
  ranker: ranker
});

cURL

bash

# restful

C++

c++

auto fix_weight_ranker = std::make_shared<milvus::BoostRerank>("boost");
fix_weight_ranker->SetWeight(0.8);

auto random_weight_ranker = std::make_shared<milvus::BoostRerank>("boost");
random_weight_ranker->SetWeight(0.4);
random_weight_ranker->SetRandomScoreSeed(126);

auto function_score = std::make_shared<milvus::FunctionScore>();
function_score->AddFunction(fix_weight_ranker);
function_score->AddFunction(random_weight_ranker);

std::vector<float> query_vector = {-0.619954382375778, 0.4479436794798608, -0.17493894838751745, -0.4248030059917294, -0.8648452746018911};
auto request = milvus::SearchRequest()
                   .WithCollectionName("my_collection")
                   .WithAnnsField("vector")
                   .WithLimit(10)
                   .WithRerank(function_score)
                   .AddOutputField("doctype")
                   .AddFloatVector(query_vector);

milvus::SearchResponse response;
auto status = client->Search(request, response);
if (!status.IsOk()) {
    std::cout << status.Message() << std::endl;
}

具体的には、2 つの Boost Ranker があります。1 つは見つかったすべてのエンティティに固定の重みを適用し、もう 1 つはそれらにランダムな重みを割り当てます。次に、これら 2 つの ranker を FunctionScore で参照し、さらに FunctionScore で、見つかったエンティティのスコアに重みがどのように影響するかを定義します。

次の表は、FunctionScore インスタンスの作成に必要なパラメータを示しています。

パラメータ	必須?	説明	値/例
functions	はい	対象の ranker の名前をリストで指定します。	["fix_weight_ranker", "random_weight_ranker"]
params.boost_mode	いいえ	指定された重みが一致したエンティティのスコアにどのように影響するかを指定します。 指定可能な値は次のとおりです。 Multiply 重み付け後の値が、一致したエンティティの元のスコアに指定された重みを掛けた値に等しいことを示します。 これがデフォルト値です。 Sum 重み付け後の値が、一致したエンティティの元のスコアと指定された重みの合計に等しいことを示します	"Sum"
params.function_mode	いいえ	さまざまな Boost Ranker からの重み付け後の値をどのように処理するかを指定します。 指定可能な値は次のとおりです。 Multiply 一致したエンティティの最終スコアが、すべての Boost Ranker からの重み付け後の値の積に等しいことを示します。 これがデフォルト値です。 Sum 一致したエンティティの最終スコアが、すべての Boost Ranker からの重み付け後の値の合計に等しいことを示します。	"Sum"