メインコンテンツまでスキップ

バイナリベクトル

バイナリベクトルは、従来の高次元浮動小数点ベクトルを、0 と 1 のみを含むバイナリベクトルに変換する特殊なデータ表現形式です。この変換は、ベクトルのサイズを圧縮するだけでなく、意味情報を保持しながらストレージと計算コストも削減します。重要度の低い特徴に高い精度が不要な場合、バイナリベクトルは元の浮動小数点ベクトルの完全性と有用性の大部分を効果的に維持できます。

バイナリベクトルは幅広い用途があり、特に計算効率とストレージ最適化が重要となる場面で役立ちます。検索エンジンやレコメンデーションシステムといった大規模な AI システムでは、膨大なデータをリアルタイムで処理することが鍵となります。ベクトルのサイズを削減することで、バイナリベクトルは精度を大きく犠牲にすることなく、レイテンシと計算コストの低減に役立ちます。さらに、バイナリベクトルは、モバイルデバイスや組み込みシステムのようにメモリや処理能力が限られたリソース制約の厳しい環境でも有用です。バイナリベクトルを利用することで、こうした制約のある環境でも高いパフォーマンスを維持しながら複雑な AI 機能を実装できます。

概要​

バイナリベクトルは、複雑なオブジェクト（画像、テキスト、音声など）を固定長のバイナリ値にエンコードする方法です。Zilliz Cloud クラスターでは、バイナリベクトルは通常、ビット配列またはバイト配列として表現されます。たとえば、8 次元のバイナリベクトルは [1, 0, 1, 1, 0, 0, 1, 0] のように表現できます。

以下の図は、バイナリベクトルがテキストコンテンツ内のキーワードの有無をどのように表現するかを示しています。この例では、10 次元のバイナリベクトルを使用して 2 つの異なるテキスト（Text 1 と Text 2）を表現しており、各次元は語彙内の単語に対応しています。1 はその単語がテキスト内に存在することを示し、0 は存在しないことを示します。

TuIGwtyEkh9g04bvo0icsWdynBd

バイナリベクトルには、以下の特徴があります。

  • 効率的なストレージ: 各次元に必要なストレージはわずか 1 ビットで、ストレージ容量を大幅に削減できます。

  • 高速な計算: ベクトル間の類似度は、XOR のようなビット演算を使用してすばやく計算できます。

  • 固定長: ベクトルの長さは元のテキストの長さに関係なく一定であるため、インデックス作成や検索が容易になります。

  • シンプルで直感的: キーワードの存在を直接反映するため、特定の専門的な検索タスクに適しています。

バイナリベクトルは、さまざまな方法で生成できます。テキスト処理では、事前定義された語彙を使用し、単語の有無に応じて対応するビットを設定できます。画像処理では、知覚ハッシュアルゴリズム（pHash など）によって画像のバイナリ特徴を生成できます。機械学習アプリケーションでは、モデルの出力を二値化してバイナリベクトル表現を取得できます。

バイナリベクトル化後、データは管理とベクトル検索のために Zilliz Cloud クラスターに保存できます。以下の図は、基本的なプロセスを示しています。

TF1uw4AQVhFdmBbrhyVcJO6WnXe

Notes

バイナリベクトルは特定のシナリオでは優れていますが、表現能力に制限があるため、複雑な意味関係を捉えることは困難です。そのため、実際のシナリオでは、効率性と表現力のバランスを取るために、バイナリベクトルが他のベクトル型と併用されることがよくあります。詳細については、密ベクトル および スパースベクトル を参照してください。

バイナリベクトルを使用する​

ベクトルフィールドの追加​

Zilliz Cloud クラスターでバイナリベクトルを使用するには、まずコレクションの作成時に、バイナリベクトルを保存するためのベクトルフィールドを定義します。このプロセスには、以下が含まれます。

  1. datatype を、サポートされているバイナリベクトルデータ型である BINARY_VECTOR に設定します。

  2. dim パラメーターを使用してベクトルの次元数を指定します。バイナリベクトルは挿入時にバイト配列に変換する必要があるため、dim は 8 の倍数でなければならない点に注意してください。8 個の boolean 値（0 または 1）が 1 バイトにパックされます。たとえば、dim=128 の場合、挿入には 16 バイトの配列が必要です。

python
from pymilvus import MilvusClient, DataType

client = MilvusClient(uri="YOUR_CLUSTER_ENDPOINT")

schema = client.create_schema(
    auto_id=True,
    enable_dynamic_fields=True,
)

schema.add_field(field_name="pk", datatype=DataType.VARCHAR, is_primary=True, max_length=100)
schema.add_field(field_name="binary_vector", datatype=DataType.BINARY_VECTOR, dim=128)

この例では、バイナリベクトルを保存するための binary_vector という名前のベクトルフィールドを追加しています。このフィールドのデータ型は BINARY_VECTOR で、次元数は 128 です。

ベクトルフィールドのインデックスパラメーターを設定する​

検索を高速化するには、バイナリベクトルフィールドにインデックスを作成する必要があります。インデックス作成により、大規模なベクトルデータの検索効率を大幅に向上させることができます。

python
index_params = client.prepare_index_params()

index_params.add_index(
    field_name="binary_vector",
    index_name="binary_vector_index",
    index_type="AUTOINDEX",
    metric_type="HAMMING"
)

上記の例では、binary_vector フィールドに対して binary_vector_index という名前のインデックスを、AUTOINDEX インデックスタイプを使用して作成しています。metric_type は HAMMING に設定されており、類似度の測定にハミング距離が使用されることを示しています。

さらに、Zilliz Cloud はバイナリベクトルに対して他の類似度メトリクスもサポートしています。詳細については、Metric Types を参照してください。

コレクションの作成​

バイナリベクトルとインデックスの設定が完了したら、バイナリベクトルを含むコレクションを作成します。以下の例では、create_collection メソッドを使用して my_collection という名前のコレクションを作成します。

python
client.create_collection(
    collection_name="my_collection",
    schema=schema,
    index_params=index_params
)

データの挿入​

コレクションを作成した後、insert メソッドを使用して、バイナリベクトルを含むデータを追加します。バイナリベクトルはバイト配列の形式で指定する必要があり、各バイトは 8 個の boolean 値を表す点に注意してください。

たとえば、128 次元のバイナリベクトルには 16 バイトの配列が必要です（128 ビット ÷ 8 ビット/byte = 16 バイト）。以下は、データを挿入するためのコード例です。

python
def convert_bool_list_to_bytes(bool_list):
    if len(bool_list) % 8 != 0:
        raise ValueError("The length of a boolean list must be a multiple of 8")

    byte_array = bytearray(len(bool_list) // 8)
    for i, bit in enumerate(bool_list):
        if bit == 1:
            index = i // 8
            shift = i % 8
            byte_array[index] |= (1 << shift)
    return bytes(byte_array)

bool_vectors = [
    [1, 0, 0, 1, 1, 0, 1, 1, 0, 1, 0, 1, 0, 1, 0, 0] + [0] * 112,
    [0, 1, 0, 1, 0, 1, 0, 0, 1, 1, 0, 0, 1, 1, 0, 1] + [0] * 112,
]

data = [{"binary_vector": convert_bool_list_to_bytes(bool_vector)} for bool_vector in bool_vectors]

client.insert(
    collection_name="my_collection",
    data=data
)

類似検索は Zilliz Cloud クラスターの中核機能の 1 つであり、ベクトル間の距離に基づいて、クエリベクトルに最も類似したデータをすばやく見つけることができます。バイナリベクトルを使用して類似検索を実行するには、クエリベクトルと検索パラメーターを準備し、search メソッドを呼び出します。

検索操作時にも、バイナリベクトルはバイト配列の形式で指定する必要があります。クエリベクトルの次元数が、dim の定義時に指定した次元数と一致していること、および 8 個の boolean 値ごとに 1 バイトに変換されていることを確認してください。

python
search_params = {
    "params": {"nprobe": 10}
}

query_bool_list = [1, 0, 0, 1, 1, 0, 1, 1, 0, 1, 0, 1, 0, 1, 0, 0] + [0] * 112
query_vector = convert_bool_list_to_bytes(query_bool_list)

res = client.search(
    collection_name="my_collection",
    data=[query_vector],
    anns_field="binary_vector",
    search_params=search_params,
    limit=5,
    output_fields=["pk"]
)

print(res)

# Output
# data: ["[{'id': '453718927992172268', 'distance': 10.0, 'entity': {'pk': '453718927992172268'}}]"]

類似検索パラメーターの詳細については、基本的な ANN 検索 を参照してください。

Ctrl I