メインコンテンツまでスキップ

バイナリベクトル

バイナリベクトルは、従来の高次元浮動小数点ベクトルを、0 と 1 のみを含むバイナリベクトルに変換する特殊なデータ表現形式です。この変換では、ベクトルのサイズが圧縮されるだけでなく、意味情報を保持しながらストレージコストと計算コストも削減されます。重要でない特徴量に厳密な精度が必要ない場合、バイナリベクトルは元の浮動小数点ベクトルの完全性と有用性の大部分を効果的に維持できます。

バイナリベクトルは幅広い用途があり、特に計算効率とストレージの最適化が重要な状況で役立ちます。検索エンジンやレコメンデーションシステムなどの大規模な AI システムでは、大量のデータをリアルタイムで処理することが鍵となります。ベクトルのサイズを削減することで、バイナリベクトルは精度を大きく犠牲にすることなく、レイテンシと計算コストの削減に役立ちます。また、バイナリベクトルは、メモリと処理能力が限られているモバイルデバイスや組み込みシステムなど、リソースに制約のある環境でも有用です。バイナリベクトルを使用することで、こうした制約のある環境でも高いパフォーマンスを維持しながら複雑な AI 機能を実装できます。

概要​

バイナリベクトルは、複雑なオブジェクト（画像、テキスト、音声など）を固定長のバイナリ値にエンコードする方法です。Zilliz Cloud クラスターでは、バイナリベクトルは通常、ビット配列またはバイト配列として表現されます。たとえば、8 次元のバイナリベクトルは [1, 0, 1, 1, 0, 0, 1, 0] のように表現できます。

以下の図は、バイナリベクトルがテキストコンテンツ内のキーワードの存在をどのように表すかを示しています。この例では、10 次元のバイナリベクトルを使用して 2 つの異なるテキスト（Text 1 と Text 2）を表現しており、各次元は語彙内の単語に対応します。1 はその単語がテキスト内に存在することを示し、0 は存在しないことを示します。

TuIGwtyEkh9g04bvo0icsWdynBd

バイナリベクトルには次の特徴があります。

  • 効率的なストレージ: 各次元に必要なストレージはわずか 1 ビットであり、ストレージ容量を大幅に削減します。

  • 高速な計算: ベクトル間の類似度は、XOR などのビット演算を使用して高速に計算できます。

  • 固定長: 元のテキストの長さに関係なくベクトルの長さは一定であるため、インデックス作成と取得が容易になります。

  • シンプルで直感的: キーワードの存在を直接反映するため、特定の専門的な取得タスクに適しています。

バイナリベクトルはさまざまな方法で生成できます。テキスト処理では、事前定義された語彙を使用し、単語の有無に基づいて対応するビットを設定できます。画像処理では、知覚ハッシュアルゴリズム（pHash など）によって画像のバイナリ特徴を生成できます。機械学習アプリケーションでは、モデルの出力を二値化してバイナリベクトル表現を取得できます。

バイナリベクトル化後、データは管理とベクトル検索のために Zilliz Cloud クラスターに保存できます。以下の図は基本的な流れを示しています。

TF1uw4AQVhFdmBbrhyVcJO6WnXe

Notes

Although binary ベクトル excel in specific scenarios, they have limitations in their expressive capability, making it difficult to capture complex semantic relationships. Therefore, in real-world scenarios, binary ベクトル are often used alongside other ベクトル types to balance efficiency and expressiveness. For more information, refer to Dense ベクトル and Sparse Vector.

バイナリベクトルを使用する​

ベクトルフィールドを追加する​

Zilliz Cloud クラスターでバイナリベクトルを使用するには、まずコレクションを作成するときにバイナリベクトルを保存するためのベクトルフィールドを定義します。このプロセスには以下が含まれます。

  1. datatype を、サポートされているバイナリベクトルのデータ型（BINARY_VECTOR）に設定します。

  2. dim パラメータを使用してベクトルの次元数を指定します。バイナリベクトルは挿入時にバイト配列に変換する必要があるため、dim は 8 の倍数でなければならない点に注意してください。8 個の boolean 値（0 または 1）ごとに 1 バイトにパックされます。たとえば、dim=128 の場合、挿入には 16 バイトの配列が必要です。

python
from pymilvus import MilvusClient, DataType

client = MilvusClient(uri="YOUR_CLUSTER_ENDPOINT")

schema = client.create_schema(
    auto_id=True,
    enable_dynamic_fields=True,
)

schema.add_field(field_name="pk", datatype=DataType.VARCHAR, is_primary=True, max_length=100)
schema.add_field(field_name="binary_vector", datatype=DataType.BINARY_VECTOR, dim=128)

この例では、バイナリベクトルを保存するための binary_vector という名前のベクトルフィールドが追加されます。このフィールドのデータ型は BINARY_VECTOR で、次元数は 128 です。

ベクトルフィールドのインデックスパラメータを設定する​

検索を高速化するには、バイナリベクトルフィールドにインデックスを作成する必要があります。インデックスを作成すると、大規模なベクトルデータの取得効率を大幅に向上できます。

python
index_params = client.prepare_index_params()

index_params.add_index(
    field_name="binary_vector",
    index_name="binary_vector_index",
    index_type="AUTOINDEX",
    metric_type="HAMMING"
)

上記の例では、AUTOINDEX インデックスタイプを使用して、binary_vector フィールドに binary_vector_index という名前のインデックスが作成されます。metric_type は HAMMING に設定されており、類似度の測定にハミング距離が使用されることを示します。

さらに、Zilliz Cloud はバイナリベクトル用の他の類似度メトリクスもサポートしています。詳細については、Metric Types を参照してください。

コレクションを作成する​

バイナリベクトルとインデックスの設定が完了したら、バイナリベクトルを含むコレクションを作成します。以下の例では、create_collection メソッドを使用して my_collection という名前のコレクションを作成します。

python
client.create_collection(
    collection_name="my_collection",
    schema=schema,
    index_params=index_params
)

データを挿入する​

コレクションを作成したら、insert メソッドを使用してバイナリベクトルを含むデータを追加します。バイナリベクトルはバイト配列の形式で指定する必要があり、各バイトは 8 個の boolean 値を表すことに注意してください。

たとえば、128 次元のバイナリベクトルには 16 バイトの配列が必要です（128 ビット ÷ 8 ビット/byte = 16 バイト）。以下はデータを挿入するためのコード例です。

python
def convert_bool_list_to_bytes(bool_list):
    if len(bool_list) % 8 != 0:
        raise ValueError("The length of a boolean list must be a multiple of 8")

    byte_array = bytearray(len(bool_list) // 8)
    for i, bit in enumerate(bool_list):
        if bit == 1:
            index = i // 8
            shift = i % 8
            byte_array[index] |= (1 << shift)
    return bytes(byte_array)

bool_vectors = [
    [1, 0, 0, 1, 1, 0, 1, 1, 0, 1, 0, 1, 0, 1, 0, 0] + [0] * 112,
    [0, 1, 0, 1, 0, 1, 0, 0, 1, 1, 0, 0, 1, 1, 0, 1] + [0] * 112,
]

data = [{"binary_vector": convert_bool_list_to_bytes(bool_vector)} for bool_vector in bool_vectors]

client.insert(
    collection_name="my_collection",
    data=data
)

類似検索は Zilliz Cloud クラスターの中核機能の 1 つであり、ベクトル間の距離に基づいて、クエリベクトルに最も類似するデータをすばやく見つけることができます。バイナリベクトルを使用して類似検索を実行するには、クエリベクトルと検索パラメータを準備し、search メソッドを呼び出します。

検索操作中も、バイナリベクトルはバイト配列の形式で指定する必要があります。クエリベクトルの次元数が dim の定義時に指定した次元と一致していること、および 8 個の boolean 値ごとに 1 バイトに変換されていることを確認してください。

python
search_params = {
    "params": {"nprobe": 10}
}

query_bool_list = [1, 0, 0, 1, 1, 0, 1, 1, 0, 1, 0, 1, 0, 1, 0, 0] + [0] * 112
query_vector = convert_bool_list_to_bytes(query_bool_list)

res = client.search(
    collection_name="my_collection",
    data=[query_vector],
    anns_field="binary_vector",
    search_params=search_params,
    limit=5,
    output_fields=["pk"]
)

print(res)

# Output
# data: ["[{'id': '453718927992172268', 'distance': 10.0, 'entity': {'pk': '453718927992172268'}}]"]

類似検索パラメータの詳細については、Basic ANN Search を参照してください。

このページは役に立ちましたか？
Ctrl I