メインコンテンツまでスキップ

リリースノート(2024年6月18日)

このリリースでは、Zilliz Cloud が Milvus 2.4 に支えられた数々の新機能を発表しました。これには、スパースベクトルサポート、強化されたマルチベクトル検索とハイブリッド検索、より高速なクエリのための転置インデックスとファジーマッチング、ドキュメントレベルのリコールのためのグループ化検索が含まれます。また、検索効率を向上させる Float16 および BFloat16 データ型も導入されています。さらに、Pipelines 機能は、すべてのデータ取り込みリクエストと検索リクエストでトークン使用量の統計を追跡するようになり、パフォーマンスの監視が効率化されました。詳細な統計は請求書ページで確認できます。

Milvus 互換性​

このリリースは Milvus 2.3.x と互換性があります。

クラスターを BETA にアップグレードする場合は、アップグレード後に Milvus 2.4.x の機能を利用できます。

Zilliz Cloud で利用可能な Milvus 2.4.x の新機能​

Milvus 2.4 は、RAG およびマルチモーダルデータ検索向けの多数の効率的な機能を提供します。これらの新機能を試す場合は、クラスターを BETA に更新できます。

Notes

Milvus 2.4 はまだ安定版に達していません。本番環境で Milvus 2.4 の機能を採用する場合は、慎重に検討してください。

スパースベクトル​

スパースベクトルは密ベクトルとは異なり、次元数が数桁大きくなる傾向がある一方で、非ゼロの次元はごくわずかです。この機能は用語ベースの性質により解釈可能性が高く、特定のドメインではより効果的となる場合があります。SPLADEv2/BGE-M3 などの学習済みスパースモデルは、一般的なファーストステージランキングタスクに有用であることが実証されています。この新機能の主なユースケースは、SPLADEv2/BGE-M3 などのニューラルモデルや BM25 アルゴリズムなどの統計モデルが生成するスパースベクトルに対して、効率的な近似セマンティック最近傍検索を可能にすることです。Zilliz Cloud は現在、スパースベクトルの効率的かつ高性能なストレージ、インデックス作成、検索(MIPS、Maximum Inner Product Search)をサポートしています。

詳細は、スパースベクトル ガイドと hello_sparse.py の例コードを参照してください。例コード内の接続情報を、Zilliz Cloud クラスターの認証情報で必ず更新してください。

マルチベクトルサポートは、マルチモデルデータ処理や密ベクトルとスパースベクトルの混在を必要とするアプリケーションの基盤です。マルチベクトルサポートにより、次のことができるようになりました:

  • 複数のモデルから、非構造化テキスト、画像、音声サンプルに対して生成されたベクトル埋め込みを保存できます。

  • 各エンティティに複数のベクトルを含むコレクションに対して ANN 検索を実行できます。

  • 異なる埋め込みモデルに重みを割り当てて、検索戦略をカスタマイズできます。

  • さまざまな埋め込みモデルを試して、最適なモデルの組み合わせを見つけることができます。

マルチベクトルサポートにより、コレクション内の FLOAT_VECTOR や SPARSE_FLOAT_VECTOR など、異なる型の複数のベクトルフィールドに対して、保存、インデックス作成、再ランキング戦略の適用を行うことができます。現在、Reciprocal Rank Fusion(RRF) と Average Weighted Scoring の 2 つの再ランキング戦略を利用できます。どちらの戦略も、異なるベクトルフィールドの検索結果を 1 つの統一された結果セットに統合します。1 つ目の戦略は、複数のベクトルフィールドの検索結果に一貫して現れるエンティティを優先し、もう 1 つの戦略は、各ベクトルフィールドの検索結果に重みを割り当てて、最終的な結果セットにおける重要度を決定します。

詳細は、基本的な ANN 検索 および ハイブリッド検索 のガイドと、hybrid_search.py の例コードを参照してください。例コード内の接続情報を、Zilliz Cloud クラスターの認証情報で必ず更新してください。

転置インデックスとファジーマッチ​

以前の Milvus リリースでは、スカラーフィールドのインデックス作成にメモリベースのバイナリ検索インデックスと Marisa Trie インデックスが使用されていました。ただし、これらの方法はメモリを大量に消費しました。Zilliz Cloud の最新リリースでは、これらのメカニズムを最適化するために自動インデックスを採用しており、すべての数値型および文字列型のデータ型に適用できます。この新しいインデックスはスカラークエリのパフォーマンスを大幅に向上させ、文字列内のキーワードのクエリ時間を 10 分の 1 に短縮します。さらに、転置インデックスは、データ圧縮および内部インデックス構造のメモリマップドストレージ(MMap)メカニズムにおける追加の最適化により、メモリ消費量が少なくなります。

このリリースでは、スカラーフィルタリングで、プレフィックス、インフィックス、サフィックスを使用したファジーマッチもサポートしています。

詳細については、バイナリベクトル、INVERTED、および 演算子 like の使用方法 ガイドと、inverted_index_example.py および fuzzy_match.py の例コードを参照してください。例コード内の接続情報を、Zilliz Cloud クラスターの認証情報で必ず更新し、代わりに AUTOINDEX を使用してください。

特定のスカラーフィールドの値ごとに検索結果を集約できるようになりました。これは、RAG アプリケーションがドキュメントレベルのリコールを実装するのに役立ちます。ドキュメントのコレクションを考えてみます。各ドキュメントは複数のパッセージに分割されます。各パッセージは 1 つのベクトル埋め込みで表され、1 つのドキュメントに属します。パッセージが散在するのではなく、最も関連性の高いドキュメントを見つけるには、search() 操作に group_by_field 引数を含めて、ドキュメント ID で結果をグループ化できます。

詳細は、グループ化検索 ガイドと example_group_by.py の例コードを参照してください。例コード内の接続情報を、Zilliz Cloud クラスターの認証情報で必ず更新してください。

Float16 および BFloat- ベクトルデータ型​

機械学習やニューラルネットワークでは、Float16 や BFloat- などの半精度データ型がよく使用されます。これらのデータ型はクエリ効率を向上させ、メモリ使用量を削減できますが、精度が低下するというトレードオフがあります。このリリースにより、Zilliz Cloud はベクトルフィールドでこれらのデータ型をサポートするようになりました。

詳細は、密ベクトル と、float16_example.py および bfloat16_example.py の例コードを参照してください。例コード内の接続情報を、Zilliz Cloud クラスターの認証情報で必ず更新してください。

改良された MilvusClient インターフェース​

MilvusClient は、ORM モジュールに代わる使いやすい選択肢です。純粋な関数型アプローチを採用して、サーバーとのやり取りを簡素化します。接続プールを維持する代わりに、各 MilvusClient はサーバーへの gRPC 接続を確立します。MilvusClient モジュールは、ORM モジュールの機能のほとんどを実装しています。MilvusClient モジュールの詳細については、pymilvus および reference documents を参照してください。

Pipelines​

Zilliz Cloud は、パイプラインリクエストのトークン使用量を監視するようになり、詳細は請求書ページおよび各 API レスポンス内で確認できます。ただし、この機能が一般提供されるまでは課金されません。

画像埋め込みモデルは、より幅広い要件に対応するため、以前の clip-vit-base-patch16 から clip-vit-base-patch32 にアップグレードされました。また、多言語テキスト埋め込みのサポートが近日中に実装される予定です。

機能強化​

このリリースには、一連の機能強化も含まれています:

  • セルフサービス方式で Dedicated クラスターを 256 CU までスケールできるようになりました。さらに大規模なクラスターが必要な場合は、お問い合わせください。