リリースノート（2024年9月4日）
今回のリリースでは、Zilliz Cloud にいくつかの重要なアップデートが導入されました。まず、Zilliz Cloud Serverless の GA（一般提供） が開始され、自動スケーリング機能により最大50倍のコスト削減を実現します。また、Milvus 2.4の機能が GA となり、疎ベクトル（疎ベクトル）、マルチベクトルハイブリッド検索、ファジーマッチング対応の転置インデックスなどの新機能が利用可能になりました。さらに、マルチレプリカ機能がパブリックプレビューとして提供され、複数のアベイラビリティゾーン（AZ）にわたってレプリカ間でワークロードを分散させることで、クエリスループットと可用性を向上させることができます。また、新しい 移行サービス（移行サービス） により、オープンソース版 Milvus や pgvector、Elasticsearch からの移行や、Zilliz Cloud 内での組織内・組織間データ移行がサポートされるようになりました。バックアップ、リストア、移行、ジョブ管理のための拡張された RESTful API により、ユーザーは自動化された運用ワークフローを構築できるようになります。その他の強化点としては、プロジェクト読み取り専用ロール（Project Read-only ロール）のサポートや、クラスターおよびスナップショットの名前変更機能が追加されています。
Milvus 互換性
このリリースは Milvus 2.4.x と互換性があります。
Serverless GA
1年間にわたる改良を経て、Zilliz Cloud Serverless が一般提供（GA）となりました。GenAI アプリケーション向けに設計された手間のかからないサーバーレスベクトルデータベースとして、Zilliz Cloud Serverless はアプリケーションの需要に応じて自動的にスケーリングし、最大50倍のコスト削減を実現します。このコスト効率は、DRAM、SSD、オブジェクトストレージにわたってデータ配置を最適化する階層型ストレージシステムによって可能になっており、アクティブなデータへの高速アクセスを確保しつつ、使用頻度の低いデータのコストを削減します。これらすべてが手動介入なしで実行されます。
専用クラスターとは異なり、サーバーレスサービスでは実際に使用した分だけの課金となり、アイドル状態のサーバーに対するコストを排除します。便利な移行機能により、オープンソース版 Milvus から Zilliz Cloud Serverless へ、または Serverless から専用クラスターへと簡単にデータを移行でき、変化するニーズに対応できます。
Zilliz Cloud 上で Milvus 2.4.x の新機能が GA
Milvus 2.4 は、RAG やマルチモーダルデータ検索に非常に実用的な多くの機能を提供します。これらの新機能を試したい場合は、クラスターをパブリックプレビューに更新できます。ただし、Milvus 2.4 はまだ安定版に達していないため、本番環境で Milvus 2.4 の機能を採用する際は注意が必要です。
疎ベクトル（Sparse Vector）
疎ベクトルは密ベクトルとは異なり、次元数が桁違いに多く、そのうち非ゼロの要素はごくわずかです。この特性により、用語ベースの性質から解釈可能性が高く、特定のドメインではより効果的です。SPLADEv2 や BGE-M3 のような学習済み疎ベクトルモデルは、一般的な第1段階ランキングタスクにおいて非常に有用であることが証明されています。この新機能の主なユースケースは、SPLADEv2/BGE-M3 などのニューラルモデルや BM25 アルゴリズムなどの統計モデルによって生成された疎ベクトルに対して、効率的な近似セマンティック最近傍探索（MIPS：Maximum 内積 Search）を可能にすることです。Zilliz Cloud は現在、疎ベクトルの効率的かつ高性能な保存、インデックス作成、検索をサポートしています。
サンプルコードは hello_sparse.py で確認できます。
マルチベクトル & ハイブリッド検索
マルチベクトルサポートは、マルチモデルデータ処理や密ベクトルと疎ベクトルの組み合わせを必要とするアプリケーションの基盤となります。マルチベクトルサポートにより、以下が可能になります：
- 複数のモデルによって生成された非構造化テキスト、画像、音声サンプルのベクトル埋め込みを保存。
- 各エンティティの複数のベクトルを含む ANN 検索を実行。
- 異なる埋め込みモデルに重みを割り当てて検索戦略をカスタマイズ。
- 様々な埋め込みモデルを試して、最適なモデルの組み合わせを発見。
マルチベクトルサポートにより、FLOAT_VECTOR や SPARSE_FLOAT_VECTOR など異なるタイプの複数のベクトルフィールドをコレクション内で保存・インデックス作成し、リランキング戦略を適用できます。現在、利用可能なリランキング戦略は Reciprocal Rank Fusion (RRF) と 平均加重スコアリング の2種類です。どちらの戦略も、異なるベクトルフィールドからの検索結果を統合された結果セットにまとめます。RRF は元のランキングにおけるアイテムの順位を考慮し、複数のリストで上位にランクされるアイテムにより高い重要度を与え、異なるベクトルフィールドで一貫して出現するエンティティを優先します。一方、平均加重スコアリング は各ベクトルフィールドの検索結果に重みを割り当て、最終結果セットにおける重要度を決定します。
サンプルコードは hybrid_search.py で確認できます。
メタデータフィルタリングと部分文字列マッチングの改善
今回のリリースでは、メタデータフィルタリングに関して2つの重要な改善が行われました。第一に、新しいスカラー転置インデックスを導入することで、スカラーデータ型のフィルタリング性能が向上しました。第二に、メタデータフィルタリング時の部分文字列マッチングのサポートが拡張されました。
以前の Milvus リリースでは、メタデータフィルタリングはメモリベースのバイナリ検索インデックスおよび Marisa Trie インデックスによって実装されていましたが、これらはメモリを大量に消費していました。最新の Zilliz Cloud リリースでは、Tantivy ベースの転置インデックスを採用し、すべての数値型および文字列型データに適用できるようになりました。この新しいインデックスにより、文字列に対するスカラークエリのパフォーマンスが10倍向上し、内部インデックス構造にデータ圧縮とメモリマップ（mmap）ストレージ機構を適用することでメモリ使用量も削減されています。サンプルコードは inverted_index_example.py で確認できます。
また、今回のリリースではプレフィックス、インフィックス、ポストフィックス、ワイルドカードパターンを含む、より柔軟な文字列マッチングもサポートされました。
グループ化検索（Grouping Search）
特定のスカラーフィールドの値に基づいて検索結果を集約できるようになりました。これは RAG において、ドキュメントチャンクを取得すると同時に検索クエリに関連する一意のドキュメント ID を返す際に役立ちます。たとえば、各ドキュメントが複数のチャンクに分割され、それぞれのチャンクがベクトル埋め込みで表現されているコレクションがある場合、search() 操作の group_by_field 引数を使用して結果をドキュメント ID でグループ化できます。これにより、セマンティックに関連するチャンクを検索しながら、関連ドキュメントの一覧を取得できます。
サンプルコードは example_group_by.py で確認できます。
Float16 および BFloat ベクトルデータ型
機械学習やニューラルネットワークでは、Float16 や BFloat などの半精度データ型がよく使用されます。これらのデータ型は精度を犠牲にする代わりに、クエリ効率の向上とメモリ使用量の削減を実現します。今回のリリースにより、Zilliz Cloud はベクトルフィールドに対してこれらのデータ型をサポートするようになりました。
サンプルコードは float16_example.py および bfloat16_example.py で確認できます。
マルチレプリカ
マルチレプリカ機能が Zilliz Cloud で利用可能になり、クラスターレベルのレプリケーションによりクエリスループットと可用性の両方を向上させます。
-
クエリパフォーマンスの向上：1秒あたりのクエリ数（QPS）を高める必要があるユーザーにとって、マルチレプリカによりクエリワークロードをレプリカ間で分散できます。この並列処理により全体的なスループットが向上し、レイテンシが低減され、クエリ集約型アプリケーションの効率が改善されます。多くの場合、レプリカを追加することで全体の QPS は線形に向上します。
-
可用性の向上：マルチレプリカは複数のアベイラビリティゾーン（AZ）にレプリカを分散させることで可用性を強化します。この構成により、AZ 障害が発生してもデータへの継続的なアクセスが保証され、ミッションクリティカルなアプリケーションに対して高い信頼性を提供します。
現在、マルチレプリカ機能はパブリックプレビューであり、エンタープライズプランで利用可能です。詳細については、レプリカの管理 を参照してください。
移行サービス（移行サービス）
Zilliz Cloud は包括的な移行サービスを提供し、ユーザーが簡単に移行タスクを完了できるようにします。現在、以下の3種類の移行がサポートされています：
-
オープンソース版 Milvus から Zilliz Cloud への移行。移行先は Free Plan インスタンス、Serverless インスタンス、または専用クラスターのいずれかです。詳細は Milvus から Zilliz Cloud への移行 を参照してください。
-
他のオープンソースデータベース（現在は pgvector および Elasticsearch）から Zilliz Cloud への移行。移行先は Free Plan インスタンス、Serverless インスタンス、または専用クラスターのいずれかです。詳細は Elasticsearch から Zilliz Cloud への移行 および pgvector から Zilliz Cloud への移行 を参照してください。
-
Zilliz Cloud 内でのデータ移行。組織内および組織間のデータ移行をサポートします。詳細は クラスター間移行 を参照してください。
バックアップ／リストア／移行／ジョブ管理 RESTful API
今回のアップデートにより、Zilliz Cloud はコントロールプレーン API を拡張し、バックアップ、リストア、移行、ジョブ管理をサポートする新しい機能を導入しました。
これらの RESTful API を使用することで、ユーザーは独自の自動化された運用ワークフローを構築でき、データ管理およびメンテナンスプロセスに対する柔軟性と制御力を高めることができます。
その他の強化
今回のリリースには以下の強化も含まれています：
- プロジェクト読み取り専用ロール のサポート
- クラスターおよびスナップショットの名前変更機能のサポート