メインコンテンツまでスキップ
バージョン: User Guides (Cloud)

リリースノート (2024年9月4日)

このリリースでは、Zilliz Cloudにいくつかの主要なアップデートをもたらします。その中でもZilliz Cloud ServerlessのGA版リリースで、自動スケーリングを提供し、最大50倍のコスト削減を実現します。Milvus 2.4機能はGA版となり、スパースベクトル、マルチベクトルハイブリッド検索、およびファジー一致を持つ逆インデックスなどの機能を導入します。このリリースには、複数の可用性ゾーン（AZ）にまたがるレプリカ間でワークロードを分散することでクエリスループットと可用性を向上させるマルチレプリカ機能のパブリックプレビュー版も含まれています。さらに、Zilliz Cloudの新しい移行サービスは、オープンソースMilvus、pgvector、Elasticsearchからの移行をサポートし、Zilliz Cloud内での組織内および組織間のデータ移行を可能にします。バックアップ、リストア、移行、ジョブ管理のための拡張RESTful APIにより、ユーザーは自動化された運用ワークフローを構築できます。その他の機能強化には、プロジェクト読み取り専用ロールのサポートおよびクラスターおよびスナップショットの名前変更機能が含まれます。

Milvus互換性​

このリリースはMilvus 2.4.xと互換性があります。

Serverless GA版​

1年間の洗練を経て、Zilliz Cloud Serverlessが一般提供となりました。GenAIアプリケーション用の手間のかからないサーバーレスベクトルデータベースとして設計されたZilliz Cloud Serverlessは、アプリの要求に応じて自動スケーリングし、最大50倍のコスト削減を実現します。階層的なストレージシステムにより、DRAM、SSD、およびオブジェクトストレージ間でデータ配置を最適化し、アクティブなデータへの迅速なアクセスを確保しながら、使用頻度が低いデータのコストを削減することで、そのコスト効率が実現されています。すべて手動操作なしで。

専用クラスターとは異なり、サーバーレスサービスは使用量のみに課金されるため、アイドルサーバーのコストを排除します。便利な移行機能により、オープンソースMilvusからZilliz Cloud Serverlessへ、またはServerlessから専用クラスターへ、変化するニーズに合わせてデータを簡単に移行できます。

詳細を見るまたは無料トライアルを取得してください。

Zilliz CloudでMilvus 2.4.x新機能GA版​

Milvus 2.4は、RAGおよびマルチモーダルデータ検索のための多くの実用的な機能を提供します。これらの新機能をお試しいただきたい場合は、クラスターをパブリックプレビューに更新できます。Milvus 2.4は安定版に達していないため、本番環境でMilvus 2.4機能を採用する際には注意してください。

スパースベクトル​

スパースベクトルは、非ゼロであるのが少数であるという点で通常の密ベクトルとは異なり、通常は数桁大きな次元数を持ちます。その用語ベースの性質により、より良い解釈性を提供し、特定の分野ではより効果的です。SPLADEv2/BGE-M3などの学習済みスパースモデルは、一般的な第1段階のランキングタスクに非常に有用であることが証明されています。この新機能の主な用途は、SPLADEv2/BGE-M3やBM25アルゴリズムなどのニューラルモデルや統計モデルによって生成されたスパースベクトルに対する効率的な近似意味的最近傍検索を可能にすることです。Zilliz Cloudは、スパースベクトルの効果的で高性能な保存、インデックス作成、および検索（MIPS、最大内積検索）をサポートするようになりました。

サンプルコードはhello_sparse.pyにあります。

マルチベクトルサポートは、マルチモデルのデータ処理または密ベクトルとスパースベクトルの混合を必要とするアプリケーションの基礎です。マルチベクトルサポートにより、今では：

  • 非構造化テキスト、画像、または複数モデルからの音声サンプルに対して生成されたベクトル埋め込みを保存できます。

  • 各エンティティの複数ベクトルを含むANN検索を実施できます。

  • 異なる埋め込みモデルに重みを割り当てて検索戦略をカスタマイズできます。

  • 最適なモデルの組み合わせを見つけるためにさまざまな埋め込みモデルを試すことができます。

マルチベクトルサポートにより、FLOAT_VECTORおよびSPARSE_FLOAT_VECTORなどの異なるタイプの複数ベクトルフィールドの保存、インデックス作成、および再ランキング戦略の適用が可能になります。現在、2つの再ランキング戦略が利用可能です：逆ランク融合（RRF）および平均加重スコアリング。両方の戦略は、異なるベクトルフィールドからの検索結果を統一された結果セットに結合します。RRFは元のランキングにおける項目の位置を考慮し、複数リストでより高い順位にある項目により高い重要性を与え、異なるベクトルフィールドで一貫して表示されるエンティティを優先します。平均加重スコアリングは、最終的な結果セットでその重要性を決定するために各ベクトルフィールドの検索結果に重みを割り当てます。

サンプルコードはhybrid_search.pyにあります。

メタデータフィルタリングと部分文字列一致の向上​

このリリースでは、メタデータフィルタリングに2つの主要な向上を加えました。まず、新しいスカラー逆インデックスを導入することでスカラーデータ型のフィルタリング性能を向上させました。次に、メタデータフィルタリング中の部分文字列一致のサポートを拡大しました。

以前のMilvusリリースでは、メタデータフィルタリングはメモリベースのバイナリサーチインデックスおよびMarisa Trieインデックスで実装されていました。これらの方法はメモリ集約的です。最新のZilliz Cloudリリースでは、Tantivyベースの逆インデックスを採用しており、すべての数値および文字列データ型に適用できます。この新しいインデックスは、文字列のスカラークエリの性能を10倍向上させます。また、内部インデックス構造でデータ圧縮およびメモリマップドストレージ（MMap）メカニズムを適用することで、メモリ使用量も削減されます。サンプルコードはinverted_index_example.pyにあります。

このリリースでは、プレフィックス、インフィックス、ポストフィックス、およびワイルドカードパターンを含む、より柔軟な文字列一致のサポートも追加されました。

特定のスカラーフィールドの値で検索結果を集計できるようになりました。これは、RAGでドキュメントチャンクを取得しつつ検索クエリに関連する固有のドキュメントIDを返す際に有用です。各ドキュメントが複数のチャンクに分割され、各チャンクがベクトル埋め込みで表されるドキュメントのコレクションを考慮すると、search()操作でgroup_by_field引数を使用してドキュメントIDで結果をグループ化し、意味的に関連するチャンクを検索しながら関連ドキュメントのリストを見つけることができます。

サンプルコードはexample_group_by.pyにあります。

Float16およびBFloatベクトルデータ型​

機械学習およびニューラルネットワークでは、Float16およびBFloatなどの半精度データ型がよく使用されます。これらのデータ型は、精度を低下させることでクエリ効率を向上させ、メモリ使用量を削減できます。このリリースにより、Zilliz Cloudはベクトルフィールドのこれらのデータ型をサポートするようになりました。

サンプルコードはfloat16_example.pyおよびbfloat16_example.pyにあります。

マルチレプリカ​

マルチレプリカがZilliz Cloudで利用可能になり、クラスター単位でのレプリケーションによりクエリスループットと可用性の両方を向上させています。

  • クエリ性能の向上：1秒あたりのクエリ数（QPS）を必要とするユーザー向けに、マルチレプリカではクエリワークロードをレプリカ間で分散できます。この並列処理により、全体的なスループットが向上し、レイテンシが削減され、クエリ集約型アプリケーションの効率が向上します。ほとんどの場合、レプリカを追加するにつれて全体的なQPSが直線的に向上します。

  • 可用性の強化：マルチレプリカは、複数の可用性ゾーン（AZ）にレプリカを分散することで可用性を強化します。この構成により、AZの停止が発生した場合でもデータへの継続的なアクセスを確保し、ミッションクリティカルアプリケーションに大きな信頼性を提供します。

現在、マルチレプリカ機能はパブリックプレビュー版であり、エンタープライズプランで利用可能です。詳細については、レプリカ管理を参照してください。

移行サービス​

Zilliz Cloudは、包括的な移行サービスを提供するようになりました。これにより、ユーザーは移行タスクを簡単に完了できます。現在、3種類の移行がサポートされています：

  • オープンソースMilvusからZilliz Cloudへの移行。移行先は、無料プランインスタンス、サーバーレスインスタンス、または専用クラスターです。詳細については、MilvusからZilliz Cloudへの移行を参照してください。

  • 他のオープンソースデータベースからZilliz Cloudへの移行で、現在はpgvectorおよびElasticsearchからの移行をサポートしています。移行先は、無料プランインスタンス、サーバーレスインスタンス、または専用クラスターです。詳細については、ElasticsearchからZilliz Cloudへの移行およびpgvectorからZilliz Cloudへの移行を参照してください。

  • Zilliz Cloud内でのデータ移行で、組織内および組織間のデータ移行をサポートしています。詳細については、クロスクラスタ移行を参照してください。

バックアップ/リストア/移行/ジョブRESTful API​

このアップデートにより、Zilliz CloudはコントロールプレーンAPIを拡張し、バックアップ、リストア、移行、およびジョブ管理をサポートする新機能を導入しました。

これらのRESTful APIにより、ユーザーは独自の自動化された運用ワークフローを構築でき、データ管理およびメンテナンスプロセスに対する柔軟性と制御をより高めることができます。

APIの詳細を詳しく見てください。

その他の機能強化​

このリリースには、一連の機能強化も含まれます：