メインコンテンツまでスキップ

Access Logs の概要

プランでの提供状況

この機能は、Enterprise プラン以上および BYOC デプロイメントでのみ利用できます。

高ボリュームのワークロードでは、どのデータに最も頻繁にアクセスされているかを把握することが、インデックスのチューニングやパーティション戦略などの最適化判断に不可欠です。クエリパターンを可視化できない場合、こうした判断は推測に頼ることになります。

Access Logs はその可視性を提供します。Zilliz Cloud クラスターで有効にすると、アクセスログパイプラインがクエリ活動を収集し、構造化されたログファイルとしてお客様自身のオブジェクトストレージに配信します。その後、これらのログをデータウェアハウスに読み込み、エンティティ ID ごとに集計することで、ホットデータ、遅いクエリ、利用傾向を特定できます。

Notes

  • このリリースでは、検索またはクエリクラスのアクション（Search、HybridSearch、Query）のみがログに記録されます。完全なアクション一覧のサポートは、今後のリリースで予定されています。

  • このリリースでは、監査ログとアクセスログは相互排他的であり、一度に有効化できるのはどちらか一方のみです。

パイプラインの仕組み​

アクセスログパイプラインには、Zilliz Cloud 側でのコレクションと、お客様側での分析という 2 つのフェーズがあります。

TWlbbeheTo3aOnxE5t5cEYgcnbb

Zilliz Cloud によるログの収集と配信​

クラスターで Access Logs を有効にすると、Zilliz Cloud はプロキシレイヤーでクエリ活動の収集を開始します。クラスターレベルでは 2 つの設定を構成します。

  • サンプルレート: ログに記録するリクエストの割合を制御します。値の範囲は 0 から 100 で、ランダムにサンプリングされてアクセスログに書き込まれるリクエストの割合を表します。たとえば、サンプルレートを 1 に設定すると、約 1% のリクエストでアクセスログエントリが生成されます。高ボリュームのワークロードでは、サンプルレートを低くすることで、アクセスパターンの分析に十分なデータを維持しつつ、ログ保存コストを削減できます。

  • 出力フィールド: 各アクセスログエントリに含める追加のレスポンスフィールドを制御します。一般的なオプションは次のとおりです。

    • params.result_pks: クエリ結果で返されたプライマリキー ID のリストを記録します。これにより、後でエンティティごとに集計して、ホットデータやアクセス頻度を特定できます。

    • params.result_scores: params.result_pks 内の各 ID の類似度スコアを記録します。これにより、どの結果が高信頼の一致で、どの結果が境界的な一致だったかを把握できます。

ログは JSON Lines 形式（1 行に 1 つの JSON オブジェクト）で書き込まれ、セットアップ時に構成したオブジェクトストレージバケットに自動的に配信されます。各ファイルは、予測可能なパス規則に従います。

plaintext
/<Cluster ID>/<Log type>/<Date>/<HH:MM:SS>-<UUID>.log

例: /inxx-xxxxxxxxxxxxxxx/access/2024-12-20/09:16:53-jz5l7D8Q.log

パラメーターの詳細については、Access Log Reference を参照してください。

お客様によるログの分析​

ログはお客様自身のバケットに標準的な JSON Lines ファイルとして届くため、JSON を読み取れる任意のツールで処理できます。各ログエントリには、action、cluster_id、timestamp、params.result_pks（クエリ結果内のプライマリキーのリスト）などの構造化フィールドが含まれます。

一般的な分析アプローチは次のとおりです。

  1. JSON Lines ファイルをデータウェアハウスまたは分析ツールに読み込みます。

  2. 各エントリから action フィールドと params.result_pks フィールドを解析します。

  3. 一定の時間枠でプライマリキーごとに集計し、アクセス頻度を明らかにします。

その結果、データのヒートマップが得られます。どのエンティティが最も頻繁にクエリされ、どのアクションを通じて、どの時間帯にアクセスされているかを把握できます。

信頼性と課金​

アクセスログパイプラインは、ログ記録がクエリ性能を決して低下させないという中核原則に基づいて設計されています。

非ブロッキング保証​

アクセスログのコレクションがユーザーリクエストを遅延させたりブロックしたりすることはありません。クエリの完了とログエントリの書き込みのどちらかをシステムが選択しなければならない場合は、常にクエリが優先されます。

グレースフルデグラデーション​

極端な高負荷時には、クエリスループットを維持するために、システムがアクセスログエントリを破棄する場合があります。これは、アクセスログが完全な記録を保証するものではなく、クエリ活動のベストエフォートな記録を提供することを意味します。

次のステップ​

  • Access Logs の構成: アクセスログを有効化し、サンプリングレートと出力パラメーターを調整するか、ログ記録を無効化します。

  • Access Log Reference: 完全なフィールドスキーマ、完全なアクション一覧、ファイルパス規則を確認できます。

このページは役に立ちましたか？
Ctrl I