Standard アナライザー
standard アナライザーは Zilliz Cloud のデフォルトのアナライザーであり、アナライザーが指定されていない場合はテキストフィールドに自動的に適用されます。standard トークナイザーと lowercase フィルターを組み合わせています。
定義
standard アナライザーは、次のコンポーネントで構成されています。
-
Tokenizer:
standardトークナイザーを使用して、連続する Unicode 文字と数字をトークンに保持し、その他の文字で分割します。正確な文字規則については、Standard Tokenizer を参照してください。 -
Filter:
lowercaseフィルターを使用してすべてのトークンを小文字に変換し、大文字と小文字を区別しない検索を可能にします。詳細については、Lowercase を参照してください。
standard アナライザーの機能は、次のカスタムアナライザー構成と同等です。
- Python
- Java
- Go
- Rust
- C++
- NodeJS
- CSharp
- cURL
analyzer_params = {
"tokenizer": "standard",
"filter": ["lowercase"]
}
import java.util.Collections;
import java.util.HashMap;
import java.util.Map;
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("lowercase"));
analyzerParams := map[string]any{"tokenizer": "standard", "filter": []any{"lowercase"}}
use serde_json::json;
let analyzer_params = json!({
"tokenizer": "standard",
"filter": ["lowercase"]
});
#include <milvus/thirdparty/nlohmann/json.hpp>
nlohmann::json analyzer_params = {
{"tokenizer", "standard"},
{"filter", {"lowercase"}}
};
const analyzer_params = {
"tokenizer": "standard",
"filter": ["lowercase"]
};
using System.Collections.Generic;
var analyzerParams = new Dictionary<string, object>
{
["tokenizer"] = "standard",
["filter"] = new[] { "lowercase" }
};
# restful
analyzerParams='{
"tokenizer": "standard",
"filter": [
"lowercase"
]
}'
設定
standard アナライザーをフィールドに適用するには、analyzer_params で type を standard に設定し、必要に応じてオプションパラメーターを含めます。
- Python
- Java
- Go
- Rust
- C++
- NodeJS
- CSharp
- cURL
analyzer_params = {
"type": "standard", # Specifies the standard analyzer type
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("type", "standard");
analyzerParams := map[string]any{"type": "standard"}
use serde_json::json;
let analyzer_params = json!({
"type": "standard"
});
nlohmann::json analyzer_params = {
{"type", "standard"}
};
const analyzer_params = {
"type": "standard", // Specifies the standard analyzer type
};
var analyzerParams = new Dictionary<string, object>
{
["type"] = "standard" // Specifies the standard analyzer type
};
# restful
analyzerParams='{
"type": "standard"
}'
standard アナライザーは、次のオプションパラメーターを受け付けます。
パラメーター | 説明 |
|---|---|
| トークン化から削除されるストップワードのリストを含む配列です。受け入れられる値については、Stop を参照してください。 |
カスタムストップワードの設定例:
- Python
- Java
- Go
- Rust
- C++
- NodeJS
- CSharp
- cURL
analyzer_params = {
"type": "standard", # Specifies the standard analyzer type
"stop_words": ["of"] # Optional: List of words to exclude from tokenization
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("type", "standard");
analyzerParams.put("stop_words", Collections.singletonList("of"));
analyzerParams := map[string]any{"type": "standard", "stop_words": []string{"of"}}
use serde_json::json;
let analyzer_params = json!({
"type": "standard",
"stop_words": ["of"]
});
nlohmann::json analyzer_params = {
{"type", "standard"},
{"stop_words", {"of"}}
};
const analyzer_params = {
"type": "standard", // Specifies the standard analyzer type
"stop_words": ["of"] // Optional: List of words to exclude from tokenization
};
var analyzerParams = new Dictionary<string, object>
{
["type"] = "standard", // Specifies the standard analyzer type
["stop_words"] = new[] { "of" } // Optional: List of words to exclude from tokenization
};
# restful
analyzerParams='{
"type": "standard",
"stop_words": [
"of"
]
}'
analyzer_params を定義した後、コレクションスキーマを定義する際に、これらを VARCHAR フィールドに適用できます。これにより、Zilliz Cloud は指定したアナライザーを使用してそのフィールドのテキストを処理し、効率的なトークン化とフィルタリングを実行できます。詳細については、使用例 を参照してください。
例
アナライザー構成をコレクションスキーマに適用する前に、run_analyzer メソッドを使用してその動作を確認してください。
アナライザー構成
- Python
- Java
- Go
- Rust
- C++
- NodeJS
- CSharp
- cURL
analyzer_params = {
"type": "standard", # Standard analyzer configuration
"stop_words": ["for"] # Optional: Custom stop words parameter
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("type", "standard");
analyzerParams.put("stop_words", Collections.singletonList("for"));
analyzerParams := map[string]any{"type": "standard", "stop_words": []string{"for"}}
use serde_json::json;
let analyzer_params = json!({
"type": "standard",
"stop_words": ["for"]
});
nlohmann::json analyzer_params = {
{"type", "standard"},
{"stop_words", {"for"}}
};
const analyzer_params = {
"type": "standard", // Standard analyzer configuration
"stop_words": ["for"] // Optional: Custom stop words parameter
};
var analyzerParams = new Dictionary<string, object>
{
["type"] = "standard", // Standard analyzer configuration
["stop_words"] = new[] { "for" } // Optional: Custom stop words parameter
};
# restful
analyzerParams='{
"type": "standard",
"stop_words": [
"for"
]
}'
run_analyzer を使用した検証
- Python
- Java
- Go
- Rust
- C++
- NodeJS
- CSharp
- cURL
from pymilvus import (
MilvusClient,
)
client = MilvusClient(
uri="YOUR_CLUSTER_ENDPOINT",
token="YOUR_CLUSTER_TOKEN"
)
# Sample text to analyze
sample_text = "The Milvus vector database is built for scale!"
# Run the standard analyzer with the defined configuration
result = client.run_analyzer(sample_text, analyzer_params)
print("Standard analyzer output:", result)
import java.util.*;
import io.milvus.v2.client.ConnectConfig;
import io.milvus.v2.client.MilvusClientV2;
import io.milvus.v2.service.vector.request.RunAnalyzerReq;
import io.milvus.v2.service.vector.response.RunAnalyzerResp;
ConnectConfig config = ConnectConfig.builder()
.uri("YOUR_CLUSTER_ENDPOINT")
.token("YOUR_CLUSTER_TOKEN")
.build();
MilvusClientV2 client = new MilvusClientV2(config);
List<String> texts = new ArrayList<>();
texts.add("The Milvus vector database is built for scale!");
RunAnalyzerResp resp = client.runAnalyzer(RunAnalyzerReq.builder()
.texts(texts)
.analyzerParams(analyzerParams)
.build());
List<RunAnalyzerResp.AnalyzerResult> results = resp.getResults();
for (RunAnalyzerResp.AnalyzerResult result : results) {
for (RunAnalyzerResp.AnalyzerToken token : result.getTokens()) {
System.out.println("Standard analyzer output: " + token.getToken());
}
}
import (
"context"
"fmt"
"github.com/milvus-io/milvus/client/v3/milvusclient"
)
ctx := context.Background()
client, err := milvusclient.New(ctx, &milvusclient.ClientConfig{
Address: "YOUR_CLUSTER_ENDPOINT",
APIKey: "YOUR_CLUSTER_TOKEN",
})
if err != nil {
fmt.Println(err.Error())
// handle error
}
texts := []string{"The Milvus vector database is built for scale!"}
option := milvusclient.NewRunAnalyzerOption(texts...).
WithAnalyzerParams(analyzerParams)
result, err := client.RunAnalyzer(ctx, option)
if err != nil {
fmt.Println(err.Error())
// handle error
}
for _, r := range result {
for _, token := range r.Tokens {
fmt.Println("Standard analyzer output:", token.Text)
}
}
use milvus::v2::prelude::*;
let config = ConnectConfig::new().uri("YOUR_CLUSTER_ENDPOINT").token("YOUR_CLUSTER_TOKEN");
let client = ClientV2::new(&config).await?;
let response = client
.run_analyzer(
RunAnalyzerRequest::builder()
.texts(["The Milvus vector database is built for scale!"])
.analyzer_params(analyzer_params)
.build()?,
)
.await?;
for result in response.results() {
for token in result.get_tokens() {
println!("Standard analyzer output: {}", token.get_text());
}
}
#include "milvus/MilvusClientV2.h"
#include <iostream>
#include <string>
auto client = milvus::MilvusClientV2::Create();
milvus::ConnectParam connect_param{"YOUR_CLUSTER_ENDPOINT", "YOUR_CLUSTER_TOKEN"};
auto status = client->Connect(connect_param);
if (!status.IsOk()) {
std::cout << status.Message() << std::endl;
}
std::string text = "The Milvus vector database is built for scale!";
auto request = milvus::RunAnalyzerRequest()
.AddText(text)
.WithAnalyzerParams(analyzer_params);
milvus::RunAnalyzerResponse response;
status = client->RunAnalyzer(request, response);
if (!status.IsOk()) {
std::cout << status.Message() << std::endl;
}
for (const auto& result : response.Results()) {
for (const auto& token : result.Tokens()) {
std::cout << "Standard analyzer output: " << token.token_ << std::endl;
}
}
import { MilvusClient } from '@zilliz/milvus2-sdk-node';
const client = new MilvusClient({
address: 'YOUR_CLUSTER_ENDPOINT',
token: 'YOUR_CLUSTER_TOKEN',
});
const sample_text = 'The Milvus vector database is built for scale!';
const result = await client.runAnalyzer({
text: sample_text,
analyzer_params,
});
const tokens = result.results.flatMap(r => r.tokens.map(t => t.token));
console.log('Standard analyzer output:', tokens);
using Milvus.Client.V2;
using Milvus.Client.V2.Requests.Utility;
using Milvus.Client.V2.Responses.Utility;
using Milvus.Client.V2.Types;
using var client = new MilvusClientV2(new ConnectConfig
{
Uri = "YOUR_CLUSTER_ENDPOINT",
ApiKey = "YOUR_CLUSTER_TOKEN"
});
await client.ConnectAsync();
// Sample text to analyze
var sampleText = "The Milvus vector database is built for scale!";
// Run the standard analyzer with the defined configuration
RunAnalyzerResp result = await client.RunAnalyzerAsync(new RunAnalyzerReq
{
AnalyzerParams = analyzerParams,
Texts = new[] { sampleText }
});
foreach (AnalyzerResult r in result.Results)
{
foreach (AnalyzerToken t in r.Tokens)
{
Console.WriteLine($"Standard analyzer output: {t.Token}");
}
}
curl --request POST \
--url "YOUR_CLUSTER_ENDPOINT/v2/vectordb/common/run_analyzer" \
--header "Authorization: Bearer YOUR_CLUSTER_TOKEN" \
--header "Content-Type: application/json" \
--data-raw '{
"analyzerParams": "{\"type\": \"standard\", \"stop_words\": [\"for\"]}",
"text": ["The Milvus vector database is built for scale!"]
}'
期待される出力
サンプルテキストに対して、アナライザーは次のトークンを順番に生成します。SDK の応答オブジェクトと出力形式は言語によって異なります。REST 応答では、これらのトークンが data.results[].tokens[].token に含まれています。
['the', 'milvus', 'vector', 'database', 'is', 'built', 'scale']