メインコンテンツまでスキップ

Jieba

jieba トークナイザーは、中国語のテキストを構成する単語に分割して処理します。

📘Notes

jieba トークナイザーは、出力内の句読点を個別のトークンとして保持します。たとえば、"你好!世界。" は ["你好", "!", "世界", "。"] になります。これらの単独の句読点トークンを削除するには、removepunct フィルターを使用します。

設定​

Zilliz Cloud は、jieba トークナイザーに対して、シンプル設定とカスタム設定の 2 つの構成方法をサポートしています。

シンプル設定​

シンプル設定では、トークナイザーを "jieba" に設定するだけです。以下に例を示します。

python
# Simple configuration: only specifying the tokenizer name
analyzer_params = {
"tokenizer": "jieba", # Use the default settings: dict=["_default_"], mode="search", hmm=True
}

このシンプル設定は、以下のカスタム設定と同等です。

python
# Custom configuration equivalent to the simple configuration above
analyzer_params = {
"tokenizer": { # Tokenizer configuration
"type": "jieba", # Tokenizer type, fixed as "jieba"
"dict": ["_default_"], # Use the default dictionary
"mode": "search", # Use search mode for improved recall (see mode details below)
"hmm": True # Enable HMM for probabilistic segmentation
}
}

パラメーターの詳細については、カスタム設定 を参照してください。

カスタム設定​

より詳細な制御を行うには、カスタム設定を指定できます。カスタム設定では、カスタム辞書の指定、セグメンテーションモードの選択、および隠れマルコフモデル(HMM)の有効化または無効化が可能です。以下に例を示します。

python
# Custom configuration with user-defined settings
analyzer_params = {
"tokenizer": {
"type": "jieba", # Fixed tokenizer type
"dict": ["customDictionary"], # Custom dictionary list; replace with your own terms
"mode": "exact", # Use exact mode (non-overlapping tokens)
"hmm": False # Disable HMM; unmatched text will be split into individual characters
}
}

パラメーター

説明

デフォルト値

type

トークナイザーのタイプです。これは "jieba" に固定されています。

"jieba"

dict

アナライザーが語彙のソースとして読み込む辞書のリストです。組み込みオプションは以下のとおりです。

  • "default": エンジンに組み込まれている簡体字中国語辞書を読み込みます。詳細については、dict.txt を参照してください。

  • "extend_default": "default" 内のすべてに加えて、繁体字中国語の補足辞書を読み込みます。詳細については、dict.txt.big を参照してください。

    組み込み辞書を任意の数のカスタム辞書と組み合わせることもできます。例:["default", "结巴分词器"]。

["default"]

mode

セグメンテーションモードです。指定できる値は以下のとおりです。

  • "exact": 文を可能な限り正確に分割しようとするため、テキスト分析に適しています。

  • "search": exact モードを基に、長い単語をさらに分割して再現率を向上させるため、検索エンジンのトークン化に適しています。

    詳細については、Jieba GitHub Project を参照してください。

"search"

hmm

辞書に見つからない単語を確率的に分割するために、隠れマルコフモデル(HMM)を有効にするかどうかを示すブール値のフラグです。

true

analyzer_params を定義した後、コレクションスキーマを定義する際に、それらを VARCHAR フィールドに適用できます。これにより、Zilliz Cloud は指定されたアナライザーを使用してそのフィールド内のテキストを処理し、効率的なトークン化とフィルタリングを行えます。詳細については、使用例 を参照してください。

例​

アナライザーの設定をコレクションスキーマに適用する前に、run_analyzer メソッドを使用してその動作を確認してください。

アナライザーの設定​

python
analyzer_params = {
"tokenizer": {
"type": "jieba",
"dict": ["结巴分词器"],
"mode": "exact",
"hmm": False
}
}

run_analyzer を使用した検証​

python
from pymilvus import (
MilvusClient,
)

client = MilvusClient(
uri="YOUR_CLUSTER_ENDPOINT",
token="YOUR_CLUSTER_TOKEN"
)

# Sample text to analyze
sample_text = "milvus结巴分词器中文测试"

# Run the jieba tokenizer with the defined configuration
result = client.run_analyzer(sample_text, analyzer_params)
print("Jieba analyzer output:", result)

期待される出力​

サンプルテキストに対して、アナライザーは次のトークンを順に生成します。SDK のレスポンスオブジェクトと出力形式は言語によって異なります。REST レスポンスでは、これらのトークンは data.results[].tokens[].token に含まれます。

plaintext
['milvus', '结巴分词器', '中', '文', '测', '试']