メインコンテンツまでスキップ

Jieba

jieba トークナイザーは、中国語テキストを構成単語に分割して処理します。

Notes

jieba トークナイザーは、出力時に句読点を個別のトークンとして保持します。たとえば、"你好！世界。" は ["你好", "！", "世界", "。"] となります。これらの単独の句読点トークンを除去するには、removepunct フィルターを使用してください。

設定​

Milvus では、jieba トークナイザーに対してシンプル設定とカスタム設定の 2 通りの設定方法がサポートされています。

シンプル設定​

シンプル設定では、トークナイザーを "jieba" に指定するだけです。例:

python
# Simple configuration: only specifying the tokenizer name
analyzer_params = {
    "tokenizer": "jieba",  # Use the default settings: dict=["_default_"], mode="search", hmm=True
}

このシンプル設定は、以下のカスタム設定と同等です。

python
# Custom configuration equivalent to the simple configuration above
analyzer_params = {
    "tokenizer": {                 # Tokenizer configuration
        "type": "jieba",           # Tokenizer type, fixed as "jieba"
        "dict": ["_default_"],     # Use the default dictionary
        "mode": "search",          # Use search mode for improved recall (see mode details below)
        "hmm": True                # Enable HMM for probabilistic segmentation
    }
}

パラメーターの詳細については、カスタム設定 を参照してください。

カスタム設定​

より詳細に制御するには、カスタム辞書の指定、分割モードの選択、Hidden Markov Model（HMM）の有効化・無効化が可能なカスタム設定を指定できます。例:

python
# Custom configuration with user-defined settings
analyzer_params = {
    "tokenizer": {
        "type": "jieba",           # Fixed tokenizer type
        "dict": ["customDictionary"],  # Custom dictionary list; replace with your own terms
        "mode": "exact",           # Use exact mode (non-overlapping tokens)
        "hmm": False               # Disable HMM; unmatched text will be split into individual characters
    }
}

パラメーター

説明

デフォルト値

type

トークナイザーのタイプ。これは "jieba" に固定されています。

"jieba"

dict

アナライザーが語彙ソースとして読み込む辞書のリストです。組み込みオプション:

  • "default": エンジン組み込みの簡体字中国語辞書を読み込みます。詳細については、dict.txt を参照してください。

  • "extend_default": "default" の内容に加えて、繁体字中国語の補足辞書を読み込みます。詳細については、dict.txt.big を参照してください。

組み込み辞書と任意の数のカスタム辞書を組み合わせることもできます。例: ["default", "结巴分词器"]。

["default"]

mode

分割モード。指定可能な値:

  • "exact": 文を可能な限り正確に分割しようとします。テキスト分析に最適です。

  • "search": exact モードを基に、長い単語をさらに分割して再現率を高めます。検索エンジンのトークン化に適しています。

詳細については、Jieba GitHub Project を参照してください。

"search"

hmm

辞書に見つからない単語を確率的に分割するために Hidden Markov Model（HMM）を有効にするかどうかを示すブール値のフラグです。

true

大規模なカスタム語彙を dict でインライン展開する代わりに外部ファイルから読み込むには、後述の 辞書ファイルを使ったカスタム設定 を参照してください。

analyzer_params を定義した後は、コレクションスキーマを定義する際に VARCHAR フィールドに適用できます。これにより、Zilliz Cloud は指定したアナライザーを使用してそのフィールド内のテキストを処理し、効率的なトークン化とフィルタリングを実現します。詳細については、使用例 を参照してください。

辞書ファイルを使ったカスタム設定 | PRIVATE​

大規模なカスタム語彙（ドメイン用語集、製品用語、固有名詞リストなど）では、単語をファイルに格納し、そのファイルをリモートファイルリソースとして登録してから、extra_dict_file パラメーターを介してトークナイザーから参照します。アナライザーはこれらの単語を、組み込み辞書に加えて語彙に読み込みます。

ファイルはプレーンな UTF-8 テキストで、1 行に 1 つの用語を記述します。例:

plaintext
结巴分词器
向量数据库

ファイルを、Milvus クラスターが使用するように構成されているオブジェクトストアにアップロードしてから、登録します:

python
from pymilvus import MilvusClient

client = MilvusClient(uri="YOUR_CLUSTER_ENDPOINT")

# Register the uploaded file under a name you'll reference from analyzer configs.
client.add_file_resource(
    name="zh_terms",
    path="file/zh_terms.txt",    # full S3 object key, including the rootPath prefix
)

extra_dict_file を介して、登録済みのリソースをトークナイザーで参照します:

python
analyzer_params = {
    "tokenizer": {
        "type": "jieba",
        "dict": ["_default_"],             # keep the built-in dictionary
        "mode": "exact",
        "hmm": False,
        "extra_dict_file": {
            "type": "remote",
            "resource_name": "zh_terms",
            "file_name": "zh_terms.txt",
        },
    },
}

client.run_analyzer(["milvus结巴分词器中文测试"], analyzer_params)
# → [['milvus', '结巴', '分词器', '中文', '测试']]

extra_dict_file パラメーターは、以下のフィールドを持つオブジェクトを受け入れます:

フィールド説明
typeリソースのタイプ。add_file_resource で登録したファイルには "remote" を使用します。
resource_nameadd_file_resource でファイルを登録した際に使用した名前。
file_name登録済みリソースのオブジェクトストアパスのファイル名部分（たとえば、リソースを path="file/zh_terms.txt" で登録した場合は "zh_terms.txt"）。

extra_dict_file を介して追加された単語は組み込み辞書とマージされるため、jieba の分割アルゴリズムは既存のエントリーとともにそれらを認識します。特定の用語が単独のトークンとして現れるかどうかは、jieba の確率重み付き DAG 選択に依存します。向量数据库 のような長いカスタム用語でも、より短い 向量 と 数据库 のエントリーが組み込み辞書内で高い頻度を持つ場合は、依然としてそれらに分割されることがあります。

例​

アナライザー設定をコレクションスキーマに適用する前に、run_analyzer メソッドを使ってその動作を確認してください。

アナライザー設定​

python
analyzer_params = {
    "tokenizer": {
        "type": "jieba",
        "dict": ["结巴分词器"],
        "mode": "exact",
        "hmm": False
    }
}

run_analyzer を使った検証​

python
from pymilvus import (
    MilvusClient,
)

client = MilvusClient(
    uri="YOUR_CLUSTER_ENDPOINT",
    token="YOUR_CLUSTER_TOKEN"
)

# Sample text to analyze
sample_text = "milvus结巴分词器中文测试"

# Run the standard analyzer with the defined configuration
result = client.run_analyzer(sample_text, analyzer_params)
print("Standard analyzer output:", result)

期待される出力​

python
['milvus', '结巴分词器', '中', '文', '测', '试']
このページは役に立ちましたか？
Ctrl I