メインコンテンツまでスキップ

Lindera

lindera トークナイザーは、辞書ベースの形態素解析を行います。日本語と韓国語向けに設計されており、これらの言語では単語がスペースで区切られず、文法的な標識（助詞）が単語に直接付加されます。

Notes

中国語のテキストの場合: lindera は cc-cedict 辞書を介して中国語をサポートしていますが、代わりに jieba トークナイザーを使用することをお勧めします。Jieba は中国語の単語分割用に特別に設計されており、より良い結果を提供します。

概要​

日本語と韓国語は膠着語です。助詞と呼ばれる文法的な標識が名詞に直接付加され、多数の組み合わせを形成します。例を以下に示します。

言語

元の単語

  • 助詞

= 結合形

意味

韓国語

서울（ソウル）

에서

서울에서

ソウルで

日本語

東京（Tokyo）

に

東京に

東京へ

lindera トークナイザーは次の処理を行います。

  1. テキストを分割し、個々の形態素（単語と助詞）に分けます

  2. 各トークンにタグを付与し、辞書の品詞（POS）情報を付けます

  3. フィルターを適用して、不要なトークン（助詞や句読点など）を削除します

この 2 段階のプロセス（分割と、それに続く品詞ベースのフィルタリング）により、検索用にインデックスされるトークンを正確に制御できます。

構成​

lindera トークナイザーを使用してアナライザーを構成するには、tokenizer.type を lindera に設定し、dict_kind で辞書を選択し、必要に応じてフィルターを適用します。

python
analyzer_params = {
    "tokenizer": {
        "type": "lindera",
        "dict_kind": "ko-dic",
        "filter": [
            {
                "kind": "korean_stop_tags",
                "tags": ["SP", "SSC", "SSO", "SC", "SE", "SF", "JKS", "JKC", "JKG", "JKO", "JKB", "JKV", "JKQ", "JX", "JC", "UNK", "EP", "ETM"]
            }
        ]
    }
}

パラメーター

説明

type

トークナイザーのタイプです。"lindera" に固定されています。

dict_kind

語彙を定義するために使用する辞書です。指定できる値は次のとおりです:

  • ko-dic: 韓国語 - 韓国語の形態素辞書（MeCab Ko-dic）

  • ipadic: 日本語 - 標準の形態素辞書（MeCab IPADIC）

filter

分割後に適用するトークナイザーレベルのフィルターのリストです。各フィルターは次の項目を持つオブジェクトです:

  • kind: フィルターのタイプです。サポートされている値は次のとおりです:

    • korean_stop_tags: 指定した韓国語の品詞タグに一致するトークンを削除します。

    • japanese_stop_tags: 指定した日本語の品詞タグに一致するトークンを削除します。

  • tags: 除外する品詞タグのリストです。使用できるタグは kind によって異なります:

    • korean_stop_tags の場合: 正確なタグコード（例: JKS、JKO、SF）を使用します。韓国語のタグは完全一致が必要です。Sejong タグセットに基づく完全なリストについては、Lindera Korean stop tags source を参照してください。

    • japanese_stop_tags の場合: 正確なタグコード（例: 助詞,格助詞、助詞,係助詞、助動詞）を使用します。日本語のタグは完全一致が必要です。完全なリスト（IPADIC）については、Japanese POS tags reference を参照してください。

analyzer_params を定義した後、コレクションスキーマを定義する際に、それらを VARCHAR フィールドに適用できます。これにより、Zilliz Cloud は指定したアナライザーを使用してそのフィールド内のテキストを処理し、効率的なトークン化とフィルタリングを行えます。詳細については、使用例 を参照してください。

例​

アナライザーの構成をコレクションスキーマに適用する前に、run_analyzer メソッドを使用してその動作を確認します。

韓国語の例​

python
from pymilvus import MilvusClient

client = MilvusClient(uri="YOUR_CLUSTER_ENDPOINT")

analyzer_params = {
    "tokenizer": {
        "type": "lindera",
        "dict_kind": "ko-dic",
        "filter": [
            {
                "kind": "korean_stop_tags",
                "tags": ["SP", "SSC", "SSO", "SC", "SE", "SF", "JKS", "JKC", "JKG", "JKO", "JKB", "JKV", "JKQ", "JX", "JC", "UNK", "EP", "ETM"]
            }
        ]
    }
}

# Sample Korean text: "서울에서 맛있는 음식을 먹었습니다" (I ate delicious food in Seoul)
sample_text = "서울에서 맛있는 음식을 먹었습니다"

result = client.run_analyzer(sample_text, analyzer_params)
print("Analyzer output:", result)

期待される出力:

plaintext
['서울', '맛있', '음식', '먹', '습니다']

korean_stop_tags を使用しない場合、出力には 에서（〜で）、는（主題標識）、을（目的語標識）などの助詞が含まれます。これらは通常、検索には役立ちません。

日本語の例​

python
from pymilvus import MilvusClient

client = MilvusClient(uri="YOUR_CLUSTER_ENDPOINT")

analyzer_params = {
    "tokenizer": {
        "type": "lindera",
        "dict_kind": "ipadic",
        "filter": [
            {
                "kind": "japanese_stop_tags",
                "tags": ["接続詞", "助詞,格助詞", "助詞,格助詞,一般", "助詞,格助詞,引用", "助詞,格助詞,連語", "助詞,係助詞", "助詞,終助詞", "助詞,接続助詞", "助詞,特殊", "助詞,副助詞", "助詞,副助詞／並立助詞／終助詞", "助詞,連体化", "助詞,副詞化", "助詞,並立助詞", "助動詞", "記号,一般", "記号,読点", "記号,句点", "記号,空白", "記号,括弧閉", "記号,括弧開", "その他,間投", "フィラー", "非言語音"]
            }
        ]
    }
}

# Sample Japanese text: "東京スカイツリーの最寄り駅はとうきょうスカイツリー駅です"
sample_text = "東京スカイツリーの最寄り駅はとうきょうスカイツリー駅です"

result = client.run_analyzer(sample_text, analyzer_params)
print("Analyzer output:", result)

期待される出力:

plaintext
['東京', 'スカイ', 'ツリー', '最寄り駅', 'とう', 'きょう', 'スカイ', 'ツリー', '駅']

japanese_stop_tags を使用しない場合、出力には の（所有）、は（主題標識）、です（コピュラ）などの助詞が含まれます。

Ctrl I