メインコンテンツまでスキップ

Lindera

lindera トークナイザーは、辞書ベースの形態素解析を実行します。単語がスペースで区切られず、文法標識（助詞）が単語に直接付く日本語と韓国語向けに設計されています。

Notes

中国語テキストの場合: lindera は cc-cedict 辞書を通じて中国語をサポートしていますが、代わりに jieba トークナイザーの使用をお勧めします。Jieba は中国語の単語分割専用に設計されており、より優れた結果を提供します。

概要​

日本語と韓国語は膠着語です。助詞と呼ばれる文法標識が名詞に直接付き、多数の組み合わせを形成します。次に例を示します。

言語

語根

  • 助詞

= 結合形

意味

韓国語

서울（ソウル）

에서

서울에서

ソウルで

日本語

東京（Tokyo）

に

東京に

東京へ

lindera トークナイザーは、次の処理を行います。

  1. テキストを分割し、個々の形態素（単語と助詞）にします。

  2. 各トークンにタグを付け、辞書の品詞（POS）情報を付与します。

  3. フィルターを適用して、不要なトークン（助詞、句読点など）を削除します。

この 2 段階のプロセス（分割の後に品詞ベースのフィルタリングを行う）により、検索用にインデックス化するトークンを正確に制御できます。

設定​

lindera トークナイザーを使用するアナライザーを設定するには、tokenizer.type を lindera に設定し、dict_kind で辞書を選択し、必要に応じてフィルターを適用します。

python
analyzer_params = {
    "tokenizer": {
        "type": "lindera",
        "dict_kind": "ko-dic",
        "filter": [
            {
                "kind": "korean_stop_tags",
                "tags": ["SP", "SSC", "SSO", "SC", "SE", "SF", "JKS", "JKC", "JKG", "JKO", "JKB", "JKV", "JKQ", "JX", "JC", "UNK", "EP", "ETM"]
            }
        ]
    }
}

パラメーター

説明

type

トークナイザーのタイプです。これは "lindera" に固定されています。

dict_kind

語彙を定義するために使用する辞書です。使用可能な値：

  • ko-dic：韓国語 - 韓国語の形態素辞書（MeCab Ko-dic）

  • ipadic：日本語 - 標準形態素辞書（MeCab IPADIC）

filter

分割後に適用するトークナイザーレベルのフィルターのリストです。各フィルターは次の項目を持つオブジェクトです：

  • kind：フィルターのタイプです。サポートされる値：

    • korean_stop_tags：指定された韓国語の品詞タグに一致するトークンを削除します。

    • japanese_stop_tags：指定された日本語の品詞タグに一致するトークンを削除します。

  • tags：除外する品詞タグのリストです。使用可能なタグは kind によって異なります：

    • korean_stop_tags の場合：完全なタグコード（JKS、JKO、SF など）を使用します。韓国語のタグは完全一致が必要です。Sejong タグセットに基づく完全なリストについては、Lindera Korean stop tags source を参照してください。

    • japanese_stop_tags の場合：完全なタグコード（助詞,格助詞、助詞,係助詞、助動詞 など）を使用します。日本語のタグは完全一致が必要です。完全なリスト（IPADIC）については、Japanese POS tags reference を参照してください。

analyzer_params を定義したら、コレクションスキーマを定義する際に、それを VARCHAR フィールドに適用できます。これにより、Zilliz Cloud は、指定されたアナライザーを使用してそのフィールド内のテキストを処理し、効率的なトークン化とフィルタリングを行えます。詳細については、使用例 を参照してください。

例​

アナライザーの設定をコレクションスキーマに適用する前に、run_analyzer メソッドを使用してその動作を確認してください。

韓国語の例​

python
from pymilvus import MilvusClient

client = MilvusClient(uri="YOUR_CLUSTER_ENDPOINT")

analyzer_params = {
    "tokenizer": {
        "type": "lindera",
        "dict_kind": "ko-dic",
        "filter": [
            {
                "kind": "korean_stop_tags",
                "tags": ["SP", "SSC", "SSO", "SC", "SE", "SF", "JKS", "JKC", "JKG", "JKO", "JKB", "JKV", "JKQ", "JX", "JC", "UNK", "EP", "ETM"]
            }
        ]
    }
}

# Sample Korean text: "서울에서 맛있는 음식을 먹었습니다" (I ate delicious food in Seoul)
sample_text = "서울에서 맛있는 음식을 먹었습니다"

result = client.run_analyzer(sample_text, analyzer_params)
print("Analyzer output:", result)

期待される出力：

plaintext
['서울', '맛있', '음식', '먹', '습니다']

korean_stop_tags を使用しない場合、出力には 에서（〜で）、는（主題マーカー）、을（目的語マーカー）などの助詞が含まれます。これらは通常、検索には役立ちません。

日本語の例​

python
from pymilvus import MilvusClient

client = MilvusClient(uri="YOUR_CLUSTER_ENDPOINT")

analyzer_params = {
    "tokenizer": {
        "type": "lindera",
        "dict_kind": "ipadic",
        "filter": [
            {
                "kind": "japanese_stop_tags",
                "tags": ["接続詞", "助詞,格助詞", "助詞,格助詞,一般", "助詞,格助詞,引用", "助詞,格助詞,連語", "助詞,係助詞", "助詞,終助詞", "助詞,接続助詞", "助詞,特殊", "助詞,副助詞", "助詞,副助詞／並立助詞／終助詞", "助詞,連体化", "助詞,副詞化", "助詞,並立助詞", "助動詞", "記号,一般", "記号,読点", "記号,句点", "記号,空白", "記号,括弧閉", "記号,括弧開", "その他,間投", "フィラー", "非言語音"]
            }
        ]
    }
}

# Sample Japanese text: "東京スカイツリーの最寄り駅はとうきょうスカイツリー駅です"
sample_text = "東京スカイツリーの最寄り駅はとうきょうスカイツリー駅です"

result = client.run_analyzer(sample_text, analyzer_params)
print("Analyzer output:", result)

期待される出力：

plaintext
['東京', 'スカイ', 'ツリー', '最寄り駅', 'とう', 'きょう', 'スカイ', 'ツリー', '駅']

japanese_stop_tags を使用しない場合、出力には の（所有格）、は（主題マーカー）、です（コピュラ）などの助詞が含まれます。

このページは役に立ちましたか？
Ctrl I