文節数最小法を用いたべた書き日本語文の形態素解析

IPSJ 31 Citations

Bibliographic Information

Other Title
  • Morphological Analysis of Non -marked- off Japanese Sentences by the Least BUNSETSU's Number Method

Search this article

Description

文節内における単語間の連接規則を記述した文法規則を用いるべた書き日本語文の形態素解析では 日本語文としては不適当な解析を含む多くの解析結果が生じる.これらの解析結果から正しい解析を効率的に得る方法として ヒューリスティックな構報が利用される.従来 この手法としては最長一致法が用いられているが 根拠が明らかでないうえに解析結果に尤度による優先順位をつけることができないという根本的な欠点がある本論文では 解析結果の文節数によってその尤度を評価する文節数最小法を提案し この手法に適した表方式の形態素解析アルゴリズムを与える.アルゴリズムの能率は 最悪の場合に必要とするステップ数 メモリ数ともに入力文字列の長さnに対してΟ(n^2)である.また 1 000文の入力文に対して解析実験を行い 文節数最小法の有効性を確認した.その結果 960文については文節数が最小となる解析に正解が存在し 残り40文も一つ文節数が多い解析に正解が存在した.その他 能率 最初に出力される解析結果の誤り率 尤度による順位付けの能力についても最長一致法と比較実験を行った.最初に出力される解析結果の誤り率は 文節数最小法で7.0% 最長一致法で12.4%であり このことも文節数最小法の有効を十分示している.

Journal

Citations (31)*help

See more

Keywords

Details 詳細情報について

Report a problem

Back to top