Bibliographic Information
- Other Title
-
- 〈共同研究プロジェクト紹介〉萌芽・発掘型 : 統計と機械学習による日本語史研究 歴史的日本語資料のアノテーションと自動濁点付与
- キョウドウ ケンキュウ プロジェクト ショウカイ ホウガ ・ ハックツガタ : トウケイ ト キカイ ガクシュウ ニ ヨル ニホンゴシ ケンキュウ レキシテキ ニホンゴ シリョウ ノ アノテーション ト ジドウ ダクテン フヨ
Search this article
Abstract
国立国語研究所言語資源研究系
通時コーパスの構築に必要とされる歴史的日本語資料のアノテーションの全体について俯瞰した上で,アノテーション作業の自動化の試みの一つとして濁点の自動付与に関する研究成果を紹介する。歴史的資料では,濁点が十分に付与されていないものが少なくないが,そのままでは読みにくく検索や形態素解析にとって不都合である。そこで統計的機械学習に基づく自動濁点付与の手法を開発し,適合率約96%,再現率約98%での濁点付与を可能にした。これにより通時コーパス構築の作業負担の軽減が期待できる。最後に,今後の歴史コーパスに期待される高度なアノテーションについて展望する。
Following a survey of annotations for historical Japanese documents that are required for the construction of a diachronic corpus, I introduce the results of our research on adding dakuten (the voicing diacritic) automatically. Raw historical texts often include characters with dakuten omitted, but such texts degrade readability and retrievability and are not suitable for morphological analysis. We therefore developed an automatic annotation technique for dakuten based on statistical machine learning that has a precision rate of approximately 96% and a recall rate of approximately 98%. This technique can reduce the work involved in diachronic corpus construction. Finally, I discuss the high-level annotation that can be expected in diachronic corpora from now on.
Journal
-
- 国語研プロジェクトレビュー = NINJAL Project Review
-
国語研プロジェクトレビュー = NINJAL Project Review 4 (2), 144-150, 2013-10
国立国語研究所
