抜粋による複数文書要約を評価するためのコーパスと評価指標

機関リポジトリ 情報処理学会 Web Site 被引用文献1件 参考文献17件

書誌事項

タイトル別名
  • バッスイ ニ ヨル フクスウ ブンショ ヨウヤク オ ヒョウカスル タメノ コーパス ト ヒョウカ シヒョウ
  • Corpus and Evaluation Measures for Extractive Multiple Document Summarization

この論文をさがす

抄録

複数文書要約の対象となる文書群には，ある文に対して，意味的に似通った文やまったく同じ文が含まれていることが多い．こうした傾向は，要約のための文書群を複数の情報源から得た場合に特に顕著である．しかし，従来のコーパスには，このようなよく似た文，あるいは同一の文の間に注釈付けが存在しない．これは，抜粋を評価するための指標を定義するうえで致命的な問題となる．本稿では，こうした冗長性を考慮したコーパスへの注釈付けの枠組みを提案し，それに基づき，抜粋の情報量を測る指標である被覆率，抜粋に含まれる重要文の冗長度を測る指標である重要文冗長率を提案する．これらの指標による抜粋の順位付けと被験者による順位付けとの間の順位相関係数は，ともに0.7以上であり，人間の順位付けとの間に高い相関があることが分かった．

In multiple document summarization, input documents have many similar (or even identical)sentences. However, conventional corpora for multiple document summarization do not include links between similar sentences. This is a critical problem with regard to the definition of evaluation measures for sentence extraction. In this paper, we propose both annotation scheme for corpus and evaluation measures, “coverage” and “redundancy.” “Coverage” measures the content information of the system extract and “redundancy” measures the redundancy of the important sentences contained in system extract. We evaluate “coverage” and “redundancy” by comparing their ranking correlation coefficients with subjective human rankings. The results show that both measure attained enough high correlation coefficients, which were more than 0.7 correlation coefficients.

収録刊行物

被引用文献 (1)*注記

もっと見る

参考文献 (17)*注記

もっと見る

関連プロジェクト

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ