文字列・音の類似度を考慮した深層学習に基づくテキストの正規化

DOI

書誌事項

タイトル別名
  • Text normalization based on deep learning considering similarities in terms of strings and sounds

抄録

<p>SNS上のテキストにはスペルミス，強調文字，インターネットスラングなどの非標準的な単語が多く使用される．非標準的な単語を多く含んでいると読者が文章の意味を理解できないだけでなく，SNSを対象とした自然言語処理を行う上の障壁となる．この問題を解決するために，非標準的な単語を含む文を訂正するテキスト標準化が必要とされている．このような需要に対処するため本研究では，深層学習を用いて文字列・音の類似性をモデル化することで，より高度なテキスト標準化を目指す．提案手法では，文字列の類似性を考慮することでpepoleとpeopleの様な表記ゆれに対応することができる．さらに，音の類似性を考慮することで，yesssとyes，disとthisの様な発音に起因した文字の置き換えに対応することが可能である．評価実験では，文字列・音の類似性を考慮した提案手法が最高精度を達成することを確認した．</p>

収録刊行物

キーワード

詳細情報 詳細情報について

  • CRID
    1390285300166233984
  • NII論文ID
    130007857138
  • DOI
    10.11517/pjsai.jsai2020.0_3rin409
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
    • CiNii Articles
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ