文字列・音の類似度を考慮した深層学習に基づくテキストの正規化
書誌事項
- タイトル別名
-
- Text normalization based on deep learning considering similarities in terms of strings and sounds
抄録
<p>SNS上のテキストにはスペルミス,強調文字,インターネットスラングなどの非標準的な単語が多く使用される.非標準的な単語を多く含んでいると読者が文章の意味を理解できないだけでなく,SNSを対象とした自然言語処理を行う上の障壁となる.この問題を解決するために,非標準的な単語を含む文を訂正するテキスト標準化が必要とされている.このような需要に対処するため本研究では,深層学習を用いて文字列・音の類似性をモデル化することで,より高度なテキスト標準化を目指す.提案手法では,文字列の類似性を考慮することでpepoleとpeopleの様な表記ゆれに対応することができる.さらに,音の類似性を考慮することで,yesssとyes,disとthisの様な発音に起因した文字の置き換えに対応することが可能である.評価実験では,文字列・音の類似性を考慮した提案手法が最高精度を達成することを確認した.</p>
収録刊行物
-
- 人工知能学会全国大会論文集
-
人工知能学会全国大会論文集 JSAI2020 (0), 3Rin409-3Rin409, 2020
一般社団法人 人工知能学会
- Tweet
詳細情報 詳細情報について
-
- CRID
- 1390285300166233984
-
- NII論文ID
- 130007857138
-
- 本文言語コード
- ja
-
- データソース種別
-
- JaLC
- CiNii Articles
-
- 抄録ライセンスフラグ
- 使用不可