物体検出技術を用いたスクリーンショットからのUIリモデリング

DOI 情報処理学会

書誌事項

タイトル別名
  • Screenshot-based UI Remodeling by Object Detection Technology

この論文をさがす

抄録

システムモダナイゼーションでは，既存システムの分析モデル作成のための情報源確保が重要である．一般的に，設計書などのドキュメント，プログラムコード，利用者へのインタビューがモデルの情報源として用いられるが，情報の欠損による実システムと作成モデルとの乖離や情報の収集コストが課題である．本研究では，システム操作時のスクリーンショットを情報源として，システム画面の構成要素（UIパーツ）を明らかにするUIリモデリング手法を提案する．提案手法は，UIパーツ候補検出とクラス判定の2つのステップにより，システム画面レイアウト情報を出力する．2つの提案ステップそれぞれを，2つのOSSシステムから収集したデータセットで評価した結果，UIパーツ候補の検出は47.2%，UIパーツのクラス判定86.8%の精度が得られた．UIリモデリングの情報源としてシステム操作時のスクリーンショットの活用の有用性が確認された．

For system modernization, collecting information on the existing system is one of critical issues for investigating and analyzing the system. To do so, there are approaches: document analysis, program comprehension, and interviews with system users. However, these approaches require huge cost and need to deal with degraded problems such as ancient or no- documentation. This paper proposes UI remodeling method using system screenshots for identifying UI parts from them. The method is comprised of two steps: UI parts area detection and UI parts classification. By conducting the steps, we aim to define the relationships between UI parts and system screens. We also apply the method to two data set that are derived from different OSS systems. The result shows that the precision of the first step is 47.2% and the accuracy of the second step is 86.8%. It reveals that the utilization of system screens is promising information for UI remodeling.

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ