Visualization of preference learning datasets as layered graphs and its application to similar sample detection

DOI

Bibliographic Information

Other Title
  • 選好学習用データセットの多層グラフによる可視化と類似サンプル検出手法

Description

<p>インストラクションチューニング後のLLMの出力を人間にとってより好ましくなるように調整するために，選好学習（Preference Learning）が通常行われる．しかしながら，選好学習に用いられる選好データセットは人の主観的な評価に依拠したものであるため，評価者の個人差やバイアスが内包されている可能性がある．そこで本研究では，ユーザー評価の信頼性を判断する足掛かりとして，選好データセットの多層グラフによる可視化とそれに基づく類似サンプル検出手法の提案する．今後の発展としては，これらの可視化・分析結果に基づき，ユーザー評価の信頼性判断を行うことで，運用中のユーザーから得られたフィードバックを踏まえてモデルの改善を効率化するLLMOps技術としての実応用を目指す．</p>

Journal

Keywords

Details 詳細情報について

Report a problem

Back to top