MIXIが会話ロボに大規模言語モデル StableLM 高速化にはLLMの投機的サンプリングを採用

書誌事項

タイトル別名
  • MIXI ガ カイワ ロボ ニ ダイキボ ゲンゴ モデル StableLM コウソクカ ニワ LLM ノ トウキテキ サンプリング オ サイヨウ

この論文をさがす

説明

イメージ的には次のような仕組みだ。まず低精度だが軽量なdraftモデルで何個か先までトークンを生成する。draftモデルは軽量なため、複数のトークンを生成してもそれほど長い時間は要さずに処理できる。

収録刊行物

  • Nikkei robotics

    Nikkei robotics (108), 14-18, 2024-07

    東京 : 日経BP社

詳細情報 詳細情報について

問題の指摘

ページトップへ