MIXIが会話ロボに大規模言語モデル StableLM 高速化にはLLMの投機的サンプリングを採用

NIKKEI BP Web Site

Bibliographic Information

Other Title
  • MIXI ガ カイワ ロボ ニ ダイキボ ゲンゴ モデル StableLM コウソクカ ニワ LLM ノ トウキテキ サンプリング オ サイヨウ

Search this article

Description

イメージ的には次のような仕組みだ。まず低精度だが軽量なdraftモデルで何個か先までトークンを生成する。draftモデルは軽量なため、複数のトークンを生成してもそれほど長い時間は要さずに処理できる。

Journal

  • Nikkei robotics

    Nikkei robotics (108), 14-18, 2024-07

    東京 : 日経BP社

Details 詳細情報について

Report a problem

Back to top