| 講演名 | 2023-09-06 日本語インストラクションデータを用いた対話可能な日本語大規模言語モデルのLoRAチューニング 鈴木 雅弘(東大), 平野 正徳(東大), 坂地 泰紀(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究では，日本語インストラクションデータを用い，日本語と英語のそれぞれをベースにした大規模言語モデル (LLM) に対してLoRAチューニングを行った．チューニングしたモデルに対し定量と定性による両面から評価を行い，日本語インストラクションデータによるチューニングの効果を確認した．また幅広いインストラクションデータや実際のモデルが出力した文字列による評価の必要性など，日本語における大規模言語モデルや言語資源における課題を明らかにした． |
| 抄録(英) | In this study, we performed LoRA tuning on large language models (LLM) based on both Japanese and English using Japanese instruction tuning and evaluated these models from both quantitative and qualitative perspectives. As a result of the evaluation, the effectiveness of tuning with Japanese instruction data was confirmed. Furthermore, we clarified the challenges in large-scale language models and language resources in Japanese, such as the need for evaluation using a wide range of instruction data and the actual output strings of the models. |
| キーワード(和) | 大規模言語モデル / 日本語 / インストラクションチューニング |
| キーワード(英) | Large Language Model (LLM) / Japanese / Instruction Tuning |
| 資料番号 | NLC2023-1 |
| 発行日 | 2023-08-30 (NLC) |
| 研究会情報 | |
| 研究会 | NLC |
|---|---|
| 開催期間 | 2023/9/6(から2日開催) |
| 開催地（和） | 大阪公立大学 中百舌鳥キャンパス |
| 開催地（英） | Osaka Metropolitan University. Nakamozu Campus. |
| テーマ（和） | 第20回テキストアナリティクス・シンポジウム |
| テーマ（英） | The 20th Text Analytics Symposium |
| 委員長氏名（和） | 吉田 光男(筑波大) |
| 委員長氏名（英） | Mitsuo Yoshida(Univ. of Tsukuba) |
| 副委員長氏名（和） | 坂地 泰紀(東大) / 小早川 健(NHK) |
| 副委員長氏名（英） | Hiroki Sakaji(Univ. of Tokyo) / Takeshi Kobayakawa(NHK) |
| 幹事氏名（和） | 光田 航(rinna) / 石野 亜耶(広島経済大) |
| 幹事氏名（英） | Ko Mitsuda(rinna) / Aya Ishino(Hiroshima Univ. of Economics) |
| 幹事補佐氏名（和） | 高橋 寛治(Sansan) / 小川 泰弘(名大) |
| 幹事補佐氏名（英） | Kanjin Takahashi(Sansan) / Yasuhiro Ogawa(Nagoya Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Natural Language Understanding and Models of Communication |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 日本語インストラクションデータを用いた対話可能な日本語大規模言語モデルのLoRAチューニング |
| サブタイトル（和） | |
| タイトル（英） | LoRA Tuning Conversational Japanese Large Language Models using Japanese Instruction Dataset |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 大規模言語モデル / Large Language Model (LLM) |
| キーワード(2)（和/英） | 日本語 / Japanese |
| キーワード(3)（和/英） | インストラクションチューニング / Instruction Tuning |
| 第 1 著者 氏名（和/英） | 鈴木 雅弘 / Masahiro Suzuki |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 2 著者 氏名（和/英） | 平野 正徳 / Masanori Hirano |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 3 著者 氏名（和/英） | 坂地 泰紀 / Hiroki Sakaji |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 発表年月日 | 2023-09-06 |
| 資料番号 | NLC2023-1 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | NLC-176 |
| ページ範囲 | pp.1-6(NLC), |
| ページ数 | 6 |
| 発行日 | 2023-08-30 (NLC) |