| 講演名 | 2021-01-25 学習係数付きソフトマックス関数による効率的な注意機構 廣田 海斗(東大), 大内 真一(産総研), 藤田 昌宏(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | BERTは発表当時に11種類の自然言語処理タスクで世界最高の成績を記録した深層学習モデルであり、今日も様々な応用が検討されている。本論文ではBERTを効率的に実装するために、その中心的な演算である注意機構に組み込まれているソフトマックス関数に注目する。本研究ではこの関数における加算と指数計算の適用回数をどちらも1%未満まで削減しながらも、もとのモデルと比較して95%の精度を保つことに成功した。 |
| 抄録(英) | BERT is a neural network model which has accomplished state-of-the-art performance on eleven natural language processing tasks such as inference and paraphrasing. So it is desired to make BERT based computations available on edge devices. We propose an efficient hardware implementation method for the part of this model by modifying Softmax function. Softmax function is a part of the most significant calculation in BERT in terms of computation cost, and its hardware implementation on FPGA or ASIC has not been explored. We have succeeded in reducing the number of additions and exponential functions to 1%, while retaining 95% of the BERT’s accuracy through experiments. |
| キーワード(和) | 深層学習 / 自然言語処理 / BERT / 注意機構 / ハードウェア設計 / FPGA / Softmax関数 |
| キーワード(英) | Deep Learning / Natural Language Processing / BERT / Attention / Hardware Design / FPGA / Softmax Function |
| 資料番号 | VLD2020-48,CPSY2020-31,RECONF2020-67 |
| 発行日 | 2021-01-18 (VLD, CPSY, RECONF) |
| 研究会情報 | |
| 研究会 | CPSY / RECONF / VLD / IPSJ-ARC / IPSJ-SLDM |
|---|---|
| 開催期間 | 2021/1/25(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | FPGA 応用および一般 |
| テーマ（英） | FPGA Applications, etc. |
| 委員長氏名（和） | 入江 英嗣(東大) / 柴田 裕一郎(長崎大) / 福田 大輔(富士通研) / 井上 弘士(九大) / 中村 祐一(NEC) |
| 委員長氏名（英） | Hidetsugu Irie(Univ. of Tokyo) / Yuichiro Shibata(Nagasaki Univ.) / Daisuke Fukuda(Fujitsu Labs.) / Hiroshi Inoue(Kyushu Univ.) / Yuichi Nakamura(NEC) |
| 副委員長氏名（和） | 鯉渕 道紘(NII) / 中島 耕太(富士通研) / 佐野 健太郎(理研) / 山口 佳樹(筑波大) / 小林 和淑(京都工繊大) |
| 副委員長氏名（英） | Michihiro Koibuchi(NII) / Kota Nakajima(Fujitsu Lab.) / Kentaro Sano(RIKEN) / Yoshiki Yamaguchi(Tsukuba Univ.) / Kazutoshi Kobayashi(Kyoto Inst. of Tech.) |
| 幹事氏名（和） | 高前田 伸也(北大) / 津邑 公暁(名工大) / 三好 健文(イーツリーズ・ジャパン) / 小林 悠記(NEC) / 桜井 祐市(日立) / 兼本 大輔(大阪大学) / 今村 智(富士通研) / 塩谷 亮太(名大) / 谷本 輝夫(九大) / 新田 高庸(NTT) / 瀬戸 謙修(東京都市大) / 密山 幸男(高知工科大) / 君家 一紀(三菱電機) / 廣本 正之(富士通研) |
| 幹事氏名（英） | Shinya Takameda(Hokkaido Univ.) / Tomoaki Tsumura(Nagoya Inst. of Tech.) / Takefumi Miyoshi(e-trees.Japan) / Yuuki Kobayashi(NEC) / Yuichi Sakurai(Hitachi) / Daisuke Kanemoto(Osaka Univ.) / Satoshi Imamura(Fujitsu lab.) / Ryota Shioya(Nagoya Univ.) / Teruo Tanimoto(Kyushu Univ.) / Koyo Nitta(NTT) / Kenshu Seto(Tokyo City Univ.) / Yukio Mitsuyama(Kochi Univ. of Tech.) / Kazuki Oya(Mitsubishi Electric) / Masayuki Hiromoto(Fujistu Lab.) |
| 幹事補佐氏名（和） | 小川 周吾(日立) / 有間 英志(東大) / 中原 啓貴(東工大) / 竹村 幸尚(インテル) / 西元 琢真(日立) |
| 幹事補佐氏名（英） | Shugo Ogawa(Hitachi) / Eiji Arima(Univ. of Tokyo) / Hiroki Nakahara(Tokyo Inst. of Tech.) / Yukitaka Takemura(INTEL) / Takuma Nishimoto(Hitachi) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Computer Systems / Technical Committee on Reconfigurable Systems / Technical Committee on VLSI Design Technologies / Special Interest Group on System Architecture / Special Interest Group on System and LSI Design Methodology |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 学習係数付きソフトマックス関数による効率的な注意機構 |
| サブタイトル（和） | |
| タイトル（英） | Efficient Attention Mechanism by Softmax Function with Trained Coefficient |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 / Deep Learning |
| キーワード(2)（和/英） | 自然言語処理 / Natural Language Processing |
| キーワード(3)（和/英） | BERT / BERT |
| キーワード(4)（和/英） | 注意機構 / Attention |
| キーワード(5)（和/英） | ハードウェア設計 / Hardware Design |
| キーワード(6)（和/英） | FPGA / FPGA |
| キーワード(7)（和/英） | Softmax関数 / Softmax Function |
| 第 1 著者 氏名（和/英） | 廣田 海斗 / Kaito Hirota |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) the University of Tokyo(略称：UT) |
| 第 2 著者 氏名（和/英） | 大内 真一 / O'uchi Shinichi |
| 第 2 著者 所属（和/英） | 産業技術総合研究所(略称：産総研) National Institute of Advanced Industrial Science and Technology(略称：AIST) |
| 第 3 著者 氏名（和/英） | 藤田 昌宏 / Fujita Masahiro |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) the University of Tokyo(略称：UT) |
| 発表年月日 | 2021-01-25 |
| 資料番号 | VLD2020-48,CPSY2020-31,RECONF2020-67 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | VLD-337,CPSY-338,RECONF-339 |
| ページ範囲 | pp.52-57(VLD), pp.52-57(CPSY), pp.52-57(RECONF), |
| ページ数 | 6 |
| 発行日 | 2021-01-18 (VLD, CPSY, RECONF) |