| 講演名 | 2022-07-29 確率的オートマトンとn-gramに基づくRNNに対するバグ限局 石本 優太(九大), 近藤 将成(九大), 鵜林 尚靖(九大), 亀井 靖高(九大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年深層学習モデルは自動運転や医療画像解析などの様々な分野で適用されている．深層学習モデルが誤動作すると，重大な事故が発生する可能性がある．この誤動作を特定し修正するために，既存研究では誤動作の原因となるモデルの構成要素（ニューロンなど）を特定し，それらを修正するアプローチが提案されてきた．しかし，これらのアプローチは入力によって変化する動的な内部状態を持つモデルであるRNN（リカレントニューラルネットワーク）には適用できない．本研究では，RNNの誤動作の原因を特定するため，RNNから抽出した確率的オートマトン上の$n$-gramに着目したバグ限局（PAFL: Probabilistic Automaton-based Fault Localization）を提案する．PAFLは，確率的オートマトンの状態の$n$-gramを利用した疑惑値を計算することで，RNNの誤動作の原因を正確に特定できる．さらに，この疑惑値を利用することで，RNNの誤動作と強く関連するデータサンプルを抽出する手法も提案する．本研究の実験により，PAFLはランダムな選択アプローチと比較して，誤動作に強く関連するデータサンプルを統計的有意に抽出できることが示された．具体的には，予測の難しい2つのデータセット（RTMR，IMDB）において，83%の割合でPAFLはランダムに抽出したデータサンプルよりもRNNの予測精度が低いデータサンプルを抽出できる．実験結果から，PAFLはRNNのバグ限局手法として有用であることが示された． |
| 抄録(英) | If deep learning models misbehave, serious accidents may occur.Previous studies have proposed approaches to overcome such misbehavior by detecting and modifying the responsible faulty parts (e.g., neurons of the network) in deep learning models.However, such approaches are not applicable to deep learning models that have internal states that change dynamically based on the input data, for example, recurrent neural networks (RNNs). To detect misbehavior RNNs, we propose PAFL, a new fault localization approach for application to RNNs.PAFL enables developers to detect faulty parts even in RNNs by computing suspiciousness scores with fault localization using $n$-grams.Furthermore, by using this suspiciousness score, PAFL can extract data strongly associated with RNN misbehavior.Compared to the random approach, PAFL can extract data that are statistically significantly more strongly associated with misbehavior.Specifically, in 83% of all experimental settings for two difficult datasets (i.e., RTMR and IMDB), PAFL can extract data that is difficult to predict of RNNs than randomly extracted data.Our experimental results show that PAFL is useful as a fault localization method for RNNs. |
| キーワード(和) | 深層学習 / リカレントニューラルネットワーク / バグ限局 / 確率的オートマトン / n-gram |
| キーワード(英) | deep learning / recurrent neural network / fault localization / probabilistic automaton / n-gram |
| 資料番号 | SS2022-10,KBSE2022-20 |
| 発行日 | 2022-07-21 (SS, KBSE) |
| 研究会情報 | |
| 研究会 | SS / IPSJ-SE / KBSE |
|---|---|
| 開催期間 | 2022/7/28(から3日開催) |
| 開催地（和） | 北海道自治労会館（札幌） |
| 開催地（英） | Hokkaido-Jichiro-Kaikan (Sapporo) |
| テーマ（和） | ソフトウェア工学全般／知能ソフトウェア工学全般／ソフトウェアサイエンス全般 |
| テーマ（英） | |
| 委員長氏名（和） | 岡野 浩三(信州大) / 鷲崎 弘宜(早稲田大学) / 猿渡 卓也(NTTデータ) |
| 委員長氏名（英） | Kozo Okano(Shinshu Univ.) / 鷲崎 弘宜(早稲田大学) / Takuya Saruwatari(NTT Data) |
| 副委員長氏名（和） | 肥後 芳樹(阪大) / / 田辺 良則(鶴見大) |
| 副委員長氏名（英） | Yoshiki Higo(Osaka Univ.) / / Yoshinori Tanabe(Tsurumi Univ.) |
| 幹事氏名（和） | 小形 真平(信州大) / 林 晋平(東工大) / / 小島 英春(阪工大) / 柏 祐太郎(奈良先端大) |
| 幹事氏名（英） | Shinpei Ogata(Shinshu Univ.) / Shinpei Hayashi(Tokyo Inst. of Tech.) / / Hideharu Kojima(Osaka Inst. of Tech.) / Yutaro Kashiwa(NAIST) |
| 幹事補佐氏名（和） | ?本 真佑(阪大) / 伊原 彰紀(和歌山大学) / 小川 秀人(日立製作所) / 竹内 広宜(武蔵大学) / 徳本 晋(富士通) / 伏田 享平(NTT株式会社) / 福田 浩章(芝浦工業大学) / 横川 智教(岡山県立大学) / 青木 善貴(BIPROGY) / 堀田 大貴(茨城大) |
| 幹事補佐氏名（英） | Shinsuke Matsumoto(Osaka Univ.) / 伊原 彰紀(和歌山大学) / 小川 秀人(日立製作所) / 竹内 広宜(武蔵大学) / 徳本 晋(富士通) / 伏田 享平(NTT株式会社) / 福田 浩章(芝浦工業大学) / 横川 智教(岡山県立大学) / Yoshitaka Aoki(BIPROGY) / Hiroki Horita(Ibaraki Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Software Science / Special Interest Group on Software Engineering / Technical Committee on Knowledge-Based Software Engineering |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 確率的オートマトンとn-gramに基づくRNNに対するバグ限局 |
| サブタイトル（和） | |
| タイトル（英） | Fault Localization for RNNs Based on Probabilistic Automata and n-grams |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 / deep learning |
| キーワード(2)（和/英） | リカレントニューラルネットワーク / recurrent neural network |
| キーワード(3)（和/英） | バグ限局 / fault localization |
| キーワード(4)（和/英） | 確率的オートマトン / probabilistic automaton |
| キーワード(5)（和/英） | n-gram / n-gram |
| 第 1 著者 氏名（和/英） | 石本 優太 / Yuta Ishimoto |
| 第 1 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 第 2 著者 氏名（和/英） | 近藤 将成 / Masanari Kondo |
| 第 2 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 第 3 著者 氏名（和/英） | 鵜林 尚靖 / Naoyasu Ubayashi |
| 第 3 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 第 4 著者 氏名（和/英） | 亀井 靖高 / Yasutaka Kamei |
| 第 4 著者 所属（和/英） | 九州大学(略称：九大) Kyushu University(略称：Kyushu Univ.) |
| 発表年月日 | 2022-07-29 |
| 資料番号 | SS2022-10,KBSE2022-20 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | SS-138,KBSE-139 |
| ページ範囲 | pp.55-60(SS), pp.55-60(KBSE), |
| ページ数 | 6 |
| 発行日 | 2022-07-21 (SS, KBSE) |