| 講演名 | 2011-11-11 既存テストケースを活用した組み合わせテスト自動生成 水野 謙, 中村 大賀, 竹内 広宜, 岩間 太, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 複数のパラメーターをもつシステムのテストを設計する際に,パラメーター値の組み合わせ爆発を回避し,少ない数のテストケースで十分なテストを行うための手法として,ペアワイズテストや直交表などが利用されている.このような手法を導入する際の障壁の一つとして,既存のテストケースと紐付けられた情報(要件やバグレポートとの関連付けなど)の存在がある.新しい手法によってこれまでとまったく異なるテストケースが生成されると,これらの紐付けられた情報が利用できなくなってしまう.この問題を回避するために既存のテストケースを保持したまま新しい手法でテストケースを追加すると,テストケース数が増加してしまう.本論文では,テストケース数の増加を最小限に抑えつつ,既存のテストケースと同一のものをなるべく多く含んだテスト集合を生成する手法を紹介する.この手法では,ペアワイズテストのうち貪欲法を用いて順次テストケースを生成する手法を拡張し,入力として与えたテスト集合の一部を出力するテスト集合に含めるようにした.また,提案手法が出力するテスト集合の性質を調べるための評価実験として,20種類のパラメーターが各10種類の値を取るシステムにおいて,ランダムに生成したテスト集合を入力として与えて評価した.このシステムに対して従来手法が出力するテスト集合のサイズ199個に対し,ランダムに生成した400個のテストケースを入力として提案手法を適用した場合,生成されるテストケース数は26%増加して252個となり,そのうち71%にあたる180個が入力と同一になった.また,同じ条件でテストケース数の増加を10%に抑えて219個とした場合は,入力と同一のテストケースは50%にあたる109個だった. |
| 抄録(英) | Pairwise test and orthogonal test are well-known test methods to test systems that have multiple parameters and values. These methods are useful to avoid a combinatorial explosion of the parameters. However, when there are test cases that were created manually, these methods lack the traceability that can link the test cases to the related documents such as the requirements definitions or bug reports. Retaining all of the manual test cases and using test automation only to add test cases will increase the number of test cases. This paper proposes a new method to generate test cases that contain most of the input test cases while keeping the total number of test cases small. This new method is an extension of a greedy algorithm to generate pairwise test cases. The new method may use an existing test case rather than generating a new test case in an iteration of the greedy algorithm. An experimental evaluation of a system with 20 parameters and 10 candidate values for each parameter found that 71% of the test cases generated by this new method were selected from existing test cases and the number of generated test cases was only 26% larger than the baseline output when no existing test cases were available. When 50% of output test cases were selected from existing test cases, the number of generated test cases was only 10% larger than the baseline. |
| キーワード(和) | テスト自動化 / 組み合わせテスト / ペアワイズテスト |
| キーワード(英) | Test Automation / Combinatorial Test / Pairwise Test |
| 資料番号 | KBSE2011-46 |
| 発行日 |
| 研究会情報 | |
| 研究会 | KBSE |
|---|---|
| 開催期間 | 2011/11/3(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Knowledge-Based Software Engineering (KBSE) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 既存テストケースを活用した組み合わせテスト自動生成 |
| サブタイトル（和） | |
| タイトル（英） | Generating Combinatorial Test Cases that Include Existing Test Cases |
| サブタイトル（和） | |
| キーワード(1)（和/英） | テスト自動化 / Test Automation |
| キーワード(2)（和/英） | 組み合わせテスト / Combinatorial Test |
| キーワード(3)（和/英） | ペアワイズテスト / Pairwise Test |
| 第 1 著者 氏名（和/英） | 水野 謙 / Ken Mizuno |
| 第 1 著者 所属（和/英） | 日本IBM株式会社東京基礎研究所 IBM Research-Tokyo, IBM Japan |
| 第 2 著者 氏名（和/英） | 中村 大賀 / Taiga Nakamura |
| 第 2 著者 所属（和/英） | 日本IBM株式会社東京基礎研究所 IBM Research-Tokyo, IBM Japan |
| 第 3 著者 氏名（和/英） | 竹内 広宜 / Hironori Takeuchi |
| 第 3 著者 所属（和/英） | 日本IBM株式会社東京基礎研究所 IBM Research-Tokyo, IBM Japan |
| 第 4 著者 氏名（和/英） | 岩間 太 / Futoshi Iwama |
| 第 4 著者 所属（和/英） | 日本IBM株式会社東京基礎研究所 IBM Research-Tokyo, IBM Japan |
| 発表年月日 | 2011-11-11 |
| 資料番号 | KBSE2011-46 |
| 巻番号（vol） | vol.111 |
| 号番号（no） | 282 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |