| 講演名 | 2000/12/15 対訳コーパスを用いた表層的類似度に基づく翻訳能力自動評価法 安田 圭志, 菅谷 史昭, 竹澤 寿幸, 山本 誠一, 柳田 益造, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 翻訳システムの自動評価手法を提案する.この提案手法は, 対訳コーパスから翻訳正解を補い, システムによる翻訳結果と翻訳正解とで, DPマッチングにより表層的類似度に基づく評価を行なうものである.提案手法を, ATR音声翻訳通信研究所で研究開発された音声翻訳システム日英ATR-MATRIXの言語翻訳部の評価に適用した結果について示す.次に判別分析を行い, 提案手法により得られる評価結果と従来の人手による主観評価での結果を比較している.この結果, 主観評価で全く問題ない翻訳であると評価されるものと, それ以外の2クラス分けの判別では, 83.5%と高い判別率が得られた.最後に, 提案手法を言語翻訳部に音声認識を加えた音声翻訳システム全体の評価に適用する場合の問題点について述べる. |
| 抄録(英) | Proposed is an automatic evaluation method for translation system. A parallel corpus is used to query similar expressions of translation answers. Translation output is evaluated by measuring similarity between translation output and similar expressions of translation answers with DP matching. Evaluation by this method is conducted on the language translation subsystem of the Japanese-to-English ATR-MATRIX speech translation system developed at ATR Interpreting Telecommunications Research Laboratories. Discriminant analysis is carried out to analyze relationship between evaluation results of the proposed method and subjective evaluation. The experimental results show the effectiveness of the proposed method. Discriminat ratio is 83.5% in 2 class discrimination between absolutely correct and less appropriate translations so classified by human labelers. Also discussed are issues of the proposed method when applied to evaluate outputs of speech translation systems which make recognition errors. |
| キーワード(和) | 音声翻訳システム / 翻訳システム / 翻訳自動評価 / 対訳コーパス / DPマッチング |
| キーワード(英) | Speech translation system / Translation system / Automatic evaluation of translation / Parallel corpus / DP matching |
| 資料番号 | NLC2000-63,SP2000-111 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NLC |
|---|---|
| 開催期間 | 2000/12/15(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Natural Language Understanding and Models of Communication (NLC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 対訳コーパスを用いた表層的類似度に基づく翻訳能力自動評価法 |
| サブタイトル（和） | |
| タイトル（英） | An automatic evaluation method of translation capability by DP matching using similar expressions queried from a parallel corpus |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 音声翻訳システム / Speech translation system |
| キーワード(2)（和/英） | 翻訳システム / Translation system |
| キーワード(3)（和/英） | 翻訳自動評価 / Automatic evaluation of translation |
| キーワード(4)（和/英） | 対訳コーパス / Parallel corpus |
| キーワード(5)（和/英） | DPマッチング / DP matching |
| 第 1 著者 氏名（和/英） | 安田 圭志 / Keiji YASUDA |
| 第 1 著者 所属（和/英） | ATR音声言語通信研究所 : 同志社大学大学院工学研究科 ATR Spoken Language Translation Research Laboratories : Graduate School of Engineering, Doshisha University |
| 第 2 著者 氏名（和/英） | 菅谷 史昭 / Fumiaki SUGAYA |
| 第 2 著者 所属（和/英） | ATR音声言語通信研究所 ATR Spoken Language Translation Research Laboratories |
| 第 3 著者 氏名（和/英） | 竹澤 寿幸 / Toshiyuki TAKEZAWA |
| 第 3 著者 所属（和/英） | ATR音声言語通信研究所 ATR Spoken Language Translation Research Laboratories |
| 第 4 著者 氏名（和/英） | 山本 誠一 / Seiichi YAMAMOTO |
| 第 4 著者 所属（和/英） | ATR音声言語通信研究所 ATR Spoken Language Translation Research Laboratories |
| 第 5 著者 氏名（和/英） | 柳田 益造 / Masuzo YANAGIDA |
| 第 5 著者 所属（和/英） | 同志社大学大学院工学研究科 Graduate School of Engineering, Doshisha University |
| 発表年月日 | 2000/12/15 |
| 資料番号 | NLC2000-63,SP2000-111 |
| 巻番号（vol） | vol.100 |
| 号番号（no） | 521 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |