| 講演名 | 2009-02-20 遠隔パソコン要約筆記のための指示語と指示動作との統合手法の検討(聴覚と福祉情報工学・一般) 伊藤 綾鹿, 竹内 義則, 大西 昇, 飯塚 重善, 中嶌 信弥, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 講義における,聴覚障害者のための情報保障の1つに遠隔パソコン要約筆記がある.これは,講義の音声と映像を遠隔地にいる要約筆記者に送り,その情報を基に作成した要約筆記文を講義室内の聴覚障害者に提示するものである.しかし,講師が指示動作を行いながら指示語を発話した時に,要約筆記者がその指示動作を見ていないと,指示語に対応する指示対象物が分からなくなってしまうという問題が起こりうる.そこで,この問題を解決するために,講師音声から指示語を,講師映像からは指示動作及びその指示対象物を抽出し,指示語と指示対象物を関連付けて要約筆記者に提示するシステムの研究開発を行っている.本研究では,講師音声からの指示語発話抽出手法として,音声認識を利用した手法を提案し,さらに,指示語抽出結果と指示動作抽出結果の統合手法も提案する.この統合手法は,指示語発話と指示動作の時間の関連性を利用している.そして,実際に収録した講義データに対して,指示語・指示動作抽出処理行い,さらに,統合処理を行った結果,再現率約91%,適合率約71%を得ることができた. |
| 抄録(英) | Remote transcription is one of the communication support methods for hearing impaired students in a lecture. A transcriber watches the lecture as captured by camera and microphone at a remote place and transcribes what an instructor says using a PC. The transcription is then shown on a display screen in the classroom. A transcriber sometimes misses a pointing object when the instructor utters a demonstrative word. In this situation, he/she is not able to assign the demonstrative word with the pointing object. To solve this problem, we are developing a system to assign the demonstrative words with the pointing objects, which are automatically extracted from the behavior of the instructor. In this paper, we propose a method to detect demonstrative words by using speech recognition technology and to integrate the demonstrative words with gestures. We have conducted experiments by using recorded audio-visual signals from a real lecture. Experimental results show that the recall ratio can be achieved about 91% and the relevance ratio about 71%. |
| キーワード(和) | 要約筆記 / 指示語発話抽出 / 指示動作抽出 / 統合処理 |
| キーワード(英) | Remote Captioning / Demonstrative Words Extraction / Gestures Extraction / Integration |
| 資料番号 | WIT2008-57 |
| 発行日 |
| 研究会情報 | |
| 研究会 | WIT |
|---|---|
| 開催期間 | 2009/2/13(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Well-being Information Technology(WIT) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 遠隔パソコン要約筆記のための指示語と指示動作との統合手法の検討(聴覚と福祉情報工学・一般) |
| サブタイトル（和） | |
| タイトル（英） | A Study on Integration of Demonstrative Words with Gestures for Remote Captioning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 要約筆記 / Remote Captioning |
| キーワード(2)（和/英） | 指示語発話抽出 / Demonstrative Words Extraction |
| キーワード(3)（和/英） | 指示動作抽出 / Gestures Extraction |
| キーワード(4)（和/英） | 統合処理 / Integration |
| 第 1 著者 氏名（和/英） | 伊藤 綾鹿 / Ayaka ITO |
| 第 1 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 第 2 著者 氏名（和/英） | 竹内 義則 / Yoshinori TAKEUCHI |
| 第 2 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 第 3 著者 氏名（和/英） | 大西 昇 / Noboru OHNISHI |
| 第 3 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 第 4 著者 氏名（和/英） | 飯塚 重善 / Shigeyoshi Iizuka |
| 第 4 著者 所属（和/英） | NTTネットワークサービスシステム研究所 NTT Network Service Systems Laboratories |
| 第 5 著者 氏名（和/英） | 中嶌 信弥 / Shinya NAKAJIMA |
| 第 5 著者 所属（和/英） | 国士舘大学理工学部理工学科 School of Science and Engineering, Kokushikan University |
| 発表年月日 | 2009-02-20 |
| 資料番号 | WIT2008-57 |
| 巻番号（vol） | vol.108 |
| 号番号（no） | 435 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |