| 講演名 | 2023-01-21 初学者のための手話学習支援システム 松丸 和暉(芝浦工大), 筒口 拳(崇城大), 米村 俊一(芝浦工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 手話学習では，イラストを併用するテキスト教材や実写映像を用いたビデオ教材などが用いられる．テキスト教材は手指の形や手指の動きなどと言った手話の重要な要素が強調表示されているため手指動作の始点／中間点／終点といった大まかな手話学習に適している．それに対し，ビデオ教材では手話の詳細な動きについて確認することが原理的には可能であるが，もともと手話表現の知識に乏しい初心者にとって手指の動きが変化したこと自体に気付くことが難しく，結果的に正確な手話を学習することが難しいのが現状である．本研究では，手話表現の空間的な特徴点を含む「手話キーフレーム画像」を用いて初学者が正しい手話表現を学ぶことを支援する手話学習システムの検討を行ってきた．本稿では，手話実写映像において初学者が速いと感じる手話単語を自動的に検出し，その再生速度を自動的に調節するシステムを提案する．速いと感じる手話単語を抽出するため，手話映像中の手指部分の空間移動量と画像フレーム数から見かけ上の手話表現の速さを推定する．本稿で提案する手話表現の速さ推定が妥当かどうかについて実験的に検証し，その結果に基づいて文章内の単語再生を自動的に速度調節する機能の検討を行ったので報告する． |
| 抄録(英) | Textbooks with illustrations and video materials with live-action images are used for sign language learning. Textbooks are suitable for learning general signs such as the beginning, middle, and end points of sign movements, because they highlight important elements of the sign language such as finger shapes and finger movements. On the other hand, video materials allow, in principle, to check detailed sign movements, but it is difficult for beginners with limited knowledge of sign language expression to notice changes in finger movements, and as a result, it is difficult for them to learn sign language accurately. In this study, we have been investigating a sign language learning system that supports beginners in learning correct sign language expressions by using "sign language keyframe images" that include spatial feature points of sign language expressions. In this paper, we propose a system that automatically detects the sign words that beginners find too fast and automatically adjusts the playback speed of these words. In order to extract the sign words that are perceived as fast, the system estimates the apparent speed of the sign expression based on the amount of spatial movement of the fingers in the sign language video and the number of image frames. We experimentally verified the validity of the speed estimation of the sign language expressions proposed in this paper, and based on the results, we report on our study of a function that automatically adjusts the speed of word playback within a sentence. |
| キーワード(和) | 手話学習 / 手話キーフレーム画像 / 空間移動量 / 画像フレーム数 |
| キーワード(英) | Learning sign language / Sign language keyframe images / Amount of spatial movement / Number of image frames |
| 資料番号 | HCS2022-63 |
| 発行日 | 2023-01-14 (HCS) |
| 研究会情報 | |
| 研究会 | HCS |
|---|---|
| 開催期間 | 2023/1/21(から2日開催) |
| 開催地（和） | 京都工芸繊維大学 |
| 開催地（英） | Kyoto Institute of Technology |
| テーマ（和） | 身体的コミュニケーション，および一般 |
| テーマ（英） | Physical Communication, etc. |
| 委員長氏名（和） | 神田 智子(大阪工業大学) |
| 委員長氏名（英） | Tomoko Kanda(Osaka Inst. of Tech.) |
| 副委員長氏名（和） | 林 勇吾(立命館大) / 小森 政嗣(阪電通大) |
| 副委員長氏名（英） | Yugo Hayashi(Ritsumeikan Univ.) / Masashi Komori(Osaka Electro-Comm. Univ.) |
| 幹事氏名（和） | 吉田 悠(日大) / 飯塚 重善(神奈川大) / 髙木 幸子(常磐大) |
| 幹事氏名（英） | Haruka Yoshida(Nihon Univ.) / Shigeyoshi Iizuka(Kanagawa Univ.) / Sachiko Takagi(Tokiwa Univ.) |
| 幹事補佐氏名（和） | 黄 宏軒(福知山公立大) / 市川 淳(静岡大) / 高嶋 和毅(東北大) / 斎藤 博人(東京電機大) / 石井 亮(NTT) / 大本 義正(静岡大) |
| 幹事補佐氏名（英） | HUANG HUNGHSUAN(Univ. of Fukuchiyama) / Jun Ichikawa(Shizuoka Univ.) / Kazuki Takashima(Tohoku Univ.) / Hiroto Saito(Tokyo Denki Univ.) / Ryo Ishii(NTT) / Yoshimasa Ohmoto(Shizuoka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Human Communication Science |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 初学者のための手話学習支援システム |
| サブタイトル（和） | 手指画像の空間移動量を用いた自動再生速度調節機能の検討 |
| タイトル（英） | Sign language learning support system for beginners |
| サブタイトル（和） | Automatic playback speed adjustment function using the amount of spatial movement of hand images |
| キーワード(1)（和/英） | 手話学習 / Learning sign language |
| キーワード(2)（和/英） | 手話キーフレーム画像 / Sign language keyframe images |
| キーワード(3)（和/英） | 空間移動量 / Amount of spatial movement |
| キーワード(4)（和/英） | 画像フレーム数 / Number of image frames |
| 第 1 著者 氏名（和/英） | 松丸 和暉 / Kazuki Matsumaru |
| 第 1 著者 所属（和/英） | 芝浦工業大学(略称：芝浦工大) Shibaura Institute of Technology(略称：SIT) |
| 第 2 著者 氏名（和/英） | 筒口 拳 / Ken Tsutsuguchi |
| 第 2 著者 所属（和/英） | 崇城大学(略称：崇城大) Sojo University(略称：Sojo Univ.) |
| 第 3 著者 氏名（和/英） | 米村 俊一 / Shunichi Yonemura |
| 第 3 著者 所属（和/英） | 芝浦工業大学(略称：芝浦工大) Shibaura Institute of Technology(略称：SIT) |
| 発表年月日 | 2023-01-21 |
| 資料番号 | HCS2022-63 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | HCS-349 |
| ページ範囲 | pp.48-53(HCS), |
| ページ数 | 6 |
| 発行日 | 2023-01-14 (HCS) |